Hoe u AI-vaardigheden in uw team beoordeelt

Wat bedoelt u met een AI-vaardigheid?

Voor een beoordeling is een AI-vaardigheid gedrag dat u bij een specifieke taak kunt waarnemen. Een passende bron aanleveren, een ongefundeerde bewering herkennen of een laatste wijziging toelichten is concreter dan zeggen dat iemand goed is met AI. Benoem de functie, de tool en de omstandigheden, zodat een beoordelaar weet waarop het bewijs daadwerkelijk betrekking heeft.

Een breed label kan verschillen in vaardigheden verhullen. Iemand kan een duidelijke prompt schrijven maar een bronverwijzing niet controleren, of berekeningen controleren maar een ongefundeerde verklaring voor de oorzaak accepteren. Houd die observaties apart in plaats van ze meteen samen te vatten in één totaalscore. De gids voor AI-vaardigheden beschrijft zeven praktische vaardigheden die bij het meeste kenniswerk worden gebruikt; een beoordeling moet aangeven welke daarvan een opdracht zichtbaar moet maken.

Waarvoor dient de toets?

Bepaal het doel voordat u iets ontwerpt, want dat bepaalt wat er op het spel staat. Een leertoets helpt iemand te bepalen wat diegene als volgende moet oefenen en moet ruimte bieden om zonder risico fouten te maken. Een startniveautoets helpt een manager te bepalen waar een programma moet beginnen. Een certificeringstoets onderbouwt tegenover anderen dat iemand bij vastgelegde taken aan een vastgestelde norm heeft voldaan. Personeelsselectie is een apart geval, dat hieronder wordt behandeld.

Verschillende doelen door elkaar gebruiken veroorzaakt de meeste problemen. Als mensen denken dat een instaptoets meetelt bij hun functioneringsbeoordeling, spelen ze op zeker, vermijden ze de tool of vragen ze een collega om hulp. Het resultaat zegt u dan weinig. Vertel mensen waarvoor het resultaat wordt gebruikt, wie het te zien krijgt en welke gevolgen het niet zal hebben.

Welke signalen moet u gescheiden houden?

Zelfvertrouwen, afronding en getoond werk beantwoorden verschillende vragen. Een zelfbeoordeling vertelt u hoe iemand zich voelt. Een afrondingsregistratie vertelt u dat iemand een mijlpaal in een programma heeft bereikt. Een praktische opdracht biedt de gelegenheid om specifieke beslissingen onder specifieke omstandigheden te laten zien. Geen van deze drie mag ongemerkt als vervanging voor de andere dienen.

Een bruikbaar beoordelingsrapport vermeldt de methode en de beperkingen daarvan. Heeft een deelnemer één fictieve schrijfopdracht voltooid, vermeld dat dan. Wek niet de indruk dat diegene veilig kan omgaan met elk werkproces waarbij vertrouwelijke informatie of ingrijpende gevolgen een rol spelen. Het AI-risicobeheerkader van NIST maakt een vergelijkbaar punt over AI-systemen zelf: leg vast in hoeverre conclusies buiten de geteste omstandigheden kunnen worden toegepast. Diezelfde zorgvuldigheid is nodig bij het beoordelen van mensen.

Hoe kiest u een praktijkopdracht?

Kies werk dat relevant is voor de functie en lever voldoende bronmateriaal om het antwoord te beoordelen. Een marketeer kan een fictieve campagne-e-mail herzien. Een HR-collega kan sollicitatievragen verbeteren aan de hand van een functiebeschrijving. Een financiële collega kan een kleine tabel toelichten zonder ongefundeerde verklaringen voor oorzaken te geven. Een klantenservicemedewerker kan een klantvraag beantwoorden met behulp van een verstrekt beleidsfragment.

Zorg dat u de taak veilig kunt oefenen. Gebruik fictieve of goedgekeurde informatie en vermijd in een eerste oefening beslissingen over echte mensen, geld of klantcommunicatie. Het doel is het werk te beoordelen, niet om tijdens het meten van een vaardigheid een geautomatiseerde beslissing met gevolgen te nemen.

Goede taken bevatten een valkuil die ertoe doet. Verwerk één realistisch probleem dat de deelnemer moet opmerken, zoals een beleidsdetail dat de tool waarschijnlijk verzint of een getal dat opnieuw moet worden berekend. Een taak waarbij geen fout mogelijk is, meet alleen of iemand de tool kan bedienen.

Hoe ziet een volledige beoordelingstaak eruit?

Hier is een volledig voorbeeld voor een klantenservicefunctie bij een fictieve meubelwinkel, Larchwood Home. De deelnemer krijgt een klantmail met de vraag of een bank die met een gescheurd kussen is geleverd, kan worden vervangen. Daarnaast krijgt de deelnemer een beleidsfragment waarin staat dat beschadigde artikelen gratis worden vervangen als de schade binnen 14 dagen wordt gemeld, en dat de klant een foto moet sturen. De klant meldde de schade op dag 9.

De instructie luidt: "Gebruik de goedgekeurde AI-assistent om een conceptantwoord te schrijven. Gebruik alleen het aangeleverde beleid. Neem het adres of bestelnummer van de klant niet op in uw verzoek aan de tool. Lever uw verzoek, het concept van de tool, uw definitieve antwoord en twee of drie zinnen met uitleg over uw aanpassingen in."

De valkuil is dat algemene tools vaak een terugbetalingsoptie, leverdatum of tegoedbon uit coulance toevoegen die niet in het beleid staat. Een sterke uitwerking houdt het bij vervanging, vraagt om de foto, noemt geen datum die het beleid niet onderbouwt en licht toe waarom elk verzonnen aanbod is verwijderd. Een zwakke uitwerking verstuurt het concept van de tool met kleine aanpassingen. Beide kunnen goed lezen; slechts één is veilig om te versturen.

Wat hoort er in een zichtbare beoordelingswijzer?

Een zichtbare beoordelingsleidraad vermeldt de criteria vóór het inleveren en beschrijft wat elk niveau inhoudt. Bruikbare categorieën zijn context, onderbouwing, omgang met informatie en keuzes bij de controle. Leg uit waarop een beoordelaar let, in plaats van alleen een cijfer zonder toelichting te geven. Na het lezen van de feedback moet een deelnemer begrijpen wat er beter kan.

De onderstaande beoordelingscriteria passen bij de taak voor Larchwood. Dit is een redactioneel beoordelingskader, geen claim dat het psychometrisch is gevalideerd. Er is geen gevalideerde grens om te slagen.

Wie moet het werk beoordelen: AI of een persoon?

Beide kunnen dat, mits de criteria zichtbaar zijn en de beoordeling kan worden betwist. Iemand die het werk kent, is de betrouwbaarste beoordelaar, maar werkt langzaam en kan bij veel inzendingen inconsistent beoordelen. Beoordeling door AI aan de hand van een beoordelingskader is snel en kan gerichte feedback opleveren. Maar een stellig toegekende score is geen bewijs van juistheid, en AI-beoordelaars kunnen context missen die een vakdeskundige wel zou opmerken.

Een praktisch compromis is AI-feedback bij oefentaken, een mogelijkheid om betwiste scores voor een tweede controle voor te leggen en menselijke beoordeling wanneer de uitkomst gevolgen heeft. Het geplande ontwerp van Tosheo.ai volgt dit patroon: AI beoordeelt taken aan de hand van een zichtbaar beoordelingsschema, en meldingen van deelnemers komen in een wachtrij voor beoordeling. Deze werkwijze behoort tot de geplande functionaliteit en is geen bewijs dat een werkend beoordelingssysteem is gevalideerd.

Hoe zorgt u dat beoordelaars op dezelfde manier beoordelen?

Stem de beoordeling af voordat u scores geeft. Laat twee beoordelaars onafhankelijk van elkaar dezelfde drie of vier voorbeeldinzendingen beoordelen, vergelijk waar ze van mening verschillen en spreek af wat de formuleringen in de beoordelingsrichtlijn betekenen. Leg de beslissingen vast als korte notities bij elk criterium, zoals "een gebaar van goede wil telt als een verzonnen aanbod, tenzij het beleid dit toestaat".

Controleer af en toe opnieuw door een tweede persoon een kleine steekproef te laten beoordelen. De meetrichtlijnen van NIST geven aan dat onafhankelijke beoordeling interne vooringenomenheid kan verminderen. In een klein team kan dat simpelweg betekenen dat de oprichter en een ervaren collega eenmaal per kwartaal allebei een handvol van dezelfde inzendingen beoordelen.

Hoe moet u herhaalde pogingen interpreteren?

Een tweede poging kan laten zien dat iemand de feedback op dat voorbeeld heeft begrepen. Het kan ook helpen dat diegene zich de taak herinnert. Gebruik een nieuw maar vergelijkbaar voorbeeld voordat u bredere conclusies trekt, en leg veranderingen vast in de tool, het bronmateriaal of de ondersteuning die de deelnemer tot zijn beschikking heeft.

Als een score gevolgen heeft, zorg dan dat het beoordelingsproces inzichtelijk is en dat mensen de beoordeling kunnen aanvechten. Door AI gegenereerde feedback kan nuttig zijn als basis voor een gesprek, maar mag niet doorslaggevend zijn bij een beslissing met ingrijpende gevolgen.

Hoe rapporteert u de resultaten?

Rapporteer wat er is waargenomen, onder welke omstandigheden en wat nog onbekend is. Een korte, consistente vastlegging is nuttiger dan één score. Het onderstaande sjabloon kan per persoon of per functie worden gebruikt.

Wat is het verschil tussen vaardigheden beoordelen en het gebruik van AI volgen?

Toolgebruik en betrokkenheid kunnen een manager helpen te begrijpen of een programma wordt gebruikt. Op zichzelf laten ze niet zien of iemand passende beslissingen neemt. Een veelgebruikte tool kan nog steeds werk opleveren dat niemand controleert, terwijl een zorgvuldige cursist de tool misschien alleen gebruikt voor een beperkte, goedgekeurde taak.

Beoordeel het gebruik in samenhang met werkvoorbeelden, vragen over het beleid en de beschikbare ondersteuning. Geef aan welke signalen zijn waargenomen en welke ontbreken. Presenteer een verandering in de inlogfrequentie niet als bewijs voor productiviteitsverandering zonder een passende methode en onderbouwing die rekening houdt met de context.

Wat moeten managers kunnen zien?

Managers hebben voldoende informatie nodig om mensen te ondersteunen: welke vaardigheden iemand heeft laten zien, waar iemand vastloopt en of iemand vooruitgaat. Ze hebben zelden de onbewerkte tekst nodig van elk gesprek dat iemand met een AI-tool heeft gevoerd. Het lezen van die logboeken voelt als toezicht, ontmoedigt eerlijk oefenen en kan informatie blootleggen die de deelnemer niet had mogen delen.

Bepaal wat zichtbaar is en maak dat duidelijk voordat iemand begint. Het geplande managersdashboard van Tosheo.ai is precies om die reden bedoeld om de voortgang in vaardigheden en de afronding van lessen te tonen, niet de volledige chatgeschiedenis.

Hoe verschilt dit van het beoordelen van een kandidaat?

Leren en werven dienen verschillende doelen. Een trainingstaak kan een bestaande medewerker de ruimte geven om een fout te maken en zich te verbeteren. Een beoordeling van een kandidaat hoort thuis in een eerlijk, duidelijk omschreven wervingsproces, met passende menselijke controle en duidelijke informatie voor kandidaten. Hetzelfde voorbeeld mag niet worden hergebruikt alsof de context en de gevolgen identiek zijn. Een trainingsresultaat mag ook niet worden gebruikt voor een personeelsbeslissing waarvoor het niet is bedoeld.

Wanneer kunt u beter geen AI-vaardigheidstoets afnemen?

Neem geen toets af voordat mensen een goedgekeurde tool en basisregels voor informatiegebruik hebben; anders meet u toegang en verwarring in plaats van vaardigheden. Gebruik een toets niet als verkapte functioneringsbeoordeling. En gebruik een vragenlijst op basis van zelfrapportage, waaronder de zelftest voor AI-gereedheid op deze site, niet om mensen te rangschikken, certificaten toe te kennen of personeelsbeslissingen te nemen.

Als u een gevalideerd psychometrisch instrument nodig hebt voor beslissingen met grote gevolgen, is de hier beschreven aanpak dat niet. Het is een praktische methode voor leergesprekken en programmaplanning, gebaseerd op NIST-richtlijnen over context en beperkingen. Die richtlijnen onderschrijven of valideren deze aanpak voor medewerkersbeoordeling niet.

Wat moet een manager als volgende stap doen?

Kies één taak die relevant is voor de functie, deel een beknopte beoordelingswijzer met criteria en bespreek de redenering met de deelnemer. Leg de bron, de tool en de omstandigheden vast. Bepaal welke conclusies het bewijsmateriaal ondersteunt en waarvoor nog een voorbeeld nodig is. Dat is een praktisch startpunt voor een zinvol leergesprek.

Als de grotere vraag is of het team überhaupt klaar is om te oefenen, begin dan met de checklist voor gereedheid. Die behandelt toegang tot tools, grenzen aan informatiegebruik, beoordelingsnormen en ondersteuning. De zelfcheck kan helpen om dat gesprek op gang te brengen. Beide zijn gesprekshulpmiddelen, geen vervanging voor aantoonbare taakuitvoering.

Bronnen en reikwijdte

NIST AI RMF-kern, gecontroleerd op 16 October 2026 ↗

NIST AI RMF-draaiboek: besturen, gecontroleerd op 16 October 2026 ↗