Hoe meet u of AI-training heeft gewerkt?

Hoe meet u AI-training, in het kort?

Meet op drie niveaus, in deze volgorde: kunnen mensen de taak volgens een vastgestelde norm uitvoeren, doen ze dat in hun dagelijkse werk en is er iets veranderd dat voor het bedrijf van belang is? Afrondingspercentages en tevredenheidsscores zijn het vastleggen waard, maar ze laten zien dat mensen deelnamen en tevreden waren, niet dat ze iets hebben geleerd.

Dit sluit aan bij het veelgebruikte model van Kirkpatrick, met de vier niveaus reactie, leren, gedrag en resultaten. Volgens de eigen definities beschrijft niveau 3 de mate waarin mensen de essentiële gedragingen in hun werkomgeving vertonen, en niveau 4 de mate waarin de beoogde organisatieresultaten worden bereikt. Bij AI-training is het bruikbare bewijs meestal op niveau 2 en 3 te vinden.

Hoe ziet een goede beoordelingsnorm voor een werkproef eruit?

Een goede norm is een korte beoordelingswijzer die iemand anders kan toepassen om tot hetzelfde oordeel te komen. Voor een met AI opgesteld klantantwoord kan die bijvoorbeeld toetsen of het antwoord: alleen de aangeleverde feiten gebruikt, de werkelijke vraag van de klant beantwoordt, aansluit op de huisstijl, onzekerheden aangeeft en niets bevat dat vóór verzending moet worden gecorrigeerd.

Beoordeel elk punt eenvoudig, bijvoorbeeld met voldaan, deels voldaan of niet voldaan, en bewaar de opmerking van de beoordelaar. Die opmerking is vaak nuttiger dan de score, omdat deze laat zien wat er nog geoefend moet worden.

Hoe ziet een vergelijking vóór en na eruit?

Fernhill Outdoors, een fictieve webwinkel met 15 medewerkers, trainde zijn vier klantenservicemedewerkers. Vóór de training stelde ieder van hen met ChatGPT een antwoord op een voorbeeldklacht op. De antwoorden waren doorgaans beleefd, maar bevatten een verzonnen detail over het terugbetalingsbeleid en gingen niet in op de vraag van de klant over leverdatums.

Na vier weken stelde elke medewerker een antwoord op een andere klacht op, beoordeeld aan de hand van dezelfde beoordelingscriteria. De leidinggevende van de klantenservice legde vast aan welke punten was voldaan en merkte op dat drie van de vier concepten nu de onzekere bezorgdatum benoemden in plaats van er een te verzinnen. Dat is bewijs dat vier mensen bij één taak iets hebben geleerd. Het is geen bewijs van snellere klantenservice of tevredener klanten, en de pagina mag dat ook niet beweren.

Hoe weet u of mensen de vaardigheid in hun dagelijkse werk toepassen?

Let op het gedrag tijdens het gewone werk in plaats van mensen te vragen of ze het gebruiken. Nuttige signalen zijn gecontroleerde, met AI gemaakte concepten in de gedeelde map, een manager die minder correcties ziet van het soort waarop de training was gericht, en mensen die vóór ze handelen vragen stellen over welke informatie ze wel en niet mogen gebruiken.

Gebruiksrapporten van tools geven inzicht in wie de tool gebruikt. Het gebruiksrapport voor Copilot van Microsoft toont bijvoorbeeld actieve gebruikers en de datums van hun laatste activiteit. Activiteit laat zien dat de tool is gebruikt, niet dat deze goed is gebruikt. Combineer die gegevens daarom met een beoordeling van het daadwerkelijke werk.

Kunt u het rendement van AI-training berekenen?

U kunt er een schatting van maken, maar wees voorzichtig met wat u beweert. Een tijdsbesparing die medewerkers melden, is een indruk, geen meting. Als een resultaat ertoe doet, meet dan vóór en na de verandering de tijd voor een vergelijkbare taak, of vergelijk de beoordeelde kwaliteit van de resultaten. Leg ook vast op hoeveel mensen en taken de schatting is gebaseerd.

Breng ook de kosten eerlijk in kaart, inclusief de tijd van deelnemers en beoordelaars. Veel kleine teams zullen merken dat een verzameling beoordeelde werkvoorbeelden en een werkwijze die mensen blijven gebruiken duidelijker bewijs leveren dan één cijfer voor het rendement op de investering. Dat is een goede basis om te beslissen of u doorgaat.

Waar past Tosheo.ai?

Tosheo.ai wordt zo ontwikkeld dat elke les eindigt met een opdracht die wordt beoordeeld aan de hand van zichtbare beoordelingscriteria, met gerichte feedback. Deelnemers kunnen een score waarmee ze het oneens zijn markeren voor herbeoordeling. Het is de bedoeling dat managers de ontwikkeling van vaardigheden per rol zien, als bewijs van wat er is geleerd. Het kan uw bedrijfsresultaten niet voor u meten.

Wanneer is Tosheo.ai niet de oplossing?

Als u een formele evaluatie nodig hebt voor een financier of bestuur, met controlegroepen of gecontroleerde cijfers, hebt u een evaluatiespecialist nodig. Als u vooral toollicenties en activiteit wilt volgen, volstaan de beheerrapporten van uw aanbieder. Tosheo.ai heeft bij de introductie geen koppeling met een LMS.

Bronnen en reikwijdte

Kirkpatrick Partners, het Kirkpatrick-model, gecontroleerd op 16 oktober 2026 ↗

Microsoft Learn, gebruiksrapport van Microsoft Copilot, 14 July 2026 ↗