Comment évaluer les compétences en IA de votre équipe

Qu’entendez-vous par compétence en IA ?

Dans le cadre d’une évaluation, une compétence en IA est un comportement observable sur une tâche précise. Fournir une source appropriée, repérer une affirmation non étayée ou expliquer une dernière modification est plus précis que de dire qu’une personne maîtrise l’IA. Précisez le métier, l’outil et les conditions pour que la personne chargée de l’évaluation sache exactement ce que les éléments présentés permettent d’apprécier.

Une étiquette générale peut masquer des capacités différentes. Une personne peut rédiger une consigne claire sans vérifier une citation, ou contrôler les calculs tout en acceptant une explication non étayée de la cause. Distinguez ces observations plutôt que de les réduire immédiatement à une note globale. Le guide des compétences en IA décrit sept compétences pratiques mobilisées dans la plupart des métiers du savoir ; une évaluation doit préciser lesquelles une tâche est censée mettre en évidence.

À quoi sert l’évaluation ?

Définissez l’objectif avant de concevoir quoi que ce soit, car il change les enjeux. Une évaluation d’apprentissage aide une personne à repérer ce qu’elle doit travailler ensuite et doit lui permettre d’échouer sans crainte. Un bilan de préparation aide un responsable à décider par où commencer un programme. Une évaluation de certification permet d’attester auprès de tiers qu’une personne a satisfait à une norme définie sur des tâches définies. Le recrutement constitue un cas distinct, traité ci-dessous.

La confusion entre les finalités est à l’origine de la plupart des problèmes. Si les personnes pensent qu’un test de positionnement servira aux évaluations de performance, elles éviteront de prendre des risques, n’utiliseront pas l’outil ou demanderont de l’aide à un collègue, et le résultat ne vous apprendra pas grand-chose. Indiquez à quoi servira le résultat, qui le verra et quelles conséquences il n’aura pas.

Quels indicateurs devez-vous distinguer les uns des autres ?

La confiance en ses capacités, l’achèvement d’une formation et le travail réalisé répondent à des questions différentes. Une autoévaluation vous indique comment une personne se perçoit. Une attestation d’achèvement vous indique qu’elle a atteint une étape du programme. Une tâche pratique lui donne l’occasion de montrer les décisions qu’elle prend dans des conditions précises. Aucun de ces éléments ne doit se substituer aux autres sans que cela soit explicite.

Un rapport d’évaluation utile précise la méthode et ses limites. Si un apprenant a réalisé une seule tâche de rédaction fictive, dites-le. Ne laissez pas entendre qu’il peut gérer sans risque tous les processus impliquant des informations confidentielles ou des conséquences importantes. Le cadre de gestion des risques liés à l’IA du NIST formule une idée similaire à propos des systèmes d’IA eux-mêmes : il demande de documenter les limites de toute généralisation au-delà des conditions testées. La même rigueur s’applique à l’évaluation des personnes.

Comment choisir une tâche pratique ?

Choisissez une tâche pertinente pour le métier et fournissez suffisamment de documents sources pour évaluer la réponse. Une personne du marketing peut retravailler un e-mail de campagne fictif. Une personne des ressources humaines peut améliorer des questions d’entretien à partir d’une description du poste. Une personne de la finance peut expliquer un petit tableau sans trancher sur les causes non étayées. Un agent d’assistance peut répondre à une question client à l’aide d’un extrait de politique fourni.

Prévoyez une tâche sans risque pour s’exercer. Utilisez des informations fictives ou approuvées et, pour un premier exercice, évitez les décisions concernant des personnes réelles, de l’argent ou des communications avec les clients. L’objectif est d’examiner le travail, pas de produire une décision automatisée lourde de conséquences en cherchant à mesurer une compétence.

Les bonnes tâches comportent un piège qui a des conséquences. Glissez-y un problème réaliste que l’apprenant doit repérer, comme un détail de procédure que l’outil risque d’inventer ou un chiffre à recalculer. Une tâche sans erreur possible mesure seulement la capacité à utiliser l’outil.

À quoi ressemble un exercice d’évaluation complet ?

Voici un exemple complet pour un poste au service client d’un magasin de meubles fictif, Larchwood Home. La personne en formation reçoit un e-mail d’un client demandant si un canapé livré avec un coussin déchiré peut être remplacé, ainsi qu’un extrait de la politique indiquant que les articles endommagés signalés sous 14 jours sont remplacés gratuitement et que le client doit envoyer une photo. Le client a signalé le dommage le jour 9.

La consigne est la suivante : "Utilisez l’assistant d’IA approuvé pour rédiger une réponse. Appuyez-vous uniquement sur la politique fournie. N’incluez ni l’adresse du client ni son numéro de commande dans votre demande à l’outil. Remettez votre demande, la version proposée par l’outil, votre réponse finale et deux ou trois phrases expliquant vos modifications."

Le piège est que les outils généralistes ajoutent souvent une possibilité de remboursement, une date de livraison ou un bon d’achat à titre commercial que la politique ne mentionne pas. Un travail solide s’en tient au remplacement, demande la photo, ne donne aucune date non étayée par la politique et explique la suppression de toute offre inventée. Un travail insuffisant reprend le brouillon de l’outil avec quelques retouches. Les deux peuvent être bien rédigés ; un seul peut être envoyé sans risque.

Que doit contenir une grille d’évaluation accessible à tous ?

Une grille d’évaluation visible présente les critères avant la remise du travail et décrit ce qui correspond à chaque niveau. Le contexte, les éléments probants, le traitement des informations et les décisions de vérification sont des catégories utiles. Expliquez ce que l’évaluateur recherche dans le travail, plutôt que d’attribuer une note sans description. Après avoir lu les commentaires, l’apprenant doit pouvoir comprendre ce qu’il doit améliorer.

La grille d’évaluation ci-dessous est adaptée à la tâche de Larchwood. Il s’agit d’un cadre d’évaluation éditorial, et non d’une affirmation de validation psychométrique ; aucun seuil de réussite n’a été validé.

Qui doit évaluer le travail : l’IA ou une personne ?

Les deux le peuvent, à condition que les critères soient visibles et que la notation puisse être contestée. Une personne qui connaît le travail est la plus fiable pour l’évaluer, mais elle est lente et peut manquer de cohérence lorsqu’elle examine de nombreux travaux. La notation par l’IA selon une grille d’évaluation est rapide et peut fournir des commentaires précis, mais une note donnée avec assurance n’est pas une preuve d’exactitude, et les évaluateurs IA peuvent passer à côté d’éléments de contexte qu’un spécialiste du domaine repérerait.

Un compromis pratique consiste à utiliser les retours de l’IA pour les exercices, à prévoir un moyen de signaler les notes contestées pour une seconde vérification et à faire intervenir une personne lorsque le résultat a des conséquences. La conception prévue de Tosheo.ai suit ce modèle : des tâches notées par l’IA selon une grille d’évaluation visible, avec les signalements des apprenants transmis à une file de réexamen. Ce fonctionnement relève du périmètre prévu ; il ne prouve pas qu’un système de notation déjà mis en œuvre a été validé.

Comment garantir la cohérence entre les évaluateurs ?

Harmonisez les évaluations avant de noter. Demandez à deux évaluateurs de noter indépendamment les trois ou quatre mêmes exemples de travaux, comparez leurs divergences et accordez-vous sur le sens des formulations du barème. Consignez les décisions dans de courtes notes à côté de chaque critère, par exemple « un geste commercial compte comme une offre inventée, sauf si la politique de l’entreprise l’autorise ».

Refaites ponctuellement une vérification en demandant à une deuxième personne d’examiner un petit échantillon. Les recommandations du NIST sur la mesure indiquent qu’un examen indépendant peut réduire les biais internes. Dans une petite équipe, cela peut simplement consister à demander au fondateur et à un collègue expérimenté d’examiner chacun les mêmes quelques travaux une fois par trimestre.

Comment interpréter les tentatives répétées ?

Une deuxième tentative peut montrer qu’une personne a compris les retours sur cet exemple. Elle peut aussi bénéficier du souvenir de la tâche. Utilisez un exemple nouveau mais comparable avant d’en tirer une conclusion plus générale, et consignez les changements concernant l’outil, les documents sources ou l’aide dont dispose l’apprenant.

Lorsqu’une note a des conséquences importantes, rendez la procédure d’évaluation vérifiable et prévoyez un moyen de la contester. Les commentaires générés par l’IA peuvent servir de base de discussion, mais ils ne doivent pas avoir le dernier mot sur une décision importante.

Comment présenter les résultats ?

Indiquez ce qui a été observé, dans quelles conditions et ce qui reste inconnu. Un compte rendu court et cohérent est plus utile qu’un score isolé. Le modèle ci-dessous peut être utilisé par personne ou par métier.

En quoi l’évaluation des compétences diffère-t-elle du suivi de l’adoption ?

L’utilisation des outils et l’engagement peuvent aider un responsable à comprendre si un programme est utilisé. Ils ne montrent pas, à eux seuls, qu’une personne prend des décisions adaptées. Un outil fréquemment utilisé peut produire un travail que personne ne vérifie, tandis qu’un apprenant rigoureux peut ne l’utiliser que pour une tâche précise et autorisée.

Examinez l’adoption en tenant compte des exemples de travaux, des questions sur la politique d’utilisation et de l’accompagnement disponible. Précisez quels indicateurs sont observés et lesquels manquent. Ne déduisez pas un gain de productivité d’un changement de fréquence de connexion sans méthode adaptée ni éléments probants tenant compte du contexte.

Que doivent pouvoir consulter les responsables d’équipe ?

Les responsables ont besoin d’informations suffisantes pour accompagner les collaborateurs : les compétences démontrées, les points de blocage et les progrès réalisés. Ils ont rarement besoin du texte brut de chaque conversation avec un outil d’IA. Lire ces historiques donne une impression de surveillance, décourage une pratique sincère et peut exposer des informations que l’apprenant n’aurait pas dû partager.

Décidez quelles informations seront visibles et annoncez-le avant que quiconque ne commence. C’est précisément pour cette raison que le tableau de bord destiné aux responsables, prévu par Tosheo.ai, est conçu pour afficher la progression des compétences et l’avancement des formations, et non les historiques bruts des conversations.

En quoi cela diffère-t-il de l’évaluation d’un candidat ?

L’apprentissage et le recrutement répondent à des objectifs différents. Un exercice de formation peut permettre à un salarié en poste de se tromper et de progresser. L’évaluation d’un candidat doit s’inscrire dans un processus de recrutement équitable et défini, avec un examen humain adapté et des informations claires pour les candidats. Un même exemple ne doit pas être réutilisé comme si les contextes et les conséquences étaient identiques, et un résultat de formation ne doit pas servir à prendre une décision en matière d’emploi pour laquelle il n’a pas été conçu.

Quand ne devriez-vous pas réaliser une évaluation des compétences en IA ?

N’en organisez pas avant que les personnes disposent d’un outil approuvé et de règles de base sur les données ; vous mesureriez l’accès aux outils et la confusion plutôt que les compétences. N’en faites pas une évaluation des performances déguisée. Et n’utilisez pas de questionnaire déclaratif, y compris l’autoévaluation du niveau de préparation proposée sur ce site, pour classer les personnes, délivrer des attestations ou prendre des décisions relatives à l’emploi.

Si vous avez besoin d’un instrument psychométrique validé pour des décisions à forts enjeux, l’approche décrite ici ne répond pas à ce besoin. Il s’agit d’une méthode pratique pour les échanges sur l’apprentissage et la planification des programmes, qui s’appuie sur les recommandations du NIST concernant le contexte et les limites. Ces recommandations ne cautionnent ni ne valident cette approche d’évaluation des salariés.

Que doit faire un responsable ensuite ?

Choisissez une tâche liée au métier, publiez une courte grille d’évaluation et examinez le raisonnement avec la personne en formation. Gardez une trace de la source, de l’outil et des conditions. Déterminez ce que les éléments observés permettent de conclure et ce qui nécessite un autre exemple. C’est un point de départ concret pour un échange utile sur l’apprentissage.

Si la question principale est de savoir si l’équipe est prête à commencer à s’exercer, commencez par la liste de vérification des prérequis : accès aux outils, limites concernant les informations, critères de vérification et accompagnement. L’autoévaluation peut aider à ouvrir cette discussion. Ces deux supports facilitent les échanges, mais ne remplacent pas une démonstration des compétences sur une tâche.

Sources et périmètre

Socle du cadre de gestion des risques liés à l’IA du NIST, vérifié le 16 octobre 2026 ↗

Guide pratique du cadre de gestion des risques liés à l’IA du NIST : gouverner, vérifié le 16 octobre 2026 ↗