Cómo evaluar las competencias en IA de su equipo

¿Qué se entiende por una habilidad en IA?

A efectos de evaluación, una competencia en IA es una conducta que se puede observar en una tarea concreta. Aportar una fuente adecuada, identificar una afirmación sin respaldo o explicar una modificación final es más específico que decir que alguien maneja bien la IA. Indique el puesto, la herramienta y las condiciones para que quien revise sepa exactamente a qué corresponden las pruebas.

Una etiqueta general puede ocultar capacidades diferentes. Una persona puede redactar una instrucción clara pero no comprobar una cita, o verificar los cálculos y a la vez aceptar una explicación de la causa sin fundamento. Separe esas observaciones en lugar de reducirlas de inmediato a una única puntuación global. La guía de habilidades de IA describe siete habilidades prácticas que se utilizan en la mayoría de los trabajos basados en el conocimiento; una evaluación debe especificar cuáles de ellas pretende poner de manifiesto cada tarea.

¿Para qué sirve la evaluación?

Defina el propósito antes de diseñar nada, porque determina lo que está en juego. Una evaluación del aprendizaje ayuda a identificar qué practicar a continuación y debe permitir equivocarse sin temor. Una comprobación de preparación ayuda a un responsable a decidir por dónde empezar un programa. Una evaluación de certificación respalda ante terceros que alguien ha cumplido un estándar definido en tareas concretas. La selección de personal es un caso aparte, que se aborda más adelante.

Mezclar objetivos causa la mayoría de los problemas. Si las personas creen que una evaluación inicial influirá en las evaluaciones de desempeño, irán a lo seguro, evitarán la herramienta o pedirán ayuda a un compañero, y el resultado le dirá poco. Explique para qué se utilizará el resultado, quién lo verá y qué consecuencias no tendrá.

¿Qué señales debe mantener separadas?

La confianza, la finalización y el trabajo demostrado responden a preguntas distintas. Una autoevaluación indica cómo se siente una persona. Un registro de finalización indica que ha alcanzado un hito del programa. Una tarea práctica le da la oportunidad de demostrar decisiones concretas en condiciones concretas. Ninguno de estos elementos debe sustituir a los demás sin que se indique expresamente.

Un informe de evaluación útil expone el método y sus límites. Si una persona completó una sola tarea de redacción ficticia, indíquelo. No dé a entender que puede gestionar de forma segura cualquier flujo de trabajo confidencial o con consecuencias importantes. El marco de gestión de riesgos de IA de NIST plantea algo similar sobre los propios sistemas de IA: pide documentar los límites para generalizar más allá de las condiciones evaluadas. El mismo rigor se aplica cuando se evalúa a personas.

¿Cómo se elige una tarea práctica?

Elija un trabajo pertinente para el puesto y proporcione suficiente material de referencia para evaluar la respuesta. Una persona de marketing puede revisar un correo electrónico de una campaña ficticia. Una persona de recursos humanos puede mejorar las preguntas de una entrevista basándose en la descripción del puesto. Una persona de finanzas puede explicar una tabla pequeña sin dar por resueltas las causas que no estén respaldadas por datos. Un agente de atención al cliente puede responder a una consulta utilizando un extracto proporcionado de una política.

Haga que sea seguro practicar la tarea. Use información ficticia o autorizada y, en el ejercicio inicial, evite decisiones sobre personas reales, dinero o comunicaciones con clientes. El objetivo es examinar el trabajo, no generar una decisión automatizada con consecuencias reales mientras se intenta medir una habilidad.

Las buenas tareas incluyen una trampa que importa. Introduzca un problema realista que la persona deba detectar, como un detalle de una política que la herramienta probablemente invente o una cifra que haya que recalcular. Una tarea sin posibilidad de error solo mide si alguien sabe manejar la herramienta.

¿Cómo es una tarea de evaluación completa?

Este es un ejemplo completo para un puesto de atención al cliente en una tienda de muebles ficticia, Larchwood Home. La persona que se está formando recibe un correo de un cliente que pregunta si se puede reemplazar un sofá entregado con un cojín rasgado, y un extracto de la política que indica que los artículos dañados se reemplazan sin costo si se informa del daño en un plazo de 14 días y que el cliente debe enviar una foto. El cliente informó del daño el día 9.

La instrucción dice: "Utilice el asistente de IA aprobado para redactar una respuesta. Use únicamente la política proporcionada. No incluya la dirección ni el número de pedido del cliente en su solicitud a la herramienta. Entregue su solicitud, el borrador de la herramienta, su respuesta final y dos o tres frases que expliquen sus modificaciones."

La trampa es que las herramientas genéricas suelen añadir una opción de reembolso, una fecha de entrega o un cupón de cortesía que la política no menciona. Una buena entrega se limita a la sustitución, pide la foto, no da ninguna fecha que la política no respalde y explica por qué se ha eliminado cualquier oferta inventada. Una entrega deficiente envía el borrador de la herramienta con cambios menores. Ambas pueden estar bien redactadas; solo una es segura para enviar.

¿Qué debe incluir una guía de evaluación visible?

Una guía de evaluación visible expone los criterios antes de la entrega y describe cómo es cada nivel. Entre las categorías útiles están el contexto, las pruebas, el tratamiento de la información y las decisiones de revisión. Explique qué busca la persona que revisa el trabajo, en lugar de asignar una cifra sin descripción. Tras leer los comentarios, quien aprende debería poder entender qué debe mejorar.

La guía de puntuación siguiente se ajusta a la tarea de Larchwood. Es una estructura de evaluación editorial, no una afirmación de validación psicométrica, y no tiene una nota mínima de aprobación validada.

¿Quién debe puntuar el trabajo, la IA o una persona?

Cualquiera de los dos puede hacerlo, siempre que los criterios sean visibles y se pueda cuestionar la puntuación. Una persona que conoce el trabajo es quien ofrece la revisión más fiable, pero tarda y puede aplicar criterios de forma inconsistente cuando hay muchas entregas. La calificación por IA según una guía de puntuación es rápida y puede ofrecer comentarios específicos, pero una puntuación expresada con seguridad no demuestra que sea correcta, y los evaluadores de IA pueden pasar por alto aspectos del contexto que un especialista en la materia sí detectaría.

Una solución intermedia práctica es ofrecer comentarios de la IA sobre las tareas de práctica, una vía para señalar las puntuaciones cuestionadas y someterlas a una segunda comprobación, y una revisión humana cuando el resultado tenga consecuencias. El diseño previsto de Tosheo.ai sigue ese modelo: tareas evaluadas por IA con una guía de evaluación visible, y solicitudes de revisión del alumnado que se envían a una cola. Ese flujo forma parte del alcance previsto; no demuestra que se haya validado un sistema de evaluación ya implementado.

¿Cómo se consigue que los revisores apliquen criterios uniformes?

Unifique los criterios antes de puntuar. Pida a dos revisores que evalúen de forma independiente las mismas tres o cuatro entregas de muestra, comparen sus discrepancias y acuerden qué significa la redacción de la guía de puntuación. Anote las decisiones brevemente junto a cada criterio, por ejemplo: "un gesto de buena voluntad se considera una oferta inventada salvo que la política lo permita".

Vuelva a comprobarlo de vez en cuando pidiendo a una segunda persona que revise una pequeña muestra. Las orientaciones de NIST sobre medición señalan que una revisión independiente puede reducir los sesgos internos. En un equipo pequeño, esto puede consistir simplemente en que la persona fundadora y un colega con experiencia revisen, cada uno por su cuenta, unas cuantas de las mismas entregas una vez por trimestre.

¿Cómo debería interpretar los intentos repetidos?

Un segundo intento puede mostrar que alguien comprendió los comentarios sobre ese ejemplo. También puede beneficiarse de recordar la tarea. Use un ejemplo nuevo pero comparable antes de extraer una conclusión más amplia y registre los cambios en la herramienta, el material de referencia o la ayuda disponible para quien aprende.

Cuando una puntuación tenga consecuencias importantes, permita examinar el proceso de revisión y ofrezca una vía para impugnarla. Los comentarios generados por IA pueden servir para debatir, pero no deben tener la última palabra en un resultado con consecuencias importantes.

¿Cómo debería comunicar los resultados?

Informe de lo que se observó, en qué condiciones y qué sigue sin saberse. Un registro breve y uniforme es más útil que una sola puntuación. La plantilla siguiente puede utilizarse por persona o por puesto.

¿En qué se diferencia la evaluación de competencias del seguimiento de la adopción?

El uso de las herramientas y la participación pueden ayudar a un responsable a entender si se está utilizando un programa. Por sí solos, no demuestran que una persona esté tomando decisiones adecuadas. Una herramienta utilizada con frecuencia puede seguir produciendo trabajo que nadie revisa, mientras que una persona que aprende con cuidado puede usarla solo para una tarea específica autorizada.

Revise la adopción junto con las muestras de trabajo, las preguntas sobre la política y el apoyo disponible. Indique qué señales se observan y cuáles faltan. No convierta un cambio en la frecuencia de inicio de sesión en una afirmación sobre productividad sin un método adecuado y pruebas que tengan en cuenta el contexto.

¿Qué deben poder ver los responsables de equipo?

Los responsables necesitan información suficiente para apoyar a las personas: qué competencias ha demostrado cada una, dónde encuentra dificultades y si está progresando. Rara vez necesitan el texto íntegro de todas las conversaciones que alguien ha mantenido con una herramienta de IA. Leer esos registros se percibe como vigilancia, desalienta la práctica sincera y puede exponer información que el participante no debería haber compartido.

Decida qué información será visible e indíquelo antes de que nadie empiece. El panel para responsables que Tosheo.ai tiene previsto desarrollar está diseñado para mostrar el progreso en las habilidades y las actividades completadas, no los registros íntegros de los chats, precisamente por este motivo.

¿En qué se diferencia esto de evaluar a un candidato?

La formación y la contratación tienen fines distintos. Una tarea formativa puede ofrecer a un empleado actual un espacio para equivocarse y mejorar. La evaluación de un candidato debe formar parte de un proceso de contratación justo y definido, con una revisión humana adecuada e información clara para los candidatos. No se debe reutilizar el mismo ejemplo como si los contextos y las consecuencias fueran idénticos, ni utilizar un resultado formativo para tomar una decisión laboral para la que no fue diseñado.

¿Cuándo no debería realizar una evaluación de competencias en IA?

No realice una evaluación antes de que las personas dispongan de una herramienta aprobada y de normas básicas sobre el uso de la información; estaría midiendo el acceso y la confusión, no la habilidad. No la utilice como una evaluación de desempeño encubierta. Tampoco utilice un cuestionario de autoevaluación, incluida la autoevaluación de preparación de este sitio, para clasificar a las personas, otorgar credenciales o tomar decisiones laborales.

Si necesita un instrumento psicométrico validado para decisiones de gran impacto, el enfoque aquí descrito no lo es. Es un método práctico para conversaciones sobre aprendizaje y para planificar programas, basado en las orientaciones de NIST sobre el contexto y las limitaciones. Dichas orientaciones no avalan ni validan este enfoque de evaluación de empleados.

¿Qué debe hacer a continuación un responsable de equipo?

Elija una tarea pertinente para el puesto, publique una breve guía de evaluación y revise el razonamiento con la persona que está aprendiendo. Registre la fuente, la herramienta y las condiciones. Determine qué conclusiones respaldan las pruebas y cuáles requieren otro ejemplo. Ese es un punto de partida práctico para una conversación útil sobre el aprendizaje.

Si la cuestión de fondo es si el equipo está preparado para empezar a practicar, comience por la lista de verificación de preparación, que abarca el acceso a herramientas, los límites sobre la información, los criterios de revisión y el apoyo disponible. La autoevaluación puede ayudar a iniciar esa conversación. Ambas son ayudas para el diálogo, no sustitutos de un desempeño demostrado en las tareas.

Fuentes y alcance

Núcleo del marco de gestión de riesgos de IA de NIST, verificado el 16 de octubre de 2026 ↗

Guía práctica del marco de gestión de riesgos de IA de NIST: gobernar, verificada el 16 de octubre de 2026 ↗