¿Cómo se mide si la formación en IA dio resultado?

¿Cómo se mide la formación en IA, en pocas palabras?

Mida en tres niveles, por este orden: si las personas pueden realizar la tarea conforme a un estándar, si la realizan en su trabajo real y si ha cambiado algo que le importe a la empresa. Conviene registrar las tasas de finalización y las puntuaciones de satisfacción, pero muestran que las personas asistieron y que les gustó, no que aprendieron.

Esto refleja el modelo de Kirkpatrick, ampliamente utilizado, cuyos cuatro niveles son reacción, aprendizaje, conducta y resultados. Sus propias definiciones describen el nivel 3 como el grado en que las personas ponen en práctica las conductas esenciales en su entorno, y el nivel 4 como el grado en que se alcanzan los resultados organizacionales previstos. En la formación en IA, los niveles 2 y 3 suelen ser donde se encuentra la evidencia útil.

¿Cómo es un buen estándar de calidad para una muestra de trabajo?

Un buen estándar consiste en una guía de evaluación breve que otra persona pueda aplicar para llegar a la misma conclusión. Para una respuesta al cliente elaborada con ayuda de IA, podría incluir estos criterios: utiliza únicamente los datos proporcionados, responde a la pregunta real del cliente, se ajusta al tono de la empresa, señala cualquier incertidumbre y no contiene nada que deba corregirse antes del envío.

Evalúe cada punto de forma sencilla, por ejemplo, como cumplido, parcialmente cumplido o no cumplido, y conserve la nota de quien revise el trabajo. La nota suele ser más útil que la puntuación, porque indica qué conviene practicar después.

¿Cómo es una comparación del antes y el después?

Fernhill Outdoors, una tienda ficticia que vende por internet y cuenta con 15 personas, formó a sus cuatro agentes de atención al cliente. Antes de la formación, cada uno redactó una respuesta a una reclamación de ejemplo con ChatGPT. Los borradores habituales eran educados, pero inventaban un detalle de la política de reembolsos y pasaban por alto la pregunta del cliente sobre las fechas de entrega.

Después de cuatro semanas, cada agente redactó una respuesta a una reclamación distinta utilizando la misma guía de evaluación. El responsable de atención al cliente registró qué criterios se habían cumplido y señaló que tres de los cuatro borradores ya advertían de la incertidumbre sobre la fecha de entrega en lugar de inventar una. Eso demuestra aprendizaje en una tarea, por parte de cuatro personas. No demuestra que la atención sea más rápida ni que los clientes estén más satisfechos, y la página no debe afirmarlo.

¿Cómo se sabe si las personas aplican la habilidad en tareas reales del trabajo?

Observe el comportamiento en el trabajo habitual en lugar de preguntar a las personas si lo usan. Algunas señales útiles son los borradores revisados y elaborados con ayuda de IA en la carpeta compartida, que un responsable observe menos correcciones del tipo que abordaba la formación y que las personas planteen dudas sobre los límites de uso de la información antes de actuar.

Los informes de uso de las herramientas ayudan a conocer el acceso. Por ejemplo, el informe de uso de Copilot de Microsoft muestra los usuarios activos y las fechas de su última actividad. La actividad indica que se utilizó la herramienta, no que se utilizó bien, así que complemente esos datos con una revisión del trabajo real.

¿Se puede calcular el retorno de la inversión en formación en IA?

Puede estimarlo, pero tenga cuidado con lo que afirma. El ahorro de tiempo que declaran los empleados es una percepción, no una medición. Si un resultado es importante, mida el tiempo de una tarea comparable antes y después, o compare la calidad de los resultados revisados, y registre cuántas personas y tareas abarca la estimación.

Calcule también los costes con honestidad, incluido el tiempo dedicado al aprendizaje y a la revisión. Muchos equipos pequeños descubrirán que la evidencia más clara es un conjunto de muestras de trabajo revisadas y una rutina que las personas siguen utilizando, en lugar de una única cifra de retorno de la inversión. Esa es una base sólida para decidir si continuar.

¿Qué lugar ocupa Tosheo.ai?

Tosheo.ai se está diseñando para que cada lección termine con una tarea evaluada según una rúbrica visible, con comentarios específicos, y para que los participantes puedan solicitar la revisión de una puntuación con la que no estén de acuerdo. Está previsto que los responsables vean el progreso de las habilidades por rol, lo que aporta evidencias del aprendizaje. No puede medir los resultados de su empresa por usted.

¿Cuándo no es Tosheo.ai la solución?

Si necesita una evaluación formal para una entidad financiadora o un consejo de administración, con grupos de control o cifras auditadas, necesita un especialista en evaluación. Si lo que necesita principalmente es llevar un seguimiento de las licencias de herramientas y de la actividad, los informes de administración de su proveedor cumplen esa función. Tosheo.ai no se integra con sistemas de gestión del aprendizaje en el lanzamiento.

Fuentes y alcance

Kirkpatrick Partners, El modelo Kirkpatrick, consultado el 16 de octubre de 2026 ↗

Microsoft Learn, Informe de uso de Microsoft Copilot, 14 July 2026 ↗