简单来说，如何衡量 AI 培训的成效？
按顺序从三个层面衡量：员工能否按标准完成任务、是否在实际工作中这样做，以及业务关心的某项指标是否发生变化。完成率和满意度值得记录，但它们只能说明员工参加了培训且觉得不错，不能说明他们学会了。
这与广泛使用的柯氏模型相呼应，该模型分为反应、学习、行为和结果四个层级。其自身定义将第 3 层描述为人员在实际环境中执行关键行为的程度，将第 4 层描述为组织目标成果实现的程度。对于 AI 培训，有用的证据通常来自第 2 层和第 3 层。
先作决定
在培训开始前明确任务和标准。
基线
按照该标准，收集每个人的一份简短工作样本。
用全新任务重新测试
培训后，使用一项难度和要求相当的新任务，而不是原来的任务。
观察使用情况
查看经过审核的 AI 辅助工作成果是否已用于实际任务。
谨慎估算
只报告能够观察到的业务影响，并说明观察方法。
好的工作样本评判标准是什么样的？
好的标准是一份简短的评分指南，其他人使用它也能得出相同判断。对于AI辅助撰写的客户回复，标准可以包括：只使用已提供的事实，回答客户的实际问题，符合公司的沟通语气，标明所有不确定之处，且没有任何发送前需要纠正的内容。
对每一项采用简单的评分，例如达到、部分达到或未达到，并保留审核人的备注。备注往往比得分更有用，因为它能指出接下来需要练习什么。
前后对比是什么样的？
芬希尔户外是一家虚构的线上零售商，共有 15 名员工，对其四名客服人员开展了培训。培训前，每人都使用 ChatGPT 针对一份投诉样例起草回复。常见的初稿措辞礼貌，却编造了一项退款政策细节，还遗漏了顾客关于送货日期的问题。
四周后，每位客服人员针对不同的投诉，按照同一套评分标准起草回复。客服负责人记录了各份草稿满足哪些标准，并指出，四份草稿中已有三份会标明送达日期尚不确定，而不是编造一个日期。这说明四个人在一项任务上取得了学习成效，但并不能证明客服处理更快或客户更满意，页面也不应作出这样的宣称。
想看看这与具体岗位有什么联系吗？
了解规划中的团队试用 ↗如何判断大家是否在实际工作中运用了所学技能？
观察日常工作中的行为，而不是询问大家是否使用了 AI。有用的迹象包括：共享文件夹中出现经过审核的 AI 辅助草稿；管理者发现，培训所针对的那类错误减少了；员工会在行动前提出信息使用边界方面的问题。
工具使用报告有助于了解员工是否实际使用了工具。例如，Microsoft 的 Copilot 使用报告会显示活跃用户和最近活动日期。活动记录只能说明工具被使用过，不能说明用得好不好，因此还需要结合实际工作成果进行审核。
能计算 AI 培训的投资回报率吗？
可以估算，但表述结论时要谨慎。员工自报节省的时间是一种主观感受，不是测量结果。如果某项成果很重要，就对使用前后的同类任务分别计时，或对比经审核的成果质量，并记录估算覆盖了多少人和多少项任务。
也要如实核算成本，包括学习者投入的时间和审核时间。许多小团队会发现，比起单一的投资回报率数字，一组经过审核的工作样本和大家持续使用的工作流程，更能清楚地说明效果。这足以作为决定是否继续的可靠依据。
Tosheo.ai 适合哪些场景？
Tosheo.ai 正在筹备中，计划让每节课都以任务收尾，依据学员可见的评分标准评分并提供具体反馈，学员可将有异议的评分标记为待复核。按规划，管理者将能按岗位查看技能进展，作为学习成效的依据。它无法替你衡量业务成果。
什么时候 Tosheo.ai 无法解决问题？
如果你需要为资助方或董事会开展正式评估，涉及对照组或经审计的数据，就需要评估专家。如果你主要需要跟踪工具用户许可和使用活动，供应商的管理后台报告就能做到。Tosheo.ai 在上线时不与学习管理系统集成。