你们所说的 AI 技能是指什么？
在评估中，AI 技能是指能够在具体任务中观察和检查的行为。提供合适的来源、识别缺乏依据的说法，或解释最终修改，都比笼统地说某人擅长 AI 更具体。应说明岗位、工具和条件，让审核人清楚证据究竟涉及什么。
一个笼统的标签可能掩盖不同的能力。有人可能会写清晰的提示词，却不会核查引用来源；也有人会检查计算，却接受了没有依据的原因解释。应分别记录这些观察结果，而不是马上归结为一个总分。AI 技能指南介绍了大多数知识工作会用到的七项实用技能；测评应明确说明每项任务要考察其中哪些技能。
评估的目的是什么？
开始设计之前，先明确目的，因为目的不同，评估结果带来的影响也不同。学习评估帮助个人找到下一步需要练习的内容，应让人不必担心失败带来不良后果。准备度检查帮助管理者决定从哪里启动培训项目。认证评估则为向他人证明某人已在指定任务中达到明确标准提供依据。招聘是另一种情况，下文将单独说明。
混淆用途是大多数问题的根源。如果员工认为能力摸底结果会用于绩效评估，他们就会求稳、避用工具，或请同事帮忙，这样的结果就难以说明实际情况。应告知员工结果将用于什么、谁能看到，以及结果不会带来哪些后果。
哪些信号应该分开看？
自信程度、完成情况和实际展示的工作成果回答的是不同的问题。自评反映一个人的主观感受。完成记录说明他们达到了培训中的某个里程碑。实践任务则让他们有机会展示自己在特定条件下如何作出具体判断。不能在不加说明的情况下，用其中任何一项代替其他项。
有用的评估报告会说明评估方法及其局限。如果学员只完成了一项虚构场景下的起草任务，就应如实说明。不要暗示他们能够安全处理所有涉及机密信息或重大影响的工作流程。NIST 的《AI 风险管理框架》对 AI 系统本身也提出了类似要求：应记录将结论推广到测试条件之外时存在的限制。评估人员能力时，也应遵循同样严谨的原则。
| 信号 | 它能展示什么 | 它无法证明什么 |
|---|---|---|
| 自我评分 | 所报告的信心水平或不确定性。 | 实际展示出的能力。 |
| 完成情况 | 项目已达成一项里程碑。 | 胜任每一项工作任务。 |
| 工具使用情况 | 工具已被打开并使用。 | 输出已经过核查或适合使用。 |
| 实操示例 | 针对指定任务作出的决定。 | 对工作表现作出适用于所有人的预测。 |
如何选择实践任务？
选择与岗位相关的工作，并提供足够的原始资料，以便判断答案。市场营销人员可以修改一封虚构营销活动的邮件。人力资源同事可以根据岗位说明改进面试问题。财务同事可以解读一张小表格，但对于缺乏依据的原因不作定论。客服人员可以根据提供的政策节选回复客户问题。
确保练习任务安全。首次练习应使用虚构或获准使用的信息，避免涉及真实人员、资金或客户沟通方面的决策。目标是检查工作成果，而不是在衡量技能时，做出会产生实际影响的自动化决策。
好的任务应设置一个有实际影响的陷阱。刻意加入一个学员应当发现的真实问题，例如工具可能编造的政策细节，或需要重新计算的数据。如果一项任务不可能出错，它衡量的就只是一个人会不会操作工具。
完整的评估任务是什么样的？
以下是虚构家具零售商 Larchwood Home 客服岗位的一个完整示例。学员收到一封客户邮件，询问送达时靠垫已破损的沙发能否更换，同时收到一段政策摘录：在 14 天内报告损坏的商品可免费更换，客户必须提供照片。该客户在第 9 天报告了损坏。
指令如下：“使用已批准的AI助手起草回复。仅使用提供的政策。向工具提出请求时，不要包含客户地址或订单号。提交你的请求、工具生成的草稿、最终回复，以及两三句话的修改说明。”
陷阱在于，通用工具经常会添加政策未提及的退款选项、交付日期或善意补偿券。合格的作业会坚持只提供换货，要求客户提供照片，不给出政策没有依据的日期，并解释为什么删掉虚构的补偿方案。较差的作业则只对工具草稿略作修改就直接发送。两份回复可能都读起来不错，但只有一份可以安全发送。
公开可见的评分标准应包含哪些内容？
公开可见的评分标准应在提交前列明评判条件，并描述各个等级的具体表现。实用的评分维度包括背景信息、证据、信息处理和审核判断。应解释审核人会关注作品中的哪些方面，而不是只打分却不作说明。学员阅读反馈后，应该能够知道需要改进什么。
下方评分标准适用于落叶松木公司的任务。这是一套基于编辑判断的评估框架，并不代表经过心理测量学验证，也没有经过验证的及格线。
| 评分标准 | 达到标准 | 尚未 |
|---|---|---|
| 背景信息 | 这个请求提供了政策、受众和限制条件。 | 这个请求让工具只能猜测政策内容。 |
| 证据 | 回复中的每项承诺都能追溯到政策摘录。 | 仍有编造的退款、日期或优惠券。 |
| 信息处理 | 未向工具发送任何个人信息。 | 请求中出现了地址或订单号。 |
| 审查决策 | 说明指出改了什么，以及为什么改。 | 没有解释，或只说“整理了一下”。 |
应该由 AI 还是人工来评分？
两者都可以，前提是评分标准公开可见，而且可以对评分提出异议。熟悉这项工作的人是最值得信赖的审核者，但人工审核速度较慢，在审核大量提交内容时，评分也可能不一致。AI 依据评分标准打分速度快，也能给出具体反馈，但打分时表现得很有把握，并不证明评分准确；AI 评分也可能忽略领域专家能够注意到的背景信息。
一个务实的折中方案是：练习任务由 AI 提供反馈，对有争议的评分提供二次核查渠道，而会产生实际影响的结果则交由人工审核。Tosheo.ai 规划中的设计遵循这一模式：AI 按照公开可见的评分指南为任务评分，学员标记的问题进入复核队列。这一流程属于规划范围，并不能证明已实现的评分系统经过了验证。
想看看这与具体岗位有什么联系吗？
了解规划中的团队试用 ↗如何让审核人员保持一致的评判标准？
评分前先统一尺度。请两位评审人员独立评阅同样的三到四份提交样例，比较分歧，并就评分标准中的措辞含义达成一致。在每项标准旁用简短备注记录结论，例如“除非政策允许，否则善意补偿也算作编造的优惠承诺”。
不时请另一人复核少量样本。NIST 的测量指南指出，独立审核有助于减少内部偏差。对于小团队，这可能只需由创始人和一位资深同事每季度分别审核同一小批提交内容。
应如何解读多次尝试的情况？
第二次尝试可以表明，学员理解了针对该案例的反馈。但也可能只是因为记住了任务。在作出更广泛的判断前，应使用一个新的、但具有可比性的案例，并记录工具、源材料或学员可获得的协助是否发生了变化。
如果评分会影响重要结果，就应让评审过程可供查验，并提供提出异议的渠道。AI 生成的反馈可以作为讨论参考，但不应成为重大结果的最终定论。
应如何汇报结果？
报告观察到的情况、观察条件，以及仍然未知的事项。简短且格式一致的记录比单一分数更有用。下方模板可按个人或岗位使用。
任务与条件
任务、所用工具及其版本或套餐、提供的源材料，以及可获得的帮助。
评分标准
附上所用评分标准的链接或文件，让读者能看清评判依据。
观察记录
按评分标准逐项用通俗的语言说明，哪些地方做得好，哪些尚未达标。
局限
这项任务未测试哪些方面，例如机密数据、与真实客户沟通或使用不熟悉的工具。
下一步
一个练习重点，以及下一次同类任务的日期。
技能评估与使用情况跟踪有何不同？
工具使用情况和参与度可以帮助管理者了解培训项目是否有人在用，但仅凭这些指标，无法判断一个人是否做出了恰当的决策。即使工具使用频繁，产出的工作也可能无人核查；而认真谨慎的学员可能只将工具用于一项范围有限且已获批准的任务。
结合工作样例、政策疑问和可用支持，评估使用情况。说明观察到了哪些信号、还缺少哪些信号。没有适当的方法和相关背景证据，不要将登录频率的变化当作生产力提升的依据。
管理者应该能查看哪些信息？
经理需要掌握足以支持员工的信息：员工已展现了哪些技能、卡在哪里，以及是否在进步。他们很少需要查看员工与 AI 工具每一次对话的原文。阅读这些记录会让人感到被监视，使员工不敢坦诚练习，还可能暴露学员本不该分享的信息。
在任何人开始使用前，先确定哪些信息可见，并明确告知。正因如此，Tosheo.ai 计划中的管理者看板旨在展示技能进展和完成情况，而不是原始聊天记录。
这与评估候选人有何不同？
学习和招聘的目的不同。培训任务可以给现有员工犯错和改进的空间。候选人评估则应纳入公平、明确的招聘流程，配备适当的人工审核，并向候选人提供清晰的信息。不能把同一个示例直接用于这两种场景，仿佛背景和后果完全相同；也不应将培训结果用于其原本并非为之设计的用工决策。
什么时候不应开展 AI 技能评估？
在员工获得获准使用的工具、了解基本信息处理规则之前，不要开展评估；否则，衡量的将是工具获取情况和困惑程度，而不是技能。不要将评估变成变相的绩效考核。也不要使用自填问卷，包括本站的准备情况自查，来给员工排名、颁发证书或作出用工决定。
如果你需要经过验证的心理测量工具来支持重大决策，这里介绍的方法并不符合这一要求。这是一种用于学习交流和项目规划的实用方法，参考了 NIST 关于使用情境和局限性的指南，但该指南并未认可或验证这种员工评估方法。
管理者下一步该做什么？
选择一项与岗位相关的任务，公布一份简短的评分标准，并与学员一起回顾其思考过程。记录所用资料来源、工具和使用条件。判断现有证据能支持哪些结论，哪些还需要更多实例。这是开展有益学习交流的实用起点。
如果更根本的问题是团队是否已经具备开始练习的条件，请先使用准备情况检查清单，其中涵盖工具访问权限、信息使用边界、审核标准和支持。自查可以帮助开启这场讨论。两者都只是讨论辅助工具，不能替代实际任务表现。