为什么人工审核环节经常失效?

人工审核环节常常失效,因为审核者只能看到 AI 的结论,需要检查的项目太多,而且从未被告知该重点检查什么,于是直接批准就成了最快的做法。这被称为走过场式审批,看似有人监督,实际上却没有。

设想一家虚构的批发分销商“橡桥供应”,有 25 名员工。一款 AI 工具将供应商发票与采购订单进行匹配,并逐张标记为'匹配'或'不匹配'。财务文员普里娅负责批准付款给匹配成功的发票。某个周四,她的待处理列表显示:'212 张发票,205 张匹配,7 张不匹配'。每一行都显示供应商、金额和一个绿色对勾。上个月,一张按 400 件货物开具的供应商发票获得了付款,但实际只交付了 40 件,原因是工具匹配上了订单号,普里娅看到对勾就批准了。

哪些环节应该由人工参与审核?

只要 AI 输出会影响资金、个人获取某项资源或服务的权限、对客户的承诺,或法律与安全方面的结果,就应让人参与审核,而且要在这些变化变得难以撤销之前介入。常规且可撤销的输出则可以通过抽样检查。

EU AI Act 中关于高风险系统人工监督的条款,以监管语言表达了同样的观点:监督系统的人应了解其局限,警惕自动化偏见,并能够不采纳、撤销或停止其输出。即使该法案不适用于你,这些也是值得采用的设计目标。

人工参与审核有哪些流程设计方式?

常见的审核设计有四种,选择哪一种取决于出错的代价和待审核项目的数量。

先审批,再执行

任何操作执行前,都由人逐一批准输出。适用于单次影响大、数量少的工作,例如超过规定金额的付款或客户退款。

异常情况审查

AI 处理明确的情况,将不确定或异常的情况转交人工。只有在分流规则经过测试,而且仍会抽查部分“明确”情况时,这种方式才有效。

抽样审计

先发送输出结果,再由人工随机抽查。适用于内部摘要等可撤回或修正、处理量大的工作。

先独立完成

先独立形成判断,再查看 AI 建议。这样速度较慢,但在重要判断中可以避免被 AI 答案先入为主地影响。

较差的审核方案和改进后的方案分别是什么样的?

薄弱的设计:每张发票都会带着绿色或红色标记交给 Priya。她在 20 分钟内批准了 205 个打勾项。没有任何信息说明每个勾是如何判定的,也没有任何机制检验她是否仍在认真查看。

改进后的设计:金额低于设定限额,且订单号、数量和单价均与送货单一致的发票会自动付款,普里娅每周随机抽查十张。所有超过限额的发票、新供应商的发票以及存在数量差异的发票,都会交给她审核,三个字段并排展示,AI 用一行说明原因,例如“发票数量 400,实收 40”。每月,财务负责人会在不预先告知的情况下,将两项已知错误加入待审核队列,确认它们能被发现。普里娅也会记录每次否决 AI 判断的情况。否决次数突然降至零,会被视为警示,而不是成功。

如何检查审核是否真正落实,而不是走过场?

通过衡量来确认审核是否真正落实:每项内容的审核用时、审核人员推翻 AI 判断的频率,以及是否发现了预先植入的测试错误。审核人员从不反对工具的结果,要么是输出确实很好,要么是根本没有认真审核;你需要用证据判断是哪一种。

展示证据,而不只是结论

将源字段放在 AI 答案旁边,方便快速核查。

限制队列长度

如果工作量大到让人无法认真审核,就应改变设计,而不是要求审核人更加努力。

授予权限

审查人员必须能够直接拒绝或暂停,无需获得许可。

测试循环

不时加入已知错误,并记录这些错误是否被发现。

在流程中引入人工参与时,有哪些常见错误?

最常见的错误是在流程中增加审核人,却不做其他调整,然后把审核通过当成输出正确的证明。其他错误包括:要求一个人每天审批数百个项目;需要多次点击才能看到依据;对不可逆的决定,在行动发生后才审核;以及只庆祝人工推翻率下降,却不追问原因。谨慎的人也会受到自动化偏见影响,因此流程设计比良好意愿更重要。

人工参与审核在 Tosheo.ai 课程体系中属于哪一部分?

“人工参与”属于 AI 素养课程中的“负责任的 AI 与政策”类别,安排在 AI 伦理和负责任 AI 管控措施之后。在 AI 智能体和自动化课程中,还会再次涉及这一主题,因为这些场景中的工具会执行操作,而不只是提出建议。实操任务要求你重新设计自己工作中的一个审核环节,评分标准反馈会检查审核时点、依据和权限是否都已明确。

来源与范围

第 2024/1689 号欧盟条例(EU AI Act),关于人工监督的第 14 条,EUR-Lex(核查日期:19 October 2026) ↗

联合国教科文组织,《人工智能伦理问题建议书》,人类监督原则(核查日期:19 October 2026) ↗