为什么看似合理的回答还不够?
答案看起来可信还不够,因为生成式 AI 可能用同样自信的语气,给出错误陈述、编造的引用,或把正确事实用在错误的语境中。流畅的表达会让这些问题更容易被忽略。NIST 的生成式 AI 概况将虚构内容列为一项风险,并建议审核和核实 AI 输出中的来源与引用。
NIST 还指出,AI 输出可能包含编造的逻辑或引文,看似能为答案提供依据,却可能让人产生不应有的信任。推理链条清晰,并不代表结论正确。AI 幻觉指南解释了这种情况为何发生;本指南则介绍日常核查流程。
哪些说法应该优先核实?
优先核查一旦出错后果最严重的说法,以及最有可能是编造的说法。对于风险较低的内部草稿,通常不必逐字核实,但客户提案中的数字始终需要核实。下表为常见说法类型提供了实用的核查优先级指南。请根据团队的工作和审批规则进行调整。
| 主张类型 | 如何核查 | 由谁决定是否可用 |
|---|---|---|
| 数字、价格、日期 | 复算或追溯至原始记录 | 撰写者;如需对外发送,还应由另一人审核 |
| 引文与来源引用 | 打开来源,找到确切段落 | 撰写者 |
| 姓名、职务、机构 | 核查官方或第一方页面 | 撰写者 |
| 因果表述 | 询问有什么证据可以证明;如无证据则删除 | 撰写者和决策负责人 |
| 涉及法律、财务、安全或用工的要点 | 一手来源,加上具备相应资质的审核人员 | 由具备相应资质的人审核,而不只是作者本人 |
应如何核查引用来源?
打开原始来源,找到支持该说法的段落。核查作者或发布机构、日期、适用范围及任何限定条件。如果页面讨论的是不同人群、时期或问题,仅有真实链接并不足够。记录来源,以便他人重复核查。
如果找不到作为依据的原文段落,不要仅让模型确认它自己给出的引用就到此为止。应要求提供缺失的证据、删除该说法,或将其标记为待核实。第二个模型可以建议核查问题,但两个模型意见一致,并不等于经过独立验证。它们可能都学到了同一个看似合理的错误。
如何核查数据和推理过程?
使用公式、数据透视表或计算器等独立方法,根据所提供的数据复算重要数字。确认单位、时间范围和比较基准。合计值可能正确,但对其变化原因的解释却缺乏依据,因此应将计算结果与任何因果判断分开。
在一张虚构表格中,收入从 80 个单位增至 92 个单位,成本从 50 个单位增至 61 个单位。两者分别增加了 12 和 11 个单位,因此利润从 30 个单位增至 31 个单位。仅凭表格,无法解释这种变化是由新客户、价格调整还是时间因素造成的。负责任的摘要会说明变化,但不对原因下定论,或指出需要哪些证据才能确定原因。也要留意是否混淆了百分比和百分点,这在生成的摘要中很常见。
想看看这与具体岗位有什么联系吗?
了解规划中的团队试用 ↗如何核查 AI 文档摘要中的事实?
检查 AI 摘要时,既要看它写了什么,也要看它漏了什么。先从摘要中选出三四项陈述,逐一在原文中找到对应内容。然后阅读原文的标题或各部分的开头,看看是否遗漏了重要信息。最后,检查是否丢失了限定条件:把“可能”变成“将会”,把“在某些情况下”变成“总是”,或者完全删掉了“须经批准”。
如果摘要将用于决策,请要求工具先为每个要点提供原文引文,再生成摘要。Anthropic 的 Claude 文档建议对长文档采用这种做法,并要求工具删除任何无法用原文引文支持的说法。这能让摘要更快得到核查,但你仍需对照原文页面核对引文。
完整的事实核查是什么样的?
这是一份刻意保留问题、用于练习的草稿。一家虚构的代理公司 Kestrel Studio 请 AI 助手将客户提供的产品简介概括成一段文字,用于提案演示文稿。简介写明,客户的日程规划应用于 2025 年 3 月上线,提供免费版和付费版;对其自身 200 名用户开展的调查显示,多数用户每周都会使用该应用。
AI 草稿:这款应用于 2024 年初推出,很快成为英国最受欢迎的日程规划工具之一。近期一项独立调查显示,85% 的用户每天都会打开它。它提供免费版和高级版。
逐项核查说法。发布日期:任务说明写的是 2025 年 3 月,因此 2024 年初是错的。英国最受欢迎的规划工具之一:任务说明中没有任何依据,应删除。近期独立调查:任务说明描述的是客户自行对其用户开展的调查,因此“独立”不属实。85% 每天使用:任务说明写的是大多数人每周使用,因此数字和频率都是编造的。免费版和付费版:有依据。
审查后的段落:该应用于2025年3月推出,提供免费版和付费版。在客户自行开展的200名用户调查中,大多数受访者表示每周都会使用。审查记录列出了四处更正和一条已删除的表述,客户负责人会在演示文稿发给客户前签字批准。
AI 能帮助你核查它自己生成的内容是否属实吗?
AI 可以帮助梳理事实核查工作,但无法完成核查。实用的指令包括:用编号列表列出这份草稿中的所有事实性陈述;针对每条陈述,引用附件来源中支持它的句子,如果没有则写“无依据”;找出来源中未出现的所有数字。这些指令能将一段文字转化为核查清单。
AI不能充当独立核查者。问同一个工具它的答案是否正确,往往只会得到让人放心的回答。Anthropic的文档介绍过一种方法:多次提出同一个问题并比较答案,这可以暴露不一致之处,但一致的答案仍可能全都出错。最后一步始终是打开原始来源核对,或重新计算数字。
审核记录应包含哪些内容?
保留原始说法、用于核查的来源或计算过程、修正内容,以及任何尚未解决的问题。明确由谁负责判断输出是否适合预定用途。这份记录让复核过程可供检查,同时不假装所有风险都已消除。
保留审阅记录不需要专门的软件。对大多数内部工作,在文档末尾写一条简短说明,或保留一组评论就足够了。对于交付给客户的成果,应遵循正常的审批流程;使用 AI 辅助并不会改变最终由谁签字批准。
什么时候仅靠这份检查清单还不够?
这份清单是一套日常操作流程,不是对准确性的认证。对于法律意见、监管申报、医疗或安全信息、经审计的财务数据,或有关个人雇佣的决策,它都不够。无论草稿由什么工具生成,这些事项都需要具备相应资质的审核人员和一手资料。
这样做也可能超出实际需要。头脑风暴、会议议程建议清单,或只有你自己会看的粗略初稿,通常不需要逐条核查其中的陈述。核查深度应与出错的后果相匹配。