AI 결과물의 사실 확인 방법

그럴듯한 답변만으로는 충분하지 않은 이유는 무엇입니까?

그럴듯한 답변만으로는 충분하지 않습니다. 생성형 AI는 거짓 진술, 조작된 인용, 잘못된 맥락에서 사용한 정확한 사실을 모두 똑같이 확신에 찬 어조로 제시할 수 있기 때문입니다. 문장이 유창하면 이런 문제를 놓치기 쉽습니다. NIST 생성형 AI 프로파일은 허위 정보 생성을 위험으로 식별하고, 권장 조치 중 하나로 AI 결과물의 출처와 인용을 검토하고 검증하는 일을 제시합니다.

NIST는 AI 출력에 답변을 정당화하는 것처럼 보이는 지어낸 논리나 인용이 포함될 수 있으며, 이로 인해 사람들이 그 답변을 부적절하게 신뢰할 수 있다고도 설명합니다. 추론 과정이 깔끔하다고 해서 결론이 옳다는 증거가 되지는 않습니다. AI 환각 가이드에서는 이런 일이 발생하는 이유를 설명하며, 이 가이드에서는 확인 절차를 다룹니다.

어떤 주장을 먼저 확인해야 합니까?

틀렸을 때 영향이 가장 큰 주장과 AI가 지어냈을 가능성이 가장 높은 주장부터 확인합니다. 중요도가 낮은 내부 초안의 모든 단어를 검증할 필요는 거의 없지만, 고객 제안서에 들어가는 수치는 반드시 검증해야 합니다. 이 표는 흔히 접하는 주장 유형별로 검증 우선순위를 정하는 실용적인 기준입니다. 팀의 업무와 승인 규칙에 맞게 조정합니다.

인용 출처는 어떻게 확인해야 합니까?

실제 출처를 열어 해당 주장을 뒷받침하는 구절을 찾습니다. 저자나 발행처, 날짜, 적용 범위와 단서 조건을 확인합니다. 페이지가 다른 집단, 기간 또는 질문을 다룬다면 실제로 존재하는 링크라는 것만으로는 충분하지 않습니다. 다른 사람도 같은 확인 절차를 반복할 수 있도록 출처를 기록합니다.

근거가 되는 구절을 찾을 수 없다면, 모델에게 자신이 제시한 인용이 맞는지 확인해 달라고 요청하는 것으로 끝내서는 안 됩니다. 누락된 근거를 요청하거나, 해당 진술을 삭제하거나, 미해결 상태로 표시해야 합니다. 두 번째 모델이 확인할 질문을 제안할 수는 있지만, 두 모델의 답이 일치한다고 해서 독립적인 검증이 되는 것은 아닙니다. 둘 다 같은 그럴듯한 오류를 학습했을 수 있습니다.

수치와 추론은 어떻게 검증합니까?

공식, 피벗 테이블, 계산기 등 독립적인 방법을 사용하여 제공된 데이터에서 중요한 수치를 다시 계산합니다. 단위, 기간, 비교 기준을 확인합니다. 합계는 맞더라도 변화 원인에 대한 설명은 근거가 없을 수 있으므로, 계산 결과와 원인에 대한 주장을 분리합니다.

가상의 표에서 매출은 80단위에서 92단위로, 비용은 50단위에서 61단위로 변합니다. 증가분은 각각 12단위와 11단위이므로 이익은 30단위에서 31단위로 늘어납니다. 표만으로는 신규 고객, 가격 변경 또는 시점 차이 중 무엇이 이런 변화를 일으켰는지 설명할 수 없습니다. 신중한 요약은 변화를 설명하되 원인은 단정하지 않거나, 원인을 확인하는 데 필요한 근거를 제시합니다. 생성된 요약에서 흔히 발생하는 퍼센트와 퍼센트포인트의 혼동도 주의하십시오.

AI가 작성한 문서 요약의 사실관계는 어떻게 확인합니까?

AI 요약에 담긴 내용뿐 아니라 빠진 내용도 확인합니다. 먼저 요약에서 서술 서너 개를 골라 원문에서 각각의 근거를 찾습니다. 그런 다음 원문의 제목이나 각 절의 첫 문장을 읽고 중요한 내용이 빠지지 않았는지 확인합니다. 마지막으로 한정 표현이 사라지지 않았는지 살펴봅니다. '~할 수 있음'이 '~할 것임'으로, '일부 경우'가 '항상'으로 바뀌거나, '승인을 전제로'라는 표현이 아예 사라지는 경우입니다.

요약이 의사결정의 근거가 된다면, 요약하기 전에 각 요점의 근거가 되는 구절을 인용하도록 도구에 요청해야 합니다. Anthropic의 Claude 문서는 긴 문서에 이 방식을 권장하며, 인용문으로 뒷받침할 수 없는 주장은 삭제하도록 요청할 것도 함께 권장합니다. 이렇게 하면 요약을 더 빨리 검토할 수 있지만, 인용문을 원문 페이지와 대조해 읽는 과정은 여전히 필요합니다.

전체 사실 확인은 어떻게 진행됩니까?

실습을 위해 의도적으로 결함을 넣은 초안입니다. 가상의 대행사 케스트럴 스튜디오는 고객이 제공한 제품 브리프를 제안 발표 자료에 넣을 한 문단으로 요약해 달라고 AI 어시스턴트에 요청했습니다. 브리프에는 고객의 일정 관리 앱이 2025년 3월에 출시되었고 무료 요금제와 유료 요금제가 있으며, 자사 사용자 200명을 대상으로 한 설문에서 대부분이 매주 앱을 사용한다고 답했다는 내용이 있습니다.

AI 초안: 2024년 초에 출시된 이 앱은 빠르게 영국에서 가장 인기 있는 일정 관리 앱 중 하나로 자리 잡았으며, 최근 독립 조사에 따르면 사용자의 85퍼센트가 매일 앱을 여는 것으로 나타났습니다. 무료 요금제와 유료 요금제를 제공합니다.

주장별로 검증합니다. 출시일: 작업 지시서에는 2025년 3월이라고 되어 있으므로 2024년 초는 틀렸습니다. 영국에서 가장 인기 있는 일정 관리 도구 중 하나: 작업 지시서에 이를 뒷받침할 내용이 없으므로 삭제합니다. 최근 독립 설문조사: 작업 지시서에는 고객사가 자체 사용자를 대상으로 실시한 설문조사라고 설명되어 있으므로 독립적이라는 표현은 틀렸습니다. 85퍼센트가 매일 사용: 작업 지시서에는 대부분이 매주 사용했다고 되어 있으므로 수치와 빈도 모두 지어낸 내용입니다. 무료 및 유료 요금제: 근거가 있습니다.

검토된 문단: 2025년 3월에 출시된 이 앱은 무료 요금제와 유료 요금제를 제공합니다. 고객사가 사용자 200명을 대상으로 자체 실시한 설문조사에서 응답자 대부분은 매주 앱을 사용한다고 답했습니다. 검토 메모에는 수정 사항 네 가지와 삭제한 주장 한 가지가 기록되어 있으며, 발표 자료를 고객사에 보내기 전에 고객 담당 책임자가 최종 승인합니다.

AI가 자신이 생성한 내용의 사실 여부를 사용자가 확인하도록 도울 수 있습니까?

AI는 사실 확인 작업을 체계화하는 데 도움이 되지만, 사실 확인을 끝까지 수행할 수는 없습니다. 유용한 요청으로는 이 초안의 모든 사실 주장을 번호 목록으로 정리하기, 각 주장에 대해 첨부된 출처에서 이를 뒷받침하는 문장을 인용하거나 근거 없음이라고 적기, 출처에 없는 수치 찾아내기 등이 있습니다. 이런 요청을 통해 문단을 점검 목록으로 바꿀 수 있습니다.

AI는 독립적인 검증 수단이 될 수 없습니다. 같은 도구에 자신의 답이 맞는지 물으면 맞다고 안심시키는 답변이 나오는 경향이 있습니다. Anthropic 문서에서 설명하는 것처럼 같은 질문을 여러 번 하고 답변을 비교하면 불일치를 발견할 수는 있지만, 답변이 일관되더라도 모두 똑같이 틀릴 수 있습니다. 마지막 단계에서는 반드시 원문을 열어 확인하거나 수치를 다시 계산해야 합니다.

검토 이력에는 무엇이 포함되어야 합니까?

원래 주장, 확인에 사용한 출처나 계산, 수정 내용, 아직 해결되지 않은 질문을 보관합니다. 결과물이 의도한 용도에 적합한지 결정할 책임자를 지정합니다. 이 기록이 있으면 모든 위험이 사라진 것처럼 가장하지 않으면서도 검토 과정을 확인할 수 있습니다.

검토 이력을 남기는 데 특별한 소프트웨어는 필요하지 않습니다. 대부분의 내부 업무에서는 문서 끝의 짧은 메모나 댓글 대화만으로 충분합니다. 고객에게 전달할 결과물은 기존 승인 절차를 따릅니다. AI의 도움을 받아도 최종 승인자가 달라지지는 않습니다.

이 체크리스트만으로 충분하지 않은 경우는 언제입니까?

이 점검표는 업무 절차이지 정확성을 인증하는 수단이 아닙니다. 법률 자문, 규제 기관 제출 자료, 의료·안전 정보, 감사를 받은 재무 수치, 개인의 고용에 관한 결정에는 이것만으로 충분하지 않습니다. 어떤 도구로 초안을 만들었든 이러한 업무에는 자격을 갖춘 검토자와 1차 자료가 필요합니다.

필요 이상으로 꼼꼼한 검토가 될 수도 있습니다. 아이디어 구상, 회의 안건 아이디어 목록, 혼자만 읽을 대략적인 초안은 대개 주장 하나하나를 확인할 필요가 없습니다. 틀렸을 때의 영향에 맞춰 검토의 깊이를 정합니다.

출처와 범위

NIST, AI 600-1: 생성형 AI 프로필, July 2024 ↗

Anthropic, Claude 문서: 환각 줄이기, 열람일 16 October 2026 ↗