Cách kiểm chứng kết quả do AI tạo ra

Vì sao một câu trả lời nghe có vẻ hợp lý vẫn chưa đủ?

Một câu trả lời nghe có vẻ hợp lý là chưa đủ, vì AI tạo sinh có thể đưa ra thông tin sai, trích dẫn bịa đặt hoặc một thông tin đúng nhưng dùng sai ngữ cảnh, tất cả đều với cùng một giọng điệu tự tin. Cách diễn đạt trôi chảy khiến những vấn đề đó dễ bị bỏ sót hơn. Hồ sơ AI tạo sinh của NIST xác định hiện tượng bịa đặt thông tin là một rủi ro và đưa việc rà soát, xác minh nguồn cùng trích dẫn trong đầu ra của AI vào danh sách hành động được đề xuất.

NIST cũng lưu ý rằng đầu ra của AI có thể chứa lập luận hoặc trích dẫn bịa đặt, có vẻ như chứng minh cho câu trả lời, khiến người dùng đặt niềm tin không đúng chỗ. Một chuỗi lập luận mạch lạc không phải là bằng chứng cho thấy kết luận đúng. Hướng dẫn về ảo giác AI giải thích vì sao điều này xảy ra; hướng dẫn này tập trung vào quy trình kiểm tra.

Bạn nên kiểm chứng những khẳng định nào trước?

Trước tiên, hãy kiểm tra những khẳng định gây hậu quả nghiêm trọng nhất nếu sai và những khẳng định dễ bị AI bịa ra nhất. Bạn hiếm khi cần xác minh từng từ trong một bản nháp nội bộ ít rủi ro, nhưng luôn cần xác minh số liệu trong đề xuất gửi khách hàng. Bảng này giúp phân loại mức độ ưu tiên kiểm tra cho các loại khẳng định thường gặp. Hãy điều chỉnh cho phù hợp với công việc và quy định phê duyệt của nhóm.

Bạn nên kiểm tra một trích dẫn như thế nào?

Mở nguồn gốc và tìm đoạn làm căn cứ cho nhận định. Kiểm tra tác giả hoặc đơn vị xuất bản, ngày, phạm vi và mọi điều kiện giới hạn. Một đường liên kết có thật là chưa đủ nếu trang đó nói về nhóm đối tượng, khoảng thời gian hoặc câu hỏi khác. Ghi lại nguồn để người khác có thể kiểm tra lại.

Nếu không tìm thấy đoạn văn làm căn cứ, đừng chỉ yêu cầu mô hình xác nhận trích dẫn của chính nó rồi dừng lại. Hãy yêu cầu bằng chứng còn thiếu, xóa nhận định đó hoặc đánh dấu là chưa được giải quyết. Một mô hình thứ hai có thể gợi ý câu hỏi, nhưng việc hai mô hình đồng ý không phải là xác minh độc lập. Cả hai có thể đã học cùng một thông tin sai nghe có vẻ hợp lý.

Làm thế nào để kiểm tra số liệu và lập luận?

Tính lại các số liệu quan trọng từ dữ liệu được cung cấp bằng một phương pháp độc lập, chẳng hạn như công thức, bảng tổng hợp hoặc máy tính. Xác nhận đơn vị, kỳ dữ liệu và cơ sở so sánh. Một tổng số có thể đúng trong khi lời giải thích về nguyên nhân thay đổi lại không có căn cứ, vì vậy hãy tách phần tính toán khỏi mọi nhận định về nguyên nhân.

Trong một bảng số liệu hư cấu, doanh thu tăng từ 80 lên 92 đơn vị và chi phí tăng từ 50 lên 61 đơn vị. Mức thay đổi lần lượt là 12 và 11 đơn vị, nên lợi nhuận tăng từ 30 lên 31 đơn vị. Chỉ riêng bảng này không giải thích được liệu biến động là do khách hàng mới, thay đổi giá hay thời điểm ghi nhận. Một bản tóm tắt có trách nhiệm sẽ nêu mức thay đổi và để ngỏ nguyên nhân, hoặc chỉ rõ bằng chứng cần có để xác định nguyên nhân. Cũng cần chú ý việc nhầm lẫn giữa phần trăm và điểm phần trăm, điều thường gặp trong các bản tóm tắt được tạo tự động.

Làm thế nào để kiểm chứng thông tin trong bản tóm tắt tài liệu do AI tạo?

Kiểm tra cả những gì bản tóm tắt của AI nêu ra lẫn những gì bị bỏ sót. Bắt đầu bằng cách chọn ba hoặc bốn nhận định trong bản tóm tắt rồi tìm từng ý trong bản gốc. Sau đó, đọc các tiêu đề hoặc những dòng đầu của từng phần trong bản gốc và xem có thiếu điều gì quan trọng không. Cuối cùng, tìm các điều kiện giới hạn đã bị lược bỏ: có thể biến thành sẽ, trong một số trường hợp biến thành luôn luôn, cần được phê duyệt biến mất hoàn toàn.

Nếu bản tóm tắt sẽ được dùng để ra quyết định, hãy yêu cầu công cụ đưa ra trích dẫn cho từng ý trước khi tóm tắt. Tài liệu hướng dẫn của Anthropic dành cho Claude khuyến nghị cách làm đó với tài liệu dài, đồng thời yêu cầu công cụ loại bỏ mọi nhận định không có trích dẫn làm căn cứ. Cách này giúp kiểm tra bản tóm tắt nhanh hơn, dù bạn vẫn cần đối chiếu các trích dẫn với trang gốc.

Một quy trình kiểm chứng thông tin đầy đủ sẽ như thế nào?

Đây là một bản nháp cố tình có lỗi để thực hành. Một công ty dịch vụ giả định, Kestrel Studio, yêu cầu trợ lý tóm tắt bản mô tả sản phẩm do khách hàng cung cấp thành một đoạn văn cho bộ trang trình chiếu chào dịch vụ. Bản mô tả cho biết ứng dụng lập kế hoạch của khách hàng ra mắt vào tháng 3 năm 2025, có gói miễn phí và gói trả phí, đồng thời một khảo sát với 200 người dùng của ứng dụng cho thấy đa số sử dụng hằng tuần.

Bản nháp do AI viết: Ra mắt vào đầu năm 2024, ứng dụng đã nhanh chóng trở thành một trong những ứng dụng lập kế hoạch phổ biến nhất tại Vương quốc Anh, với một khảo sát độc lập gần đây cho thấy 85 phần trăm người dùng mở ứng dụng mỗi ngày. Ứng dụng có gói miễn phí và gói cao cấp.

Kiểm tra từng khẳng định. Ngày ra mắt: bản yêu cầu ghi tháng 3 năm 2025, nên đầu năm 2024 là sai. Một trong những công cụ lập kế hoạch phổ biến nhất tại Anh: bản yêu cầu không có gì chứng minh điều này, nên cần bỏ. Khảo sát độc lập gần đây: bản yêu cầu mô tả khảo sát do chính khách hàng thực hiện với người dùng của họ, nên gọi là độc lập là sai. 85 phần trăm mỗi ngày: bản yêu cầu nói phần lớn sử dụng hằng tuần, nên cả con số lẫn tần suất đều là bịa đặt. Có gói miễn phí và trả phí: có căn cứ.

Đoạn văn đã rà soát: Ra mắt vào March 2025, ứng dụng cung cấp một gói miễn phí và một gói trả phí. Trong khảo sát do chính khách hàng thực hiện với 200 người dùng, đa số cho biết họ sử dụng ứng dụng hằng tuần. Ghi chú rà soát liệt kê bốn điểm chỉnh sửa và một nhận định đã loại bỏ; người phụ trách khách hàng phê duyệt trước khi bộ trang trình bày được gửi cho khách hàng.

AI có thể giúp bạn kiểm chứng thông tin trong chính nội dung nó tạo ra không?

AI có thể giúp tổ chức việc kiểm chứng thông tin nhưng không thể hoàn tất việc đó. Những yêu cầu hữu ích gồm: liệt kê mọi khẳng định về sự thật trong bản nháp này thành danh sách đánh số; với mỗi khẳng định, trích câu trong nguồn đính kèm làm căn cứ hoặc ghi Không có căn cứ; và chỉ ra mọi số liệu không có trong nguồn. Những yêu cầu này biến một đoạn văn thành danh sách cần kiểm tra.

AI không thể đóng vai trò kiểm tra độc lập. Hỏi lại chính công cụ đó xem câu trả lời của nó có đúng không thường chỉ nhận được lời khẳng định là đúng. Đặt cùng một câu hỏi nhiều lần rồi so sánh các câu trả lời, một kỹ thuật được mô tả trong tài liệu của Anthropic, có thể giúp phát hiện điểm không nhất quán, nhưng những câu trả lời nhất quán vẫn có thể cùng sai. Bước cuối cùng luôn là mở nguồn để kiểm tra hoặc tính lại số liệu.

Hồ sơ ghi lại quá trình rà soát nên có những gì?

Lưu lại nhận định ban đầu, nguồn hoặc phép tính dùng để kiểm tra, nội dung chỉnh sửa và mọi câu hỏi chưa được giải quyết. Chỉ định rõ người chịu trách nhiệm quyết định đầu ra có phù hợp với mục đích sử dụng dự kiến hay không. Hồ sơ đó giúp người khác kiểm tra lại quá trình rà soát mà không tạo cảm giác rằng mọi rủi ro đã được loại bỏ.

Việc lưu lại quá trình rà soát không cần phần mềm chuyên dụng. Một ghi chú ngắn ở cuối tài liệu hoặc một chuỗi bình luận là đủ cho hầu hết công việc nội bộ. Với sản phẩm bàn giao cho khách hàng, hãy tuân theo quy trình phê duyệt thông thường; sự hỗ trợ của AI không làm thay đổi người chịu trách nhiệm phê duyệt cuối cùng.

Khi nào danh sách kiểm tra này chưa đủ?

Danh sách kiểm tra này là quy trình làm việc thường xuyên, không phải chứng nhận về độ chính xác. Nó không đủ cho tư vấn pháp lý, hồ sơ nộp cơ quan quản lý, thông tin y tế hoặc an toàn, số liệu tài chính đã kiểm toán hay quyết định về việc làm của một cá nhân. Những việc đó cần người có chuyên môn kiểm tra và các nguồn gốc, bất kể công cụ nào tạo ra bản nháp.

Việc đó cũng có thể vượt quá mức cần thiết. Việc tìm ý tưởng, lập danh sách nội dung cho cuộc họp hoặc viết bản nháp sơ bộ chỉ mình bạn đọc hiếm khi cần kiểm tra từng thông tin được nêu. Mức độ kiểm tra nên tương xứng với hậu quả nếu thông tin sai.

Nguồn và phạm vi

NIST, AI 600-1: Hồ sơ AI tạo sinh, July 2024 ↗

Anthropic, tài liệu Claude: Giảm hiện tượng ảo giác, truy cập ngày 16 October 2026 ↗