วิธีตรวจสอบข้อเท็จจริงในผลลัพธ์จาก AI

ทำไมคำตอบที่ดูน่าเชื่อถือจึงยังไม่เพียงพอ?

คำตอบที่ฟังดูสมเหตุสมผลยังไม่เพียงพอ เพราะ AI เชิงกำเนิดอาจสร้างข้อความเท็จ แหล่งอ้างอิงที่แต่งขึ้น หรือข้อเท็จจริงที่ถูกต้องแต่ใช้ผิดบริบท โดยใช้น้ำเสียงมั่นใจเหมือนกันทั้งหมด ความลื่นไหลของภาษาทำให้มองข้ามปัญหาเหล่านี้ได้ง่ายขึ้น เอกสารว่าด้วย AI เชิงกำเนิดของ NIST ระบุว่าการแต่งข้อมูลขึ้นเป็นความเสี่ยง และเสนอให้ตรวจทานและตรวจสอบแหล่งข้อมูลและการอ้างอิงในผลลัพธ์จาก AI เป็นหนึ่งในแนวทางปฏิบัติ.

NIST ยังระบุด้วยว่าผลลัพธ์จาก AI อาจมีเหตุผลหรือแหล่งอ้างอิงที่แต่งขึ้นและดูเหมือนจะสนับสนุนคำตอบ ซึ่งอาจทำให้ผู้คนเชื่อถือคำตอบนั้นอย่างไม่เหมาะสม การให้เหตุผลที่ดูเป็นลำดับไม่ได้เป็นหลักฐานว่าข้อสรุปนั้นถูกต้อง คู่มือเรื่องการหลอนของ AI อธิบายว่าเหตุใดจึงเกิดสิ่งนี้ขึ้น ส่วนคู่มือนี้กล่าวถึงขั้นตอนการตรวจสอบที่ควรทำเป็นประจำ

ควรตรวจสอบคำกล่าวอ้างใดก่อน?

ตรวจสอบข้อกล่าวอ้างที่หากผิดจะส่งผลกระทบมากที่สุด และข้อกล่าวอ้างที่มีแนวโน้มว่า AI แต่งขึ้นมากที่สุดก่อน โดยทั่วไปคุณไม่จำเป็นต้องตรวจสอบทุกคำในร่างเอกสารภายในที่มีความเสี่ยงต่ำ แต่ต้องตรวจสอบตัวเลขในข้อเสนอให้ลูกค้าเสมอ ตารางนี้ช่วยจัดลำดับความสำคัญในการตรวจสอบข้อกล่าวอ้างประเภทที่พบบ่อย นำไปปรับให้เข้ากับงานและกฎการอนุมัติของทีม

ควรตรวจสอบแหล่งอ้างอิงอย่างไร?

เปิดแหล่งข้อมูลจริงและค้นหาข้อความที่สนับสนุนคำกล่าวนั้น ตรวจสอบผู้เขียนหรือผู้เผยแพร่ วันที่ ขอบเขต และเงื่อนไขหรือข้อจำกัดต่าง ๆ ลิงก์ที่มีอยู่จริงยังไม่เพียงพอ หากหน้านั้นกล่าวถึงกลุ่มประชากร ช่วงเวลา หรือคำถามคนละเรื่อง บันทึกแหล่งข้อมูลไว้เพื่อให้ผู้อื่นตรวจสอบซ้ำได้

หากคุณหาข้อความที่รองรับไม่พบ อย่าเพียงขอให้โมเดลยืนยันแหล่งอ้างอิงของตัวเองแล้วจบแค่นั้น ให้ขอหลักฐานที่ขาดไป ลบข้อความนั้นออก หรือระบุว่ายังหาข้อสรุปไม่ได้ โมเดลตัวที่สองช่วยเสนอคำถามได้ แต่การที่สองโมเดลเห็นตรงกันไม่ใช่การตรวจสอบโดยอิสระ ทั้งสองอาจเรียนรู้ข้อผิดพลาดที่ดูน่าเชื่อแบบเดียวกันมา

จะตรวจสอบตัวเลขและเหตุผลได้อย่างไร?

คำนวณตัวเลขสำคัญใหม่จากข้อมูลที่ให้มาโดยใช้วิธีอิสระ เช่น สูตร ตารางสรุปไขว้ หรือเครื่องคิดเลข ยืนยันหน่วย ช่วงเวลา และฐานที่ใช้เปรียบเทียบ ยอดรวมอาจถูกต้อง แต่คำอธิบายว่าเหตุใดจึงเปลี่ยนแปลงอาจไม่มีหลักฐานรองรับ จึงต้องแยกการคำนวณออกจากข้อกล่าวอ้างเรื่องสาเหตุ.

ในตารางสมมติ รายได้เพิ่มจาก 80 เป็น 92 หน่วย และต้นทุนเพิ่มจาก 50 เป็น 61 หน่วย การเปลี่ยนแปลงคือ 12 และ 11 หน่วย ดังนั้นส่วนต่างกำไรจึงเพิ่มจาก 30 เป็น 31 หน่วย ตารางเพียงอย่างเดียวไม่ได้อธิบายว่าการเปลี่ยนแปลงเกิดจากลูกค้าใหม่ การเปลี่ยนราคา หรือจังหวะเวลา บทสรุปที่รอบคอบจะระบุการเปลี่ยนแปลงโดยยังไม่สรุปสาเหตุ หรือระบุหลักฐานที่จะช่วยยืนยันสาเหตุได้ นอกจากนี้ ให้ระวังการสับสนระหว่างเปอร์เซ็นต์กับจุดเปอร์เซ็นต์ ซึ่งพบได้บ่อยในบทสรุปที่ AI สร้างขึ้น.

จะตรวจสอบข้อเท็จจริงในบทสรุปเอกสารที่ AI จัดทำได้อย่างไร?

ตรวจสอบสรุปจาก AI ทั้งสิ่งที่ระบุไว้และสิ่งที่ละไว้ เริ่มจากเลือกข้อความสามหรือสี่ข้อความในสรุป แล้วหาข้อความเหล่านั้นในต้นฉบับ จากนั้นอ่านหัวข้อหรือบรรทัดแรกของแต่ละส่วนในต้นฉบับ แล้วถามว่ามีสาระสำคัญใดตกหล่นหรือไม่ สุดท้าย มองหาถ้อยคำกำกับเงื่อนไขที่หายไป เช่น อาจ กลายเป็น จะ ในบางกรณี กลายเป็น เสมอ และ ขึ้นอยู่กับการอนุมัติ หายไปทั้งหมด

หากจะใช้บทสรุปประกอบการตัดสินใจ ให้ขอให้เครื่องมือยกข้อความอ้างอิงสำหรับแต่ละประเด็นก่อนสรุป เอกสารของ Anthropic สำหรับ Claude แนะนำวิธีนี้สำหรับเอกสารขนาดยาว พร้อมกับให้สั่งเครื่องมือลบข้อกล่าวอ้างที่ไม่มีข้อความอ้างอิงรองรับ วิธีนี้ช่วยให้ตรวจบทสรุปได้เร็วขึ้น แต่คุณยังต้องอ่านเทียบข้อความอ้างอิงกับหน้าต้นฉบับ

การตรวจสอบข้อเท็จจริงอย่างครบถ้วนมีลักษณะอย่างไร?

ต่อไปนี้คือร่างที่จงใจใส่ข้อผิดพลาดไว้สำหรับฝึก เอเจนซีสมมติชื่อเคสเทรล สตูดิโอ ขอให้ผู้ช่วยสรุปบรีฟผลิตภัณฑ์ที่ลูกค้าให้มาเป็นหนึ่งย่อหน้าสำหรับชุดสไลด์นำเสนองาน บรีฟระบุว่าแอปวางแผนของลูกค้าเปิดตัวในเดือนมีนาคม 2025 มีทั้งแผนฟรีและแผนเสียเงิน และผลสำรวจผู้ใช้ของตนเอง 200 คนพบว่าส่วนใหญ่ใช้งานทุกสัปดาห์

ร่างจาก AI: แอปนี้เปิดตัวเมื่อต้นปี 2024 และกลายเป็นหนึ่งในแอปวางแผนที่ได้รับความนิยมมากที่สุดในสหราชอาณาจักรอย่างรวดเร็ว โดยผลสำรวจอิสระล่าสุดพบว่าผู้ใช้ 85 เปอร์เซ็นต์เปิดแอปทุกวัน แอปมีทั้งแบบใช้งานฟรีและแบบพรีเมียม

ตรวจสอบทีละข้อกล่าวอ้าง วันเปิดตัว: โจทย์ระบุเดือนมีนาคม 2025 ดังนั้นต้นปี 2024 จึงผิด หนึ่งในเครื่องมือวางแผนที่ได้รับความนิยมสูงสุดในสหราชอาณาจักร: ไม่มีข้อมูลในโจทย์สนับสนุน จึงต้องตัดออก ผลสำรวจอิสระล่าสุด: โจทย์ระบุว่าเป็นผลสำรวจผู้ใช้ที่ลูกค้าทำเอง ดังนั้นคำว่าอิสระจึงไม่จริง 85 เปอร์เซ็นต์ใช้ทุกวัน: โจทย์บอกว่าส่วนใหญ่ใช้เป็นรายสัปดาห์ ทั้งตัวเลขและความถี่จึงเป็นสิ่งที่แต่งขึ้น ระดับบริการฟรีและแบบชำระเงิน: มีข้อมูลรองรับ

ย่อหน้าที่ตรวจทานแล้ว: แอปเปิดตัวในเดือนมีนาคม 2025 โดยมีทั้งแบบใช้ฟรีและแบบเสียเงิน จากแบบสำรวจผู้ใช้ 200 คนที่ลูกค้าจัดทำเอง ผู้ใช้ส่วนใหญ่ระบุว่าใช้แอปทุกสัปดาห์ บันทึกการตรวจทานระบุการแก้ไขสี่จุดและข้อกล่าวอ้างที่นำออกหนึ่งข้อ และผู้ดูแลบัญชีลูกค้าอนุมัติก่อนส่งชุดสไลด์ให้ลูกค้า

AI ช่วยคุณตรวจสอบความถูกต้องของข้อเท็จจริงในคำตอบของมันเองได้หรือไม่?

AI ช่วยจัดระบบการตรวจสอบข้อเท็จจริงได้ แต่ไม่สามารถตรวจสอบให้เสร็จสมบูรณ์ได้ คำสั่งที่มีประโยชน์ เช่น แจกแจงทุกข้อความที่อ้างข้อเท็จจริงในร่างนี้เป็นรายการลำดับเลข สำหรับแต่ละข้อความ ให้ยกประโยคจากแหล่งข้อมูลที่แนบมาซึ่งสนับสนุนข้อความนั้น หรือเขียนว่า ไม่มีข้อมูลรองรับ และระบุตัวเลขใดก็ตามที่ไม่อยู่ในแหล่งข้อมูล คำสั่งเหล่านี้เปลี่ยนย่อหน้าให้เป็นรายการตรวจสอบ

สิ่งที่ AI ทำไม่ได้คือการเป็นผู้ตรวจสอบที่เป็นอิสระ การถามเครื่องมือเดิมว่าคำตอบของมันถูกต้องหรือไม่มักได้เพียงคำยืนยันให้มั่นใจ การถามคำถามเดิมหลายครั้งแล้วเปรียบเทียบคำตอบ ซึ่งเป็นเทคนิคที่เอกสารของ Anthropic อธิบายไว้ อาจช่วยให้เห็นความไม่สอดคล้องกันได้ แต่คำตอบที่สอดคล้องกันก็อาจผิดเหมือนกันทุกครั้งได้เช่นกัน ขั้นตอนสุดท้ายจึงต้องเป็นการเปิดแหล่งข้อมูลตรวจสอบหรือคำนวณตัวเลขใหม่เสมอ.

บันทึกการตรวจสอบควรมีข้อมูลอะไรบ้าง?

เก็บข้อกล่าวอ้างเดิม แหล่งข้อมูลหรือการคำนวณที่ใช้ตรวจสอบ สิ่งที่แก้ไข และคำถามที่ยังหาข้อยุติไม่ได้ ระบุผู้รับผิดชอบตัดสินว่าผลลัพธ์เหมาะกับการใช้งานที่ตั้งใจไว้หรือไม่ บันทึกนี้ทำให้ตรวจสอบการทบทวนย้อนหลังได้ โดยไม่แสร้งว่าความเสี่ยงทั้งหมดหมดไปแล้ว

หลักฐานการตรวจทานไม่จำเป็นต้องใช้ซอฟต์แวร์เฉพาะ บันทึกสั้น ๆ ท้ายเอกสารหรือชุดความคิดเห็นก็เพียงพอสำหรับงานภายในส่วนใหญ่ สำหรับงานส่งมอบให้ลูกค้า ให้ทำตามกระบวนการอนุมัติตามปกติ การใช้ AI ช่วยไม่ได้เปลี่ยนว่าใครเป็นผู้อนุมัติขั้นสุดท้าย

เมื่อไรรายการตรวจสอบนี้จึงไม่เพียงพอ?

รายการตรวจสอบนี้เป็นขั้นตอนปฏิบัติงานประจำ ไม่ใช่การรับรองความถูกต้อง และไม่เพียงพอสำหรับคำแนะนำทางกฎหมาย เอกสารยื่นต่อหน่วยงานกำกับ ข้อมูลทางการแพทย์หรือความปลอดภัย ตัวเลขทางการเงินที่ผ่านการตรวจสอบบัญชี หรือการตัดสินใจเกี่ยวกับการจ้างงานของบุคคล งานเหล่านั้นต้องมีผู้ตรวจทานที่มีคุณสมบัติเหมาะสมและแหล่งข้อมูลต้นทาง ไม่ว่าจะใช้เครื่องมือใดจัดทำร่างก็ตาม

แต่การตรวจแบบนี้ก็อาจเกินความจำเป็น การระดมความคิด รายการหัวข้อประชุม หรือร่างแรกคร่าว ๆ ที่มีเพียงคุณอ่าน มักไม่จำเป็นต้องตรวจทุกข้อกล่าวอ้าง ให้ตรวจละเอียดตามผลกระทบที่จะเกิดขึ้นหากข้อมูลผิด.

แหล่งข้อมูลและขอบเขต

NIST, AI 600-1: แนวทางความเสี่ยงสำหรับ AI เชิงกำเนิด, July 2024 ↗

Anthropic เอกสาร Claude: ลดการหลอนของ AI เข้าถึงเมื่อ 16 ตุลาคม 2026 ↗