ทำไมขั้นตอนการตรวจทานโดยคนจึงมักไม่ได้ผล?
ขั้นตอนที่ให้คนตรวจสอบมักไม่ได้ผล เพราะผู้ตรวจเห็นเพียงข้อสรุปของ AI มีรายการให้ตรวจมากเกินไป และไม่เคยได้รับคำแนะนำว่าต้องดูอะไร การกดอนุมัติจึงกลายเป็นทางที่เร็วที่สุด นี่เรียกว่าการอนุมัติโดยไม่ตรวจจริง ซึ่งดูเหมือนมีการกำกับดูแล แต่ไม่มีการกำกับดูแลอย่างแท้จริง
ลองนึกถึงผู้จัดจำหน่ายขายส่งสมมติชื่อโอ๊กบริดจ์ซัพพลายส์ที่มีพนักงาน 25 คน เครื่องมือ AI จับคู่ใบแจ้งหนี้ของซัพพลายเออร์กับใบสั่งซื้อ และทำเครื่องหมายแต่ละใบว่า 'ตรงกัน' หรือ 'ไม่ตรงกัน' ปรียา เจ้าหน้าที่การเงิน อนุมัติรายการที่ตรงกันเพื่อชำระเงิน คิวงานของเธอในวันพฤหัสบดีระบุว่า 'ใบแจ้งหนี้ 212 ใบ ตรงกัน 205 ใบ ไม่ตรงกัน 7 ใบ' แต่ละแถวแสดงซัพพลายเออร์ จำนวนเงิน และเครื่องหมายถูกสีเขียว เดือนที่แล้วมีการจ่ายใบแจ้งหนี้ซัพพลายเออร์สำหรับสินค้า 400 หน่วย ทั้งที่ส่งมอบเพียง 40 หน่วย เพราะเครื่องมือจับคู่เลขที่ใบสั่งซื้อได้ และปรียาก็อนุมัติตามเครื่องหมายถูก
ควรให้มนุษย์มีส่วนร่วมในขั้นตอนใดของกระบวนการ?
ควรมีคนร่วมตรวจสอบทุกจุดที่ผลลัพธ์จาก AI ส่งผลต่อเงิน สิทธิในการเข้าถึงสิ่งใดสิ่งหนึ่งของบุคคล ข้อผูกพันต่อลูกค้า หรือผลด้านกฎหมายหรือความปลอดภัย และต้องตรวจสอบก่อนที่การเปลี่ยนแปลงนั้นจะย้อนกลับได้ยาก ส่วนผลลัพธ์ที่เป็นงานประจำและย้อนกลับได้สามารถใช้การสุ่มตรวจแทน
บทบัญญัติของ EU AI Act ว่าด้วยการกำกับดูแลโดยมนุษย์สำหรับระบบที่มีความเสี่ยงสูงกล่าวถึงประเด็นเดียวกันในภาษากฎหมายว่า ผู้กำกับดูแลระบบควรเข้าใจข้อจำกัดของระบบ ตระหนักถึงอคติจากการเชื่อระบบอัตโนมัติ และสามารถไม่ใช้ ย้อนกลับ หรือหยุดผลลัพธ์ของระบบได้ แม้กฎหมายนี้ไม่บังคับใช้กับคุณ สิ่งเหล่านี้ก็ยังเป็นเป้าหมายการออกแบบที่ดี
มีรูปแบบการตรวจสอบโดยให้มนุษย์มีส่วนร่วมในกระบวนการแบบใดบ้าง?
รูปแบบการตรวจทานที่ใช้กันทั่วไปมี 4 แบบ การเลือกรูปแบบที่เหมาะสมขึ้นอยู่กับผลเสียจากข้อผิดพลาดและจำนวนรายการที่ต้องตรวจ.
อนุมัติก่อนดำเนินการ
ให้คนอนุมัติผลลัพธ์แต่ละรายการก่อนดำเนินการใด ๆ ใช้กับงานที่มีมูลค่าสูงแต่ปริมาณน้อย เช่น การชำระเงินที่เกินวงเงินที่กำหนดหรือการคืนเงินให้ลูกค้า
ทบทวนกรณียกเว้น
AI จัดการกรณีที่ชัดเจน และส่งกรณีที่ไม่แน่นอนหรือผิดปกติให้คนดูแล วิธีนี้ใช้ได้ก็ต่อเมื่อทดสอบกฎการส่งต่อแล้ว และยังตรวจสอบบางกรณีที่ถือว่า 'ชัดเจน' อยู่ด้วย
การตรวจสอบแบบสุ่มตัวอย่าง
ส่งผลลัพธ์ออกไปก่อน แล้วให้คนสุ่มตรวจภายหลัง ใช้กับงานปริมาณมากที่แก้ไขย้อนกลับได้ เช่น สรุปสำหรับใช้ภายใน
ลองทำด้วยตนเองก่อน
ผู้ตรวจสร้างความเห็นของตัวเองก่อนเห็นคำแนะนำจาก AI วิธีนี้ช้ากว่า แต่ช่วยป้องกันการยึดคำตอบของ AI เป็นหลักในการตัดสินเรื่องสำคัญ
การออกแบบการทบทวนแบบที่ยังไม่ดีและแบบที่ปรับปรุงแล้วมีลักษณะอย่างไร?
การออกแบบที่ไม่ดี: ใบแจ้งหนี้ทุกใบถูกส่งให้ปรียาพร้อมเครื่องหมายสีเขียวหรือสีแดง เธออนุมัติรายการที่มีเครื่องหมายถูก 205 รายการใน 20 นาที ไม่มีข้อมูลบอกว่าแต่ละรายการได้เครื่องหมายถูกเพราะอะไร และไม่มีอะไรทดสอบว่าเธอยังตรวจดูอยู่หรือไม่
รูปแบบที่ปรับปรุงแล้ว: ใบแจ้งหนี้ที่มียอดต่ำกว่าเกณฑ์ที่กำหนด และมีเลขที่คำสั่งซื้อ จำนวน และราคาต่อหน่วยตรงกับใบส่งของทั้งหมด จะได้รับการชำระโดยอัตโนมัติ ส่วนปรียาจะสุ่มตรวจสิบรายการทุกสัปดาห์ รายการที่เกินเกณฑ์ ผู้ขายรายใหม่ทุกราย และรายการที่จำนวนไม่ตรงกัน จะส่งให้เธอตรวจ โดยแสดงข้อมูลทั้งสามช่องเทียบกัน พร้อมเหตุผลของ AI ในหนึ่งบรรทัด เช่น 'จำนวนในใบแจ้งหนี้ 400 ส่งมอบ 40' เดือนละครั้ง หัวหน้าฝ่ายการเงินจะแทรกรายการที่ทราบว่าผิดสองรายการไว้ในคิวโดยไม่บอกล่วงหน้า เพื่อยืนยันว่าสามารถตรวจพบได้ ปรียายังบันทึกทุกครั้งที่ตัดสินใจไม่ตาม AI หากจำนวนครั้งที่ตัดสินใจต่างจาก AI ลดลงเป็นศูนย์อย่างฉับพลัน จะถือเป็นสัญญาณเตือน ไม่ใช่ความสำเร็จ.
จะตรวจสอบได้อย่างไรว่ามีการทบทวนจริง ไม่ใช่แค่อนุมัติผ่าน ๆ?
ตรวจสอบว่ามีการทบทวนจริงด้วยการวัดผล: เวลาที่ใช้ต่อรายการ ความถี่ที่ผู้ทบทวนตัดสินใจต่างจาก AI และการตรวจพบข้อผิดพลาดที่จงใจแทรกไว้เพื่อทดสอบ ผู้ทบทวนที่ไม่เคยเห็นต่างจากเครื่องมือเลยอาจกำลังทบทวนผลลัพธ์ที่ดีมาก หรือไม่ได้ทบทวนเลยก็ได้ และคุณต้องมีหลักฐานเพื่อแยกให้ออกว่าเป็นกรณีใด
แสดงหลักฐาน ไม่ใช่แค่ข้อสรุป
วางช่องข้อมูลต้นฉบับไว้ข้างคำตอบของ AI เพื่อให้ตรวจสอบได้รวดเร็ว
จำกัดจำนวนงานในคิว
หากคนไม่สามารถตรวจทานงานในปริมาณนั้นได้อย่างเหมาะสม ให้เปลี่ยนรูปแบบกระบวนการ แทนที่จะขอให้พยายามมากขึ้น.
มอบอำนาจ
ผู้ตรวจทานต้องสามารถปฏิเสธหรือหยุดพักการทำงานได้โดยไม่ต้องขออนุญาต
ทดสอบวงจรการทำงาน
แทรกข้อผิดพลาดที่ทราบอยู่แล้วเป็นระยะ และบันทึกว่ามีการตรวจพบหรือไม่
ข้อผิดพลาดที่พบบ่อยในการให้มนุษย์มีส่วนร่วมตรวจสอบการทำงานของ AI มีอะไรบ้าง?
ข้อผิดพลาดที่พบบ่อยที่สุดคือการเพิ่มผู้ตรวจทานเข้าไปในกระบวนการโดยไม่เปลี่ยนสิ่งอื่น แล้วถือว่าการอนุมัติของผู้นั้นเป็นหลักฐานว่าผลลัพธ์ถูกต้อง ข้ออื่น ๆ ได้แก่ การให้คนคนเดียวอนุมัติหลายร้อยรายการต่อวัน การซ่อนหลักฐานไว้จนต้องคลิกเพิ่ม การตรวจทานหลังดำเนินการไปแล้วในกรณีที่ย้อนกลับไม่ได้ และการยินดีกับอัตราการตัดสินใจแย้งระบบที่ลดลงโดยไม่ถามว่าทำไม แม้แต่คนรอบคอบก็มีอคติเชื่อระบบอัตโนมัติได้ การออกแบบจึงสำคัญกว่าเจตนาดี
การให้มนุษย์มีส่วนร่วมในกระบวนการอยู่ในส่วนใดของรายการหลักสูตร Tosheo.ai?
บทเรียนเรื่องการให้มนุษย์มีส่วนร่วมในกระบวนการอยู่ในหมวด AI อย่างรับผิดชอบและนโยบาย ในหลักสูตรความรู้พื้นฐานด้าน AI ต่อจากเรื่องจริยธรรม AI และมาตรการควบคุมการใช้ AI อย่างรับผิดชอบ หัวข้อนี้จะกลับมาอีกครั้งในบทเรียนเรื่อง AI แบบตัวแทนและระบบอัตโนมัติ ซึ่งเครื่องมือลงมือทำแทนที่จะแค่เสนอแนะ งานฝึกปฏิบัติให้คุณออกแบบขั้นตอนตรวจทานในงานของคุณเองใหม่ และข้อเสนอแนะตามเกณฑ์การให้คะแนนจะตรวจว่าจุดตรวจทาน หลักฐาน และอำนาจตัดสินใจชัดเจนครบถ้วนหรือไม่