Vì sao bước kiểm tra của con người thường không hiệu quả?
Bước kiểm tra của con người thường thất bại vì người kiểm tra chỉ thấy kết luận của AI, có quá nhiều mục cần kiểm tra và không được hướng dẫn cần chú ý điều gì, nên phê duyệt trở thành cách nhanh nhất. Đây được gọi là phê duyệt máy móc, tạo vẻ ngoài có giám sát nhưng thực chất không có.
Hãy hình dung một nhà phân phối bán buôn giả định có 25 người, Oakbridge Supplies. Một công cụ AI đối chiếu hóa đơn nhà cung cấp với đơn đặt hàng và đánh dấu từng hóa đơn là 'khớp' hoặc 'không khớp'. Nhân viên tài chính Priya phê duyệt thanh toán cho các hóa đơn khớp. Danh sách chờ xử lý của cô vào một ngày thứ Năm ghi: '212 hóa đơn, 205 khớp, 7 không khớp'. Mỗi dòng hiển thị nhà cung cấp, số tiền và dấu tích xanh. Tháng trước, một hóa đơn của nhà cung cấp cho 400 đơn vị hàng đã được thanh toán dù chỉ có 40 đơn vị được giao, vì công cụ đối chiếu thấy đúng số đơn đặt hàng và Priya phê duyệt theo dấu tích.
Con người nên tham gia ở những khâu nào trong quy trình?
Cần có con người tham gia kiểm tra bất cứ khi nào đầu ra của AI làm thay đổi tiền bạc, quyền tiếp cận một thứ gì đó của một người, cam kết với khách hàng hoặc kết quả liên quan đến pháp lý hay an toàn, và phải kiểm tra trước khi thay đổi đó trở nên khó đảo ngược. Với các đầu ra thông thường, có thể đảo ngược, có thể kiểm tra bằng cách lấy mẫu.
Điều khoản của EU AI Act về sự giám sát của con người đối với các hệ thống rủi ro cao cũng nêu điều tương tự bằng ngôn ngữ pháp lý: người giám sát hệ thống cần hiểu các giới hạn của nó, luôn ý thức về thiên kiến tin vào tự động hóa, và có thể bỏ qua, đảo ngược hoặc dừng đầu ra của hệ thống. Ngay cả khi đạo luật không áp dụng cho bạn, đây vẫn là những mục tiêu thiết kế hợp lý.
Có những cách thiết kế nào để con người tham gia kiểm tra trong quy trình?
Có bốn cách tổ chức kiểm tra phổ biến; cách phù hợp phụ thuộc vào hậu quả của sai sót và số lượng mục cần kiểm tra.
Phê duyệt trước khi hành động
Một người phê duyệt từng đầu ra trước khi có bất kỳ hành động nào diễn ra. Áp dụng cho công việc có chi phí cao, số lượng ít, chẳng hạn thanh toán vượt ngưỡng hoặc hoàn tiền cho khách hàng.
Rà soát trường hợp ngoại lệ
AI xử lý các trường hợp rõ ràng và chuyển những trường hợp chưa chắc chắn hoặc bất thường cho con người. Cách này chỉ hiệu quả nếu quy tắc chuyển tiếp đã được kiểm thử và một số trường hợp 'rõ ràng' vẫn được kiểm tra.
Kiểm toán theo mẫu
Kết quả được gửi đi, sau đó một người kiểm tra mẫu ngẫu nhiên. Dùng cho công việc có khối lượng lớn và có thể sửa lại, chẳng hạn như bản tóm tắt nội bộ.
Tự làm trước
Người dùng tự hình thành nhận định trước khi xem gợi ý của AI. Cách này chậm hơn nhưng giúp tránh bị neo vào câu trả lời của AI khi đưa ra những nhận định quan trọng.
Thiết kế quy trình đánh giá chưa tốt và thiết kế đã cải thiện khác nhau như thế nào?
Thiết kế yếu: mọi hóa đơn đều được chuyển cho Priya với dấu màu xanh hoặc đỏ. Cô phê duyệt 205 dấu tích trong 20 phút. Không có gì cho cô biết lý do của từng dấu tích, và cũng không có gì kiểm tra xem cô còn thực sự xem xét hay không.
Thiết kế cải tiến: hóa đơn dưới một mức tiền quy định được thanh toán tự động nếu mã đơn hàng, số lượng và đơn giá đều khớp với phiếu giao hàng; Priya kiểm tra ngẫu nhiên mười hóa đơn mỗi tuần. Mọi hóa đơn vượt ngưỡng, mọi nhà cung cấp mới và mọi chênh lệch số lượng đều được chuyển cho cô, với ba trường thông tin đặt cạnh nhau và lý do của AI trong một dòng, chẳng hạn 'số lượng trên hóa đơn 400, đã giao 40'. Mỗi tháng một lần, trưởng bộ phận tài chính âm thầm đưa hai lỗi đã biết vào hàng đợi để xác nhận chúng được phát hiện. Priya cũng ghi lại mỗi lần cô bác bỏ quyết định của AI. Việc số lần bác bỏ đột ngột giảm về không được coi là dấu hiệu cảnh báo, không phải thành công.
Làm thế nào để kiểm tra xem việc rà soát có thực chất hay chỉ là phê duyệt cho có?
Kiểm tra xem việc rà soát có thực sự diễn ra hay không bằng cách đo lường: thời gian dành cho mỗi mục, tần suất người rà soát bác bỏ kết quả của AI và liệu các lỗi thử nghiệm được cài vào có bị phát hiện không. Một người rà soát không bao giờ bất đồng với công cụ thì hoặc đang xem những kết quả rất tốt, hoặc không hề rà soát, và bạn cần bằng chứng để biết đó là trường hợp nào.
Đưa ra bằng chứng, không chỉ kết luận
Đặt các trường dữ liệu nguồn cạnh câu trả lời của AI để kiểm tra nhanh hơn.
Giới hạn hàng đợi
Nếu một người không thể xem xét kỹ khối lượng công việc đó, hãy thay đổi cách thiết kế thay vì yêu cầu họ cố gắng hơn.
Trao quyền
Người rà soát phải có thể từ chối hoặc tạm dừng mà không cần xin phép.
Kiểm thử vòng lặp
Thỉnh thoảng đưa vào các lỗi đã biết và ghi lại xem chúng có được phát hiện hay không.
Những sai lầm thường gặp khi có con người tham gia giám sát quy trình là gì?
Sai lầm phổ biến nhất là thêm người kiểm tra vào quy trình mà không thay đổi bất kỳ điều gì khác, rồi coi sự phê duyệt của họ là bằng chứng cho thấy kết quả đúng. Những sai lầm khác gồm: yêu cầu một người phê duyệt hàng trăm mục mỗi ngày, giấu bằng chứng sau nhiều lần nhấp chuột, chỉ kiểm tra sau khi hành động đã xảy ra đối với các quyết định không thể đảo ngược, và vui mừng khi tỷ lệ bác bỏ đề xuất tự động giảm mà không hỏi tại sao. Ngay cả người cẩn thận cũng có thiên kiến tin vào tự động hóa, nên thiết kế quy trình quan trọng hơn ý định tốt.
Sự tham gia của con người trong quy trình nằm ở đâu trong danh mục khóa học của Tosheo.ai?
Nội dung về con người tham gia vào quy trình thuộc nhóm AI có trách nhiệm và chính sách trong khóa học kiến thức nền tảng về AI, sau nội dung về đạo đức AI và các biện pháp kiểm soát AI có trách nhiệm. Nội dung này xuất hiện trở lại trong các bài học về AI tác nhân và tự động hóa, nơi công cụ thực hiện hành động thay vì chỉ đưa ra đề xuất. Bài thực hành yêu cầu bạn thiết kế lại một bước xem xét trong công việc của mình; phản hồi theo hướng dẫn chấm điểm sẽ kiểm tra xem điểm xem xét, bằng chứng và thẩm quyền đã rõ ràng hay chưa.