Mengapa tahap peninjauan oleh manusia sering gagal?
Tahap peninjauan manusia sering gagal karena peninjau hanya melihat keputusan AI, harus memeriksa terlalu banyak hal, dan tidak pernah diberi tahu apa yang perlu diperhatikan, sehingga memberikan persetujuan menjadi cara tercepat. Ini disebut persetujuan tanpa pemeriksaan, yang membuat pengawasan tampak ada padahal tidak benar-benar dilakukan.
Bayangkan sebuah distributor grosir fiktif dengan 25 karyawan, Oakbridge Supplies. Sebuah alat AI mencocokkan faktur pemasok dengan pesanan pembelian dan menandai masing-masing sebagai 'cocok' atau 'tidak cocok'. Staf keuangannya, Priya, menyetujui faktur yang cocok untuk dibayar. Antrean pekerjaannya pada suatu Kamis berbunyi: '212 faktur, 205 cocok, 7 tidak cocok'. Setiap baris menampilkan pemasok, jumlah tagihan, dan tanda centang hijau. Bulan lalu, faktur pemasok untuk 400 unit dibayar padahal hanya 40 yang dikirim, karena alat tersebut mencocokkan nomor pesanan dan Priya menyetujui berdasarkan tanda centang itu.
Pada tahap mana manusia perlu dilibatkan dalam proses?
Manusia perlu dilibatkan setiap kali keluaran AI mengubah hal yang berkaitan dengan uang, akses seseorang terhadap sesuatu, komitmen kepada pelanggan, atau hasil yang berdampak pada hukum maupun keselamatan, sebelum perubahan itu menjadi sulit dibatalkan. Untuk keluaran rutin yang dapat dibatalkan, pemeriksaan sampel dapat digunakan sebagai gantinya.
Pasal EU AI Act tentang pengawasan manusia untuk sistem berisiko tinggi menyampaikan hal yang sama dalam bahasa regulasi: orang yang mengawasi sistem harus memahami batasannya, tetap menyadari bias otomatisasi, dan dapat mengabaikan, membatalkan, atau menghentikan keluarannya. Meskipun undang-undang tersebut tidak berlaku bagi Anda, hal-hal itu tetap merupakan tujuan perancangan yang baik.
Apa saja rancangan peninjauan yang melibatkan manusia dalam proses?
Ada empat rancangan peninjauan yang umum, dan pilihan yang tepat bergantung pada dampak kesalahan serta jumlah item yang perlu ditinjau.
Setujui sebelum tindakan dilakukan
Seseorang menyetujui setiap keluaran sebelum tindakan apa pun dijalankan. Gunakan untuk pekerjaan berbiaya tinggi dengan jumlah transaksi sedikit, seperti pembayaran di atas ambang tertentu atau pengembalian dana pelanggan.
Peninjauan kasus pengecualian
AI menangani kasus yang jelas dan meneruskan kasus yang tidak pasti atau tidak biasa kepada manusia. Ini hanya berjalan jika aturan penerusannya diuji dan sebagian kasus yang 'jelas' tetap diperiksa.
Audit berbasis sampel
Hasil langsung dikirim, lalu seseorang memeriksa sampel acak setelahnya. Gunakan untuk pekerjaan bervolume tinggi yang dampaknya dapat dibatalkan, seperti ringkasan internal.
Kerjakan sendiri terlebih dahulu
Orang tersebut membentuk penilaiannya sendiri sebelum melihat saran AI. Cara ini lebih lambat, tetapi mencegah penilaian penting terpaku pada jawaban AI.
Seperti apa rancangan peninjauan yang lemah dan yang telah diperbaiki?
Rancangan lemah: setiap faktur dikirim kepada Priya dengan tanda hijau atau merah. Ia menyetujui 205 tanda centang dalam 20 menit. Tidak ada yang menjelaskan mengapa setiap tanda centang diberikan, dan tidak ada yang menguji apakah ia masih memeriksanya.
Rancangan yang diperbaiki: faktur di bawah jumlah yang ditetapkan, dengan nomor pesanan, kuantitas, dan harga satuan yang semuanya cocok dengan surat jalan, dibayar secara otomatis. Priya memeriksa sepuluh faktur secara acak setiap minggu. Semua faktur di atas ambang batas, dari pemasok baru, atau dengan selisih kuantitas diteruskan kepadanya dengan ketiga kolom ditampilkan berdampingan dan alasan AI dalam satu baris, misalnya 'kuantitas pada faktur 400, yang dikirim 40'. Sebulan sekali, kepala keuangan diam-diam menyisipkan dua kesalahan yang sudah diketahui ke dalam antrean untuk memastikan kesalahan itu terdeteksi. Priya juga mencatat setiap kali ia mengubah keputusan AI. Penurunan mendadak hingga tidak ada lagi keputusan AI yang diubah diperlakukan sebagai peringatan, bukan keberhasilan.
Bagaimana cara memastikan peninjauan benar-benar dilakukan, bukan sekadar formalitas persetujuan?
Pastikan peninjauan benar-benar dilakukan dengan mengukurnya: waktu yang dihabiskan per item, seberapa sering peninjau mengesampingkan hasil AI, dan apakah kesalahan uji yang sengaja disisipkan terdeteksi. Peninjau yang tidak pernah berbeda pendapat dengan alat tersebut mungkin meninjau keluaran yang sangat baik atau sama sekali tidak meninjaunya, dan Anda memerlukan bukti untuk mengetahui mana yang terjadi.
Tampilkan bukti, bukan hanya penilaian
Tempatkan kolom sumber di samping jawaban AI agar pemeriksaan cepat dilakukan.
Batasi antrean
Jika seseorang tidak mampu meninjau seluruh volume pekerjaan dengan baik, ubah rancangannya alih-alih meminta mereka berusaha lebih keras.
Berikan wewenang
Peninjau harus dapat menolak atau menjeda tanpa perlu meminta izin.
Uji siklusnya
Sesekali sertakan kesalahan yang sudah diketahui dan catat apakah kesalahan tersebut terdeteksi.
Apa saja kesalahan umum dalam pelibatan manusia pada proses AI?
Kesalahan paling umum adalah menambahkan peninjau ke suatu proses tanpa mengubah hal lain, lalu menganggap persetujuannya sebagai bukti bahwa hasilnya benar. Kesalahan lainnya: meminta satu orang menyetujui ratusan item per hari, menyembunyikan bukti di balik klik tambahan, melakukan peninjauan setelah tindakan yang tidak dapat dibatalkan telanjur dilakukan, dan merayakan turunnya tingkat pengesampingan keputusan sistem tanpa menanyakan penyebabnya. Bias otomatisasi juga memengaruhi orang yang teliti. Karena itu, rancangan proses lebih penting daripada niat baik.
Di bagian mana keterlibatan manusia dalam proses dibahas dalam katalog Tosheo.ai?
Keterlibatan manusia dalam proses berada dalam kategori AI yang Bertanggung Jawab dan Kebijakan, dalam kursus literasi AI, setelah etika AI dan kontrol AI yang bertanggung jawab. Topik ini dibahas kembali dalam pelajaran AI berbasis agen dan otomatisasi, ketika alat melakukan tindakan, bukan sekadar memberi saran. Tugas praktik meminta Anda merancang ulang tahap peninjauan dari pekerjaan Anda sendiri, dan umpan balik berdasarkan panduan penilaian memeriksa apakah titik peninjauan, bukti, dan wewenangnya sudah jelas.