لماذا تفشل خطوة المراجعة البشرية في كثير من الأحيان؟
غالبًا ما تفشل خطوة المراجعة البشرية لأن الشخص لا يرى سوى حكم الذكاء الاصطناعي، ولديه عناصر كثيرة جدًا للتحقق منها، ولا يُوضَّح له أبدًا ما الذي ينبغي البحث عنه، فتصبح الموافقة أسرع طريق. يُسمى هذا بالموافقة الشكلية، وهو يعطي مظهر الرقابة دون مضمونها.
تخيّل شركة توزيع بالجملة افتراضية اسمها أوكبريدج سابلايز، يعمل بها 25 شخصًا. تطابق أداة ذكاء اصطناعي فواتير الموردين مع أوامر الشراء وتضع على كل فاتورة علامة 'مطابقة' أو 'غير مطابقة'. وتعتمد موظفة الحسابات، بريا، الفواتير المطابقة للدفع. وتعرض قائمة العمل لديها يوم خميس ما يلي: '212 فاتورة، 205 مطابقة، 7 غير مطابقة'. يُظهر كل سطر المورد والمبلغ وعلامة صح خضراء. في الشهر الماضي، دُفعت فاتورة مورد مقابل 400 وحدة مع أن المستلَم كان 40 فقط، لأن الأداة طابقت رقم الطلب واعتمدت بريا علامة الصح.
في أي مراحل سير العمل ينبغي إشراك الإنسان؟
ينبغي أن يتدخل شخص للمراجعة كلما أثرت مخرجات الذكاء الاصطناعي في الأموال، أو حصول شخص على شيء، أو التزام تجاه عميل، أو نتيجة قانونية أو متعلقة بالسلامة، وقبل أن يصبح التراجع عن ذلك الأثر صعبًا. أما المخرجات الروتينية التي يمكن التراجع عنها، فيمكن التحقق منها بأخذ عينات بدلًا من ذلك.
تؤكد المادة المتعلقة بالإشراف البشري على الأنظمة عالية المخاطر في EU AI Act الفكرة نفسها بلغة تنظيمية: ينبغي لمن يشرفون على النظام فهم حدوده، والانتباه إلى تحيز الأتمتة، والقدرة على تجاهل مخرجاته أو التراجع عنها أو إيقافها. وحتى إن لم ينطبق عليك القانون، فهذه أهداف جيدة للتصميم.
ما أنماط المراجعة التي تُشرك الإنسان في سير العمل؟
هناك أربع طرق شائعة لتنظيم المراجعة، ويعتمد اختيار الطريقة المناسبة على تكلفة الخطأ وعدد العناصر.
الموافقة قبل التنفيذ
يوافق شخص على كل مخرج قبل اتخاذ أي إجراء. استخدم هذا الأسلوب للأعمال ذات التكلفة المرتفعة والحجم المحدود، مثل المدفوعات التي تتجاوز حدًا معينًا أو رد الأموال للعملاء.
مراجعة الاستثناءات
يتولى الذكاء الاصطناعي الحالات الواضحة ويحيل الحالات غير المؤكدة أو غير المعتادة إلى شخص. ولا ينجح ذلك إلا إذا اختُبرت قواعد الإحالة، مع الاستمرار في فحص بعض الحالات «الواضحة».
تدقيق بالعينة
تُرسل المخرجات، ثم يراجع شخص عينة عشوائية منها لاحقًا. يُستخدم هذا الأسلوب للأعمال كبيرة الحجم التي يمكن التراجع عن نتائجها، مثل الملخصات الداخلية.
العمل باستقلالية أولًا
يكوّن الشخص رأيه بنفسه قبل الاطلاع على اقتراح الذكاء الاصطناعي. هذا أبطأ، لكنه يحمي من الانحياز إلى إجابة الذكاء الاصطناعي عند إصدار أحكام مهمة.
كيف يبدو تصميم المراجعة في صورته الضعيفة وفي صورته المحسّنة؟
تصميم ضعيف: تصل كل فاتورة إلى بريا بعلامة خضراء أو حمراء. تعتمد 205 علامات قبول في 20 دقيقة. لا شيء يوضح لها سبب منح كل علامة، ولا شيء يختبر ما إذا كانت لا تزال تراجع فعلًا.
تصميم محسّن: تُدفع تلقائيًا الفواتير التي تقل عن مبلغ محدد ويتطابق فيها رقم الطلب والكمية وسعر الوحدة جميعًا مع إشعار التسليم، وتراجع بريا عشرًا منها عشوائيًا كل أسبوع. وكل فاتورة تتجاوز الحد، وكل مورّد جديد، وأي اختلاف في الكمية، تُحال إليها مع عرض الحقول الثلاثة جنبًا إلى جنب وسبب الذكاء الاصطناعي في سطر واحد، مثل 'الكمية في الفاتورة 400، والكمية المسلّمة 40'. مرة كل شهر، يدرج مسؤول الشؤون المالية خطأين معروفين في قائمة المراجعة دون تنبيهها، للتأكد من اكتشافهما. وتسجّل بريا أيضًا كل مرة تتجاوز فيها قرار الذكاء الاصطناعي. ويُعامل الانخفاض المفاجئ في عدد هذه التجاوزات إلى الصفر بوصفه تحذيرًا، لا نجاحًا.
كيف تتحقق من أن المراجعة فعلية وليست مجرد موافقة شكلية؟
تحقق من أن المراجعة فعلية بقياسها: الوقت المستغرق لكل عنصر، وعدد المرات التي يخالف فيها المراجعون قرارات الذكاء الاصطناعي، وما إذا كانوا يكتشفون الأخطاء الاختبارية المدسوسة. فالمراجع الذي لا يختلف أبدًا مع الأداة إما أنه يراجع مخرجات جيدة جدًا أو أنه لا يراجع أصلًا، وتحتاج إلى أدلة لتعرف أيهما يحدث.
اعرض الأدلة، لا الأحكام وحدها
ضع حقول المصدر بجانب إجابة الذكاء الاصطناعي لتسهيل التحقق منها بسرعة.
الحد من قائمة الانتظار
إذا لم يستطع شخص مراجعة حجم العمل كما ينبغي، فغيّر التصميم بدلًا من مطالبته ببذل جهد أكبر.
امنح الصلاحية
يجب أن يتمكن المراجعون من الرفض أو الإيقاف المؤقت دون الحاجة إلى إذن.
اختبر الحلقة
أدرج أخطاء معروفة من حين إلى آخر، وسجّل ما إذا جرى اكتشافها.
ما الأخطاء الشائعة عند إشراك الإنسان في سير عمل الذكاء الاصطناعي؟
الخطأ الأكثر شيوعاً هو إضافة مراجع إلى العملية دون تغيير أي شيء آخر، ثم اعتبار موافقته دليلاً على صحة المخرجات. ومن الأخطاء الأخرى: مطالبة شخص واحد بالموافقة على مئات العناصر يومياً، وإخفاء الأدلة خلف نقرات إضافية، وإجراء المراجعة بعد تنفيذ الإجراء في القرارات التي لا يمكن التراجع عنها، والاحتفاء بانخفاض معدل تجاوز قرارات النظام دون السؤال عن السبب. يؤثر تحيز الأتمتة حتى في الأشخاص الحريصين، ولهذا يهم التصميم أكثر من حسن النوايا.
أين يقع موضوع إشراك الإنسان في سير العمل ضمن دليل دورات Tosheo.ai؟
يندرج درس إشراك الإنسان في سير العمل ضمن فئة الذكاء الاصطناعي المسؤول والسياسات، في دورة الإلمام بالذكاء الاصطناعي، بعد درسي أخلاقيات الذكاء الاصطناعي وضوابط استخدامه المسؤول. ويُطرح مجددًا في دروس الذكاء الاصطناعي القائم على الوكلاء والأتمتة، حيث تنفّذ الأدوات إجراءات بدلًا من تقديم اقتراحات. تطلب منك المهمة التطبيقية إعادة تصميم خطوة مراجعة من عملك، وتتحقق الملاحظات المستندة إلى دليل التقييم من وضوح مرحلة المراجعة والأدلة والصلاحيات.