الحدود الصريحة للإشراف حين يكبر الحجم
مع الحجم الكبير، لا يمكن للبشر أن يكونوا هم الضابط
قلها بوضوح، لأن كثيرًا من حوكمة الذكاء الاصطناعي (AI) قائم على تجنّب قولها بهدوء. حين ينفّذ الوكيل آلاف الأفعال يوميًا، لا يوجد ترتيب بشري يراجعها مراجعة ذات معنى. ما يستطيع الناس فعله على هذا النطاق هو مراجعة عيّنة، والاستجابة للاستثناءات، والتحقيق في الحوادث. وما لا يستطيعونه هو تقديم ضمانة على كل فعل، وأي تصميم يدّعي غير ذلك يصف طموحًا. ليس هذا حجة ضد مشاركة البشر، بل حجة لوضعها حيث تنجح. البشر يضعون السياسة، ويحددون ما لا يجوز حدوثه، ويراجعون العيّنة، ويحسمون التصعيدات، ويقررون هل توسَّع الاستقلالية. أما الضابط على مستوى كل فعل مع الحجم الكبير فيجب أن يكون بنيويًا — فحوص سياسات حتمية، وحدود نطاق، وتنفيذ مرحلي مع نافذة تأخير — لأن هذه تتوسّع مع الحجم والانتباه لا يتوسّع.
- مع الحجم الكبير، يستطيع الناس أخذ العيّنات ومعالجة الاستثناءات والتحقيق — لا ضمان كل فعل
- التصميم الذي يوحي بضمانة بشرية لكل فعل على نطاق واسع يصف طموحًا
- البشر يضعون السياسة، ويراجعون العيّنات، ويحسمون التصعيدات، ويقررون الاستقلالية
- الضابط لكل فعل على نطاق واسع يجب أن يكون بنيويًا، لأن الانتباه لا يتوسّع
أخذ عيّنات يميّز
المراجعة العشوائية المنتظمة تنفق معظم ميزانيتها في تأكيد أن الحالات العادية كانت عادية. احتفظ بشريحة عشوائية صغيرة لإبقاء المعدّل الأساسي (Base rate) صادقًا، ثم أنفق الباقي حيث توجد المعلومات: الأفعال في الطرف الأعلى من القيمة أو مدى التأثير، والتشغيلات التي أخفق فيها تحقّق أو حدثت فيها إعادة محاولة (Retry)، والتشغيلات التي يقع عدد خطواتها في الذيل، والحالات التي عبّر فيها الوكيل عن ثقة منخفضة، وأنواع الأفعال التي رُقّيت حديثًا إلى مرحلة استقلالية أوسع، وكل ما يتضمن مواد وصلت من الخارج. دوّر محور التركيز كي لا يتحوّل نظام أخذ العيّنات الثابت إلى نقطة عمياء يمكن التنبؤ بها. وأغلق الحلقة: كل مراجعة تجد شيئًا يجب أن تُنتج إما حالة محفوظة لمجموعة الاختبارات وإما تغييرًا في أداة أو مخطط أو سياسة، لأن المراجعة التي لا تولّد أي تغيير عملية بلا مُخرَج.
- احتفظ بشريحة عشوائية صغيرة للمعدّل الأساسي، ثم خذ العيّنات حيث توجد المعلومات
- مدى تأثير عالٍ، وتحقّقات فاشلة، وأعداد خطوات في الذيل، وثقة منخفضة، وأفعال وُسّعت حديثًا
- دوّر محور التركيز كي لا يصبح النظام نقطة عمياء يمكن التنبؤ بها
- كل اكتشاف يجب أن يُنتج حالة محفوظة أو تغييرًا، وإلا فالمراجعة بلا مُخرَج
مسرحية الإشراف وكيف تكتشفها
حالة الإخفاق هي عملية تُرضي التدقيق ولا تغيّر شيئًا، ولها أعراض يمكن التعرّف عليها. نسب موافقة كاملة أو تكاد، مع أزمنة قرار لا تتجاوز ثانيتين. ومراجعة بالعيّنات لا يستطيع أحد أن يشير إلى اكتشاف واحد منها في هذا الربع. وأعداد تصعيد صفرية. ووثيقة سياسة تسمّي ضوابط غير موجودة في بيئة التشغيل. ومسار تجاوز يُستخدم روتينيًا دون سجل بمن استخدمه أو لماذا. كل واحد من هذه قابل للقياس، وهذا هو الجزء المفيد: جودة الإشراف ليست مسألة رأي، بل يمكن قياسها كأي شيء آخر في هذه الوحدة. انشر تلك الأرقام إلى جانب أرقام أداء الوكيل، وعامل البوابة ذات نسبة الموافقة الكاملة كاكتشاف يتطلب تفسيرًا — فإما أن البوابة غير ضرورية وينبغي إزالتها، وإما أنها لا تعمل وينبغي إصلاحها. تركها في مكانها دون فحص هو الخيار الوحيد الذي لا يفيد أحدًا.
- الأعراض: موافقة شبه كاملة، ولا اكتشافات من العيّنات، ولا تصعيدات، وتجاوزات غير موثّقة
- جودة الإشراف قابلة للقياس — قِسها كأي جزء آخر من النظام
- البوابة التي يُوافَق عليها في كل مرة تقريبًا إما غير ضرورية وإما لا تعمل
- ترك بوابة دون فحص هو الخيار الوحيد الذي لا فائدة منه