أين يجب أن يبقى الإنسان في القرار
قرارات يرافقها واجب التفسير
بعض القرارات المالية تترتب عليها التزامات مرتبطة بالقرار نفسه، وهذه الالتزامات تبقى قائمة بالكامل بعد الأتمتة. ويختلف موضع نشوء هذا الواجب، لذا سمِّ النظام القانوني قبل أن تفترض شيئًا. ففي الائتمان الاستهلاكي الأمريكي، يشترط قانون تكافؤ فرص الائتمان (ECOA) واللائحة B (Regulation B) ذكر أسباب رئيسية محددة عند اتخاذ قرار سلبي؛ وفي الاتحاد الأوروبي، يمنح قانون حماية البيانات حقوقًا في التدخل البشري وفي الاعتراض على قرار آلي بالكامل ذي آثار جوهرية. وعبارة «النموذج رفض» لا تفي بأي من الاثنين، وفي أماكن أخرى قد يُرسم الواجب بشكل مختلف أو لا يوجد أصلًا. أما التوصيات المقدَّمة لعملاء التجزئة فتستدعي نظام المشورة المحلي: متطلبات الملاءمة في توجيه MiFID II في الاتحاد الأوروبي، ولائحة أفضل مصلحة (Regulation Best Interest) ومعيار الالتزام الاستئماني على المستشار في الولايات المتحدة. وتجميد الحسابات، وإنهاء العلاقات، ورفض المطالبات، وبلاغات النشاط المشبوه، كلها تقع على عاتق شخص محدد.
- واجبات التفسير والاعتراض ترتبط بالقرار، لا بالتقنية التي أنتجته
- سمِّ النظام القانوني: ECOA واللائحة B في الائتمان الاستهلاكي الأمريكي، وحقوق GDPR في الاتحاد الأوروبي، ولا أيّ منهما افتراضيًا في غيرهما
- التوصيات لعملاء التجزئة تستدعي متطلبات الملاءمة في MiFID II في الاتحاد الأوروبي ولائحة Regulation Best Interest في الولايات المتحدة
- التصنيف التنظيمي يتبع المنطق نفسه — تعرض الوحدة 2 فئة المخاطر العالية في قانون الذكاء الاصطناعي الأوروبي (EU AI Act) واستثناءاتها
مراجعة حقيقية لا ختم شكلي
الإشراف البشري (Human-in-the-loop) الذي يوافق على كل ما يصله تقريبًا هو توثيق لا ضابط. فالمراجعة الهادفة تحتاج إلى أربعة أمور يغفلها التصميم عادة. يجب أن يتوفر للمراجع ما يحتاجه كي يخالف — المدخلات والأسباب، لا مجرد درجة. ويجب أن يُمنح وقتًا يتناسب مع القرار. ويجب أن يملك صلاحية النقض دون أن يدفع ثمنًا شخصيًا لذلك. ويجب مراقبة معدلات التجاوز، لأن معدلًا يقارب الصفر ومعدلًا يقارب الكل كلاهما دليل على أن المراجعة لا تعمل. وانحياز الأتمتة — أي الإذعان لنظام واثق — موثّق جيدًا، وهو مشكلة تصميم لا يعالجها التدريب. وتتعمق دورة «تأمين أنظمة الذكاء الاصطناعي» أكثر في الموضع الذي ينبغي أن توضع فيه بوابات الموافقة كي تُقرأ فعلًا ولا يُضغط عليها بلا تفكير.
- المراجع الذي لا يُعطى سوى درجة لا يستطيع المخالفة من حيث المبدأ، أيًّا كان ما تقوله الإجراءات
- وقت يتناسب مع القرار، وصلاحية للنقض دون عواقب شخصية
- راقب معدلات التجاوز: ما يقارب الصفر وما يقارب الكل كلاهما يعني أن خطوة المراجعة لا تعمل
- انحياز الأتمتة مشكلة تصميم — أن تطلب من الناس التحلي بالشك لا يُصلح واجهة
من المسؤول حين يخطئ النموذج
الإجابة التي تصمد أمام الفحص الرقابي هي أن المساءلة تقع على شخص مسمّى داخل المؤسسة — لا على النموذج، ولا على المورّد، ولا على اللجنة التي وافقت عليه. وتدفع التوقعات الرقابية في مختلف الولايات القضائية في الاتجاه نفسه: مالك محدد للنموذج، ومالك محدد للعملية التي يعمل ضمنها، وخط واضح يصل إلى مسؤول كبير يُسأل عن النتيجة. وتعرض الوحدة 2 لماذا لا يحرّك الشراء بدلًا من البناء هذا الخط. وما يستحق الإضافة هنا أن «مسمّى» يجب أن يعني شخصًا لا دورًا شاغرًا حاليًا، وأن هذا الشخص يجب أن يكون متاحًا يوم وصول الشكوى. والاختبار العملي بسيط: حين يسأل المشرف الرقابي من الذي قرّر، هل هناك اسم، وهل يستطيع ذلك الشخص وصف أساس القرار؟
- المساءلة تقع على شخص مسمّى داخل المؤسسة، لا على نموذج أو مورّد أبدًا
- توقّع مالكًا للنموذج، ومالكًا للعملية، وخطًا يصل إلى مسؤول كبير
- الدور المسمّى الذي لا يشغله أحد حاليًا يعني نموذجًا بلا مالك — تحقق من الاسم لا من الهيكل التنظيمي
- الاختبار: حين يسأل المشرف من الذي قرّر، هل هناك اسم، وهل يستطيع صاحبه شرح الأساس