مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

أين يجب أن يبقى الإنسان في القرار

⁧أين يجب أن يبقى الإنسان في القرار — وما الذي يجعل ذلك حقيقياً⁩⁧واجبات التفسير والتظلّم ترتبط بالقرار، لا بالتقنية التي أنتجته⁩ ⁧قرارات يبقى فيها الواجب رغم الأتمتة — حدّد النظام قبل افتراضه⁩⁧رفض ائتمان في الولايات المتحدة —⁩⁧يشترط ECOA وRegulation B⁩⁧أسباباً رئيسية محددة في⁩⁧القرار السلبي⁩⁧قرار مؤتمت بالكامل⁩⁧ذو آثار جوهرية في⁩⁧الاتحاد الأوروبي — حق التدخل⁩⁧البشري وحق الاعتراض⁩⁧توصية لعميل تجزئة —⁩⁧ملاءمة MiFID II في الاتحاد الأوروبي؛⁩⁧وRegulation Best Interest⁩⁧ومعيار الالتزام الاستئماني في الولايات المتحدة⁩⁧تجميد الحسابات وإنهاؤها،⁩⁧رفض المطالبات، بلاغات⁩⁧النشاط المشبوه — كلٌّ منها يقع⁩⁧على شخص محدد الهوية⁩⁧«النموذج رفض» لا يفي بأيٍّ منها — وفي أماكن أخرى قد يُرسم الواجب بشكل مختلف، أو يغيب⁩ ⁧ما تحتاجه المراجعة الحقيقية — أربعة أمور يُغفلها التصميم عادة⁩⁧المدخلات والأسباب،⁩⁧لا مجرد درجة — وإلا⁩⁧فلا يمكنهم الاعتراض⁩⁧وقت يتناسب مع⁩⁧القرار قيد المراجعة⁩⁧صلاحية النقض، دون⁩⁧كلفة شخصية على ذلك⁩⁧مراقبة معدلات التجاوز —⁩⁧المقياس الذي يُظهر هل⁩⁧تحدث المراجعة أصلاً⁩ ⁧خطوة المراجعة تؤدي دورها⁩ ⁧تجاوزات شبه معدومة: انقياد لنظام واثق⁩⁧تجاوز شبه كامل: المخرجات مُهمَلة⁩⁧انحياز الأتمتة مشكلة تصميم — مطالبة الناس بالتشكك لا تُصلح الواجهة⁩ ⁧من المسؤول حين يخطئ النموذج⁩ ⁧مالك للنموذج⁩ ⁧مُسمّى، وعلى رأس عمله حالياً⁩ ⁧مالك للعملية⁩ ⁧التي يعمل النموذج داخلها⁩ ⁧خط يصل إلى مسؤول رفيع⁩ ⁧يُسأل عن النتيجة⁩⁧دور مُسمّى لا يشغله أحد حالياً يعني نموذجاً بلا مالك — تحقّق من الاسم، لا من الهيكل التنظيمي⁩⁧الاختبار: حين يسأل المشرف من قرّر، هل هناك اسم — وهل يستطيع صاحبه شرح الأساس؟⁩ ⁧معدل قريب من الصفر ومعدل شبه كامل يعنيان كلاهما أن المراجعة لا تعمل⁩ ⁧المساءلة تقع على شخص مُسمّى داخل المؤسسة — لا على نموذج أو مورّد أو لجنة أبداً⁩
⁧المراجع الذي لا يملك إلا درجة، أو لا وقت لديه، أو لا صلاحية له بالنقض هو توثيق، لا رقابة.⁩

قرارات يرافقها واجب التفسير

بعض القرارات المالية تترتب عليها التزامات مرتبطة بالقرار نفسه، وهذه الالتزامات تبقى قائمة بالكامل بعد الأتمتة. ويختلف موضع نشوء هذا الواجب، لذا سمِّ النظام القانوني قبل أن تفترض شيئًا. ففي الائتمان الاستهلاكي الأمريكي، يشترط قانون تكافؤ فرص الائتمان (ECOA) واللائحة B (Regulation B) ذكر أسباب رئيسية محددة عند اتخاذ قرار سلبي؛ وفي الاتحاد الأوروبي، يمنح قانون حماية البيانات حقوقًا في التدخل البشري وفي الاعتراض على قرار آلي بالكامل ذي آثار جوهرية. وعبارة «النموذج رفض» لا تفي بأي من الاثنين، وفي أماكن أخرى قد يُرسم الواجب بشكل مختلف أو لا يوجد أصلًا. أما التوصيات المقدَّمة لعملاء التجزئة فتستدعي نظام المشورة المحلي: متطلبات الملاءمة في توجيه MiFID II في الاتحاد الأوروبي، ولائحة أفضل مصلحة (Regulation Best Interest) ومعيار الالتزام الاستئماني على المستشار في الولايات المتحدة. وتجميد الحسابات، وإنهاء العلاقات، ورفض المطالبات، وبلاغات النشاط المشبوه، كلها تقع على عاتق شخص محدد.

  • واجبات التفسير والاعتراض ترتبط بالقرار، لا بالتقنية التي أنتجته
  • سمِّ النظام القانوني: ECOA واللائحة B في الائتمان الاستهلاكي الأمريكي، وحقوق GDPR في الاتحاد الأوروبي، ولا أيّ منهما افتراضيًا في غيرهما
  • التوصيات لعملاء التجزئة تستدعي متطلبات الملاءمة في MiFID II في الاتحاد الأوروبي ولائحة Regulation Best Interest في الولايات المتحدة
  • التصنيف التنظيمي يتبع المنطق نفسه — تعرض الوحدة 2 فئة المخاطر العالية في قانون الذكاء الاصطناعي الأوروبي (EU AI Act) واستثناءاتها

مراجعة حقيقية لا ختم شكلي

الإشراف البشري (Human-in-the-loop) الذي يوافق على كل ما يصله تقريبًا هو توثيق لا ضابط. فالمراجعة الهادفة تحتاج إلى أربعة أمور يغفلها التصميم عادة. يجب أن يتوفر للمراجع ما يحتاجه كي يخالف — المدخلات والأسباب، لا مجرد درجة. ويجب أن يُمنح وقتًا يتناسب مع القرار. ويجب أن يملك صلاحية النقض دون أن يدفع ثمنًا شخصيًا لذلك. ويجب مراقبة معدلات التجاوز، لأن معدلًا يقارب الصفر ومعدلًا يقارب الكل كلاهما دليل على أن المراجعة لا تعمل. وانحياز الأتمتة — أي الإذعان لنظام واثق — موثّق جيدًا، وهو مشكلة تصميم لا يعالجها التدريب. وتتعمق دورة «تأمين أنظمة الذكاء الاصطناعي» أكثر في الموضع الذي ينبغي أن توضع فيه بوابات الموافقة كي تُقرأ فعلًا ولا يُضغط عليها بلا تفكير.

  • المراجع الذي لا يُعطى سوى درجة لا يستطيع المخالفة من حيث المبدأ، أيًّا كان ما تقوله الإجراءات
  • وقت يتناسب مع القرار، وصلاحية للنقض دون عواقب شخصية
  • راقب معدلات التجاوز: ما يقارب الصفر وما يقارب الكل كلاهما يعني أن خطوة المراجعة لا تعمل
  • انحياز الأتمتة مشكلة تصميم — أن تطلب من الناس التحلي بالشك لا يُصلح واجهة

من المسؤول حين يخطئ النموذج

الإجابة التي تصمد أمام الفحص الرقابي هي أن المساءلة تقع على شخص مسمّى داخل المؤسسة — لا على النموذج، ولا على المورّد، ولا على اللجنة التي وافقت عليه. وتدفع التوقعات الرقابية في مختلف الولايات القضائية في الاتجاه نفسه: مالك محدد للنموذج، ومالك محدد للعملية التي يعمل ضمنها، وخط واضح يصل إلى مسؤول كبير يُسأل عن النتيجة. وتعرض الوحدة 2 لماذا لا يحرّك الشراء بدلًا من البناء هذا الخط. وما يستحق الإضافة هنا أن «مسمّى» يجب أن يعني شخصًا لا دورًا شاغرًا حاليًا، وأن هذا الشخص يجب أن يكون متاحًا يوم وصول الشكوى. والاختبار العملي بسيط: حين يسأل المشرف الرقابي من الذي قرّر، هل هناك اسم، وهل يستطيع ذلك الشخص وصف أساس القرار؟

  • المساءلة تقع على شخص مسمّى داخل المؤسسة، لا على نموذج أو مورّد أبدًا
  • توقّع مالكًا للنموذج، ومالكًا للعملية، وخطًا يصل إلى مسؤول كبير
  • الدور المسمّى الذي لا يشغله أحد حاليًا يعني نموذجًا بلا مالك — تحقق من الاسم لا من الهيكل التنظيمي
  • الاختبار: حين يسأل المشرف من الذي قرّر، هل هناك اسم، وهل يستطيع صاحبه شرح الأساس