مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

«فسّر هذا القرار»

⁧ثلاثة أشخاص يطلبون تفسيراً — ويقصدون ثلاثة أمور مختلفة⁩⁧الكلمة تخفي طلباً عن الإجراءات، وطلباً عن حالة واحدة، وطلباً لشيء يمكن للشخص أن يتصرف بناءً عليه⁩ ⁧الجهة الرقابية⁩⁧تسأل: هل كان سليماً مفاهيمياً،⁩⁧وتم التحقق منه، واستُخدم كما يُقصد؟⁩⁧تريد: الإجراءات والأدلة⁩⁧مصدر الجواب: ملف التحقق⁩⁧والوثائق⁩ ⁧مسؤول الشكاوى⁩⁧يسأل: هل عومل هذا العميل⁩⁧بإنصاف، وعلامَ اعتُمد؟⁩⁧يريد: هذه الحالة وحدها⁩⁧مصدر الجواب: سجلّ⁩⁧ما قاد هذا القرار⁩ ⁧العميل المرفوض⁩⁧يسأل: ما الذي فيّ أدى لذلك،⁩⁧وما الذي يمكنني تغييره؟⁩⁧يريد: سبباً يمكنه التصرف بناءً عليه⁩⁧مصدر الجواب: أسباب رئيسية⁩⁧محددة، بلغة واضحة⁩ ⁧الائتمان الاستهلاكي الأمريكي: يشترط قانون ECOA ولائحة Regulation B ذكر أسباب رئيسية محددة عند القرار السلبي⁩ ⁧الاتحاد الأوروبي: يقيّد قانون حماية البيانات القرارات الآلية بالكامل ذات الأثر الكبير — وإدخال مراجعة حقيقية يغيّر القواعد المنطبقة⁩ ⁧التفسير الشامل — النموذج ككل⁩⁧العوامل التي يستخدمها النموذج، وكيف طُوِّر⁩⁧البدائل التي دُرست ولماذا استُبعد كل منها⁩⁧هل العلاقات مقيّدة لتتحرك بشكل منطقي⁩⁧الأداء حسب الشريحة، لا متوسطاً إجمالياً⁩⁧هذا ما يحويه ملف التحقق وما تفحصه الجهة الرقابية⁩ ⁧تفسير الحالة — هذا القرار⁩⁧لماذا أنتج هذا الطلب، في هذا الوقت، هذه النتيجة⁩⁧بعبارات يمكن للشخص أن يتصرف بناءً عليها⁩⁧أيّ جزء جاء من النموذج، أو قاعدة سياسة، أو إنسان⁩⁧ثابت — الحالة نفسها تعطي الأسباب نفسها غداً⁩⁧هذا ما تحتاجه الشكوى أو القرار السلبي⁩⁧كثيراً ما تقدّم الشركات أحدهما حيث يُطلب الآخر — ولا يغني أحدهما عن الآخر⁩ ⁧الإسناد ليس هو السبب⁩⁧يصف حسابات النموذج، لا وضع⁩⁧العميل — مفيد فعلاً لتصحيح الأخطاء⁩⁧الأساليب وخطوط الأساس والمدخلات المترابطة تعيد ترتيبه⁩⁧يجب أن يكون السبب صادقاً بشأن القرار المتخذ،⁩⁧ومحدداً بما يكفي ليتصرف الشخص بناءً عليه، وثابتاً⁩⁧حين يكون الالتزام صارماً، فضّل نموذجاً قابلاً للتفسير⁩ ⁧رسم الحالة الواحدة لا يجيب الجهة الرقابية، وأهمية الميزات لا تجيب العميل⁩ ⁧اختبر مقدار تغيّر تفسيراتك بأسلوب أو خط أساس مختلف قبل أن تعتمد عليها⁩
⁧يجب أن يوجد التفسيران كلاهما، فكل منهما نتاج عمل مختلف، ولا يبرّر أحدهما غياب الآخر.⁩

ثلاثة أشخاص يسألون، وكلٌّ يريد شيئًا مختلفًا

كلمة «تفسير» تخفي ثلاثة مطالب منفصلة. فالجهة الرقابية تسأل هل كان النموذج سليمًا مفاهيميًا، ومتحقَّقًا منه كما ينبغي، ومستخدمًا وفق الغرض المقصود، وهو سؤال عن الإجراءات والأدلة يُجاب عنه من التوثيق. ومسؤول معالجة الشكاوى أو أمين المظالم يسأل هل عومل هذا العميل بعينه بإنصاف، وعلامَ اعتمدت المؤسسة، وهو سؤال عن حالة واحدة. والعميل المرفوض طلبه يسأل ما الذي فيه أدى إلى ذلك، وما الذي يمكنه تغييره. وفي الائتمان الاستهلاكي الأمريكي، يُلزم قانون تكافؤ فرص الائتمان (ECOA) ولائحته التنفيذية Regulation B الدائنَ بتقديم أسباب رئيسية محددة لأي قرار سلبي. وفي الاتحاد الأوروبي، يقيّد قانون حماية البيانات القرارات المؤتمتة بالكامل ذات الآثار القانونية أو المماثلة في أهميتها، ويمنح الحق في تدخل بشري وفي الاعتراض.

  • الجهة الرقابية تريد الإجراءات والأدلة: السلامة، والتحقق، والاستخدام ضمن الغرض المقصود
  • مسؤول الشكاوى يريد هذه الحالة: علامَ اعتُمد، وهل كانت المعاملة منصفة
  • في الائتمان الاستهلاكي الأمريكي، يتطلب القرار السلبي أسبابًا رئيسية محددة بموجب ECOA وRegulation B
  • القيد الأوروبي ينطبق على القرارات المؤتمتة بالكامل، لذا فإن إدخال مراجعة بشرية حقيقية يغيّر القواعد التي تنطبق

التفسير الشامل والتفسير على مستوى الحالة لا يغني أحدهما عن الآخر

التفسير الشامل يصف النموذج ككل: ما العوامل التي يستخدمها، وكيف طُوّر، وما البدائل التي دُرست، وهل العلاقات مقيّدة بحيث تتحرك في اتجاه منطقي، وكيف يؤدي عبر الشرائح المختلفة. هذا ما يحويه ملف التحقق وما تفحصه الجهة الرقابية. أما التفسير على مستوى الحالة فيقول لماذا أنتج هذا الطلب، في هذا الوقت، هذه النتيجة. وكثيرًا ما تقدّم المؤسسات أحدهما حيث يُطلب الآخر. فتسليم الجهة الرقابية مخططًا لإسهام العوامل في كل حالة لا يجيب عن شيء بشأن السلامة المفاهيمية؛ وتسليم العميل المرفوض بيانًا بأهمية العوامل إجمالًا لا يخبره بشيء يستطيع التصرف بناءً عليه. لا بد من وجود الاثنين، وكلٌّ منهما يُنتَج بعمل مختلف، ولا يبرّر أيٌّ منهما غياب الآخر.

  • الشامل: العوامل المستخدمة، وسجل التطوير، والبدائل المدروسة، والعلاقات المقيّدة، والأداء حسب الشرائح
  • على مستوى الحالة: لماذا حصل هذا الطلب، في هذه اللحظة، على هذه النتيجة
  • الجهة الرقابية التي تسأل عن السلامة لا يجيبها مخطط إسهام العوامل لكل حالة
  • العميل المرفوض لا تجيبه أهمية العوامل الإجمالية — ابنِ الاثنين عن قصد

الإسناد ليس سببًا

أساليب الإسناد اللاحق (Post-hoc attribution) تمنح المدخلات درجات إسهام في تنبؤ معيّن، وهي مفيدة حقًا في تتبّع الأخطاء. لكنها ليست أسبابًا. فهي تصف حساب النموذج، لا وضع العميل. كما أنها أقل ثباتًا مما تبدو: فاختلاف الأساليب، واختلاف خطوط الأساس المرجعية، وترابط المدخلات، كلٌّ منها قد يعيد ترتيب العوامل التي تبدو مهيمنة، وينبغي للمؤسسة أن تعرف مقدار تحرك تفسيراتها تحت تلك الخيارات. والسبب الذي يصمد أمام شكوى يجب أن يكون صادقًا بشأن القرار الذي اتُّخذ فعلًا، ومحددًا بما يكفي ليتصرف الشخص بناءً عليه، وثابتًا بين مرات التشغيل. وحيث يكون واجب التفسير صارمًا، فهذا يرجّح نموذجًا أسهل تفسيرًا بدلًا من أداة تفسير أكثر تعقيدًا.

  • الإسناد يصف حساب النموذج؛ والسبب يصف وضع العميل
  • اختلاف الأساليب وخطوط الأساس قد يعيد ترتيب الإسنادات — اختبر مقدار تحرك إسناداتك
  • السبب القابل للاستخدام صادق ومحدد وقابل للتصرف وثابت عبر مرات تشغيل الحالة نفسها
  • حيث يكون الواجب صارمًا، كثيرًا ما يتفوق النموذج القابل للتفسير على أداة تفسير لاحقة معقّدة

جرّب بنفسك

تبدو التفسيرات كافية إلى أن يحاول أحدهم التصرف بناءً على أحدها. اختر قرارًا تتخذه مؤسستك واكتب التفسيرين كاملين، ثم هاجمهما.

◆ جرّبها بنفسك

اختر قرارًا يؤثر على العملاء يتخذه قسمك — رفض ائتمان، أو شريحة تسعير، أو تقييد حساب. باستخدام حالة اصطناعية أو منزوعة الهوية بالكامل تبنيها بنفسك فقط، اكتب التفسير الشامل في فقرة واحدة، والتفسير على مستوى الحالة في ثلاث جمل يستطيع غير المتخصص التصرف بناءً عليها. ثم اطلب من زميل أن يؤدي دور العميل المرفوض ودور مسؤول الشكاوى وأن يضغط عليك بالأسئلة. لا تُدخل أي بيانات عملاء أو بيانات مالية شخصية أو أي شيء سري في أداة ذكاء اصطناعي في أي مرحلة؛ استخدم الإفصاحات العامة أو السجلات الاصطناعية أو المواد منزوعة الهوية فقط.

نوع القرار:
التفسير الشامل (فقرة واحدة، دون مصطلحات متخصصة):
السبب الأول على مستوى الحالة:
السبب الثاني على مستوى الحالة:
السبب الثالث على مستوى الحالة:
ما الذي يستطيع العميل تغييره فعلًا:
من أين جاء السبب (مخرجات النموذج، أو قاعدة في السياسة، أو تجاوز بشري):
هل ستُنتج الحالة نفسها الأسباب الثلاثة نفسها غدًا؟
كيف تعرف أنها نجحت
  • الأسباب الثلاثة على مستوى الحالة تتعلق بالعميل، لا بخصائص النموذج
  • سبب واحد على الأقل يسمّي شيئًا يستطيع العميل تغييره على نحو معقول
  • تستطيع أن تحدد أي جزء جاء من النموذج وأيّه جاء من قاعدة في السياسة أو من إنسان
  • الحالة التي استخدمتها اصطناعية أو منزوعة الهوية، ولم يدخل أي شيء سري إلى أي أداة