«فسّر هذا القرار»
ثلاثة أشخاص يسألون، وكلٌّ يريد شيئًا مختلفًا
كلمة «تفسير» تخفي ثلاثة مطالب منفصلة. فالجهة الرقابية تسأل هل كان النموذج سليمًا مفاهيميًا، ومتحقَّقًا منه كما ينبغي، ومستخدمًا وفق الغرض المقصود، وهو سؤال عن الإجراءات والأدلة يُجاب عنه من التوثيق. ومسؤول معالجة الشكاوى أو أمين المظالم يسأل هل عومل هذا العميل بعينه بإنصاف، وعلامَ اعتمدت المؤسسة، وهو سؤال عن حالة واحدة. والعميل المرفوض طلبه يسأل ما الذي فيه أدى إلى ذلك، وما الذي يمكنه تغييره. وفي الائتمان الاستهلاكي الأمريكي، يُلزم قانون تكافؤ فرص الائتمان (ECOA) ولائحته التنفيذية Regulation B الدائنَ بتقديم أسباب رئيسية محددة لأي قرار سلبي. وفي الاتحاد الأوروبي، يقيّد قانون حماية البيانات القرارات المؤتمتة بالكامل ذات الآثار القانونية أو المماثلة في أهميتها، ويمنح الحق في تدخل بشري وفي الاعتراض.
- الجهة الرقابية تريد الإجراءات والأدلة: السلامة، والتحقق، والاستخدام ضمن الغرض المقصود
- مسؤول الشكاوى يريد هذه الحالة: علامَ اعتُمد، وهل كانت المعاملة منصفة
- في الائتمان الاستهلاكي الأمريكي، يتطلب القرار السلبي أسبابًا رئيسية محددة بموجب ECOA وRegulation B
- القيد الأوروبي ينطبق على القرارات المؤتمتة بالكامل، لذا فإن إدخال مراجعة بشرية حقيقية يغيّر القواعد التي تنطبق
التفسير الشامل والتفسير على مستوى الحالة لا يغني أحدهما عن الآخر
التفسير الشامل يصف النموذج ككل: ما العوامل التي يستخدمها، وكيف طُوّر، وما البدائل التي دُرست، وهل العلاقات مقيّدة بحيث تتحرك في اتجاه منطقي، وكيف يؤدي عبر الشرائح المختلفة. هذا ما يحويه ملف التحقق وما تفحصه الجهة الرقابية. أما التفسير على مستوى الحالة فيقول لماذا أنتج هذا الطلب، في هذا الوقت، هذه النتيجة. وكثيرًا ما تقدّم المؤسسات أحدهما حيث يُطلب الآخر. فتسليم الجهة الرقابية مخططًا لإسهام العوامل في كل حالة لا يجيب عن شيء بشأن السلامة المفاهيمية؛ وتسليم العميل المرفوض بيانًا بأهمية العوامل إجمالًا لا يخبره بشيء يستطيع التصرف بناءً عليه. لا بد من وجود الاثنين، وكلٌّ منهما يُنتَج بعمل مختلف، ولا يبرّر أيٌّ منهما غياب الآخر.
- الشامل: العوامل المستخدمة، وسجل التطوير، والبدائل المدروسة، والعلاقات المقيّدة، والأداء حسب الشرائح
- على مستوى الحالة: لماذا حصل هذا الطلب، في هذه اللحظة، على هذه النتيجة
- الجهة الرقابية التي تسأل عن السلامة لا يجيبها مخطط إسهام العوامل لكل حالة
- العميل المرفوض لا تجيبه أهمية العوامل الإجمالية — ابنِ الاثنين عن قصد
الإسناد ليس سببًا
أساليب الإسناد اللاحق (Post-hoc attribution) تمنح المدخلات درجات إسهام في تنبؤ معيّن، وهي مفيدة حقًا في تتبّع الأخطاء. لكنها ليست أسبابًا. فهي تصف حساب النموذج، لا وضع العميل. كما أنها أقل ثباتًا مما تبدو: فاختلاف الأساليب، واختلاف خطوط الأساس المرجعية، وترابط المدخلات، كلٌّ منها قد يعيد ترتيب العوامل التي تبدو مهيمنة، وينبغي للمؤسسة أن تعرف مقدار تحرك تفسيراتها تحت تلك الخيارات. والسبب الذي يصمد أمام شكوى يجب أن يكون صادقًا بشأن القرار الذي اتُّخذ فعلًا، ومحددًا بما يكفي ليتصرف الشخص بناءً عليه، وثابتًا بين مرات التشغيل. وحيث يكون واجب التفسير صارمًا، فهذا يرجّح نموذجًا أسهل تفسيرًا بدلًا من أداة تفسير أكثر تعقيدًا.
- الإسناد يصف حساب النموذج؛ والسبب يصف وضع العميل
- اختلاف الأساليب وخطوط الأساس قد يعيد ترتيب الإسنادات — اختبر مقدار تحرك إسناداتك
- السبب القابل للاستخدام صادق ومحدد وقابل للتصرف وثابت عبر مرات تشغيل الحالة نفسها
- حيث يكون الواجب صارمًا، كثيرًا ما يتفوق النموذج القابل للتفسير على أداة تفسير لاحقة معقّدة
جرّب بنفسك
تبدو التفسيرات كافية إلى أن يحاول أحدهم التصرف بناءً على أحدها. اختر قرارًا تتخذه مؤسستك واكتب التفسيرين كاملين، ثم هاجمهما.
اختر قرارًا يؤثر على العملاء يتخذه قسمك — رفض ائتمان، أو شريحة تسعير، أو تقييد حساب. باستخدام حالة اصطناعية أو منزوعة الهوية بالكامل تبنيها بنفسك فقط، اكتب التفسير الشامل في فقرة واحدة، والتفسير على مستوى الحالة في ثلاث جمل يستطيع غير المتخصص التصرف بناءً عليها. ثم اطلب من زميل أن يؤدي دور العميل المرفوض ودور مسؤول الشكاوى وأن يضغط عليك بالأسئلة. لا تُدخل أي بيانات عملاء أو بيانات مالية شخصية أو أي شيء سري في أداة ذكاء اصطناعي في أي مرحلة؛ استخدم الإفصاحات العامة أو السجلات الاصطناعية أو المواد منزوعة الهوية فقط.
نوع القرار: التفسير الشامل (فقرة واحدة، دون مصطلحات متخصصة): السبب الأول على مستوى الحالة: السبب الثاني على مستوى الحالة: السبب الثالث على مستوى الحالة: ما الذي يستطيع العميل تغييره فعلًا: من أين جاء السبب (مخرجات النموذج، أو قاعدة في السياسة، أو تجاوز بشري): هل ستُنتج الحالة نفسها الأسباب الثلاثة نفسها غدًا؟
- الأسباب الثلاثة على مستوى الحالة تتعلق بالعميل، لا بخصائص النموذج
- سبب واحد على الأقل يسمّي شيئًا يستطيع العميل تغييره على نحو معقول
- تستطيع أن تحدد أي جزء جاء من النموذج وأيّه جاء من قاعدة في السياسة أو من إنسان
- الحالة التي استخدمتها اصطناعية أو منزوعة الهوية، ولم يدخل أي شيء سري إلى أي أداة