إطار مخاطر النماذج الذي تملكه أصلًا
عُرّفت مخاطر النماذج قبل الذكاء الاصطناعي بزمن طويل
تُعرَّف مخاطر النماذج (Model risk) عادةً بأنها احتمال وقوع عواقب سلبية نتيجة قرارات مبنية على مخرجات نموذج خاطئة أو مُساء استخدامها، ولها مصدران: إما أن يكون النموذج خاطئًا من الأساس، وإما أن يكون سليمًا لكنه يُستخدم خارج الغرض الذي بُني له. والمصدر الثاني يُحدث في الواقع ضررًا أكبر من الأول. وتضع الإرشادات الرقابية في القطاع المصرفي الأمريكي توقعات في ثلاثة مجالات: تطوير وتنفيذ واستخدام متين؛ وتحقق مستقل فعّال؛ وحوكمة وسياسات وضوابط تضمن تحقق الأمرين الأولين. ونشرت الجهة التنظيمية الاحترازية في المملكة المتحدة مبادئها الخاصة لإدارة مخاطر النماذج في البنوك، وتظهر توقعات مماثلة في ولايات قضائية أخرى. هذا الإطار أقدم من التقنية الحالية، وهو المكان الذي تقع فيه ميزات الذكاء الاصطناعي (AI).
- لمخاطر النماذج مصدران: النموذج خاطئ، أو أنه صحيح لكنه يُستخدم خارج الغرض المقصود منه
- سوء الاستخدام خارج الغرض المقصود هو الإخفاق الأكثر شيوعًا والأعلى تكلفة بين الاثنين
- للإطار ثلاثة أجزاء: التطوير والاستخدام، والتحقق المستقل، والحوكمة والضوابط
- تضع الرقابة المصرفية الأمريكية والجهة التنظيمية الاحترازية البريطانية توقعات لمخاطر النماذج، وتحاكيها أنظمة أخرى
التحقق المستقل والاعتراض الفعّال
التحقق (Validation) ليس اختبارًا يجريه الفريق الذي بنى النموذج. إنه عملية منفصلة يتولاها أشخاص يملكون الكفاءة والمكانة والحوافز التي تمكّنهم من الرفض، وهي الصفة التي توصف عادةً بالاعتراض الفعّال (Effective challenge). ويشمل السلامة المفاهيمية، أي أن التصميم والافتراضات منطقية للاستخدام المقصود؛ والمراقبة المستمرة، أي تتبّع الأداء مقابل عتبات محددة بعد النشر؛ وتحليل النتائج، أي مقارنة مخرجات النموذج بالنتائج الفعلية المتحققة وبمعايير مقارنة معقولة. ويفشل الاعتراض بصمت حين يكون القائمُ بالتحقق تابعًا إداريًا لمالك النموذج، أو يفتقر إلى الموارد، أو يصل بعد أن أُعلن موعد الإطلاق علنًا، وهذا يعني أن معظم إخفاقات التحقق تنظيمية لا تقنية.
- التحقق مستقل عن التطوير، ويملك الصلاحية والمكانة لرفض النموذج
- ثلاثة مكوّنات: السلامة المفاهيمية، والمراقبة المستمرة، وتحليل النتائج مقابل معايير المقارنة
- الاعتراض الفعّال يتطلب الكفاءة والحافز معًا — وأحدهما دون الآخر ينتج ختمًا شكليًا
- موعد إطلاق أُعلن قبل اكتمال التحقق قد حسم نتيجة التحقق مسبقًا
أين تُجهد ميزات الذكاء الاصطناعي هذا الإطار
الإطار يصمد، لكن عددًا من افتراضاته ينكسر. فكثيرًا ما لا توجد نتيجة فعلية واحدة يمكن اختبار مخرجات نصية بأثر رجعي مقابلها. والمدخل هو التعليمات (Prompt) ومجموعة نصوص مسترجَعة، وكلاهما جزء من النموذج سواء وثّقه أحد على هذا النحو أم لا. وقد تختلف المخرجات بين تشغيلين متطابقين. وليس لمجتمع البيانات (Population) الذي يتعامل معه النظام تعريف ثابت. ويتحكم المزوّد في الأوزان، فقد يتغير النموذج دون أي إصدار من جهتك. وتختلف المؤسسات أيضًا حول ما إذا كانت ميزة قائمة على نموذج لغوي كبير (LLM) تُعدّ نموذجًا أصلًا وفق سياستها الداخلية. والجواب الذي يصمد أمام الرقابة هو إدخالها في النطاق صراحةً، وتصنيفها حسب الأهمية النسبية، وتكييف أساليب التحقق بدلًا من تجاوز التحقق. وتتناول دورة «هل يعمل ذكاؤك الاصطناعي فعلاً؟» كيفية بناء مجموعات التقييم تلك.
- لا توجد نتيجة فعلية واحدة للاختبار الرجعي مقابلها، ولا تعريف ثابت لمجتمع البيانات
- التعليمات ومجموعة نصوص الاسترجاع جزء من النموذج ومكانها في توثيقه
- المدخلات المتطابقة قد تنتج مخرجات مختلفة، وهذا يكسر اختبارات قابلية التكرار التقليدية
- أدخلها في النطاق وصنّفها حسب الأهمية النسبية — فالقول إنها ليست نموذجًا هو الجواب الذي يسقط