مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

الشفافية وقابلية التفسير

⁧ما نستطيع وما لا نستطيع رؤيته داخل النموذج⁩⁧معتم⁩⁧قابل للرصد⁩⁧الطبقة⁩⁧ما يمكنك ادعاؤه بصدق⁩⁧الأوزان والتنشيطات الخام⁩⁧مليارات الأرقام، لا يقرؤها إنسان مباشرة⁩⁧لا شيء يمكن قوله بالكلمات.⁩⁧هذه هي القاعدة المعتمة.⁩⁧إسناد السمات والمجسّات⁩⁧أي المدخلات والسمات حرّكت المخرجات⁩⁧دليل اتجاهي على التأثير،⁩⁧لا تفسير كامل للسبب.⁩⁧سلسلة التفكير⁩⁧الاستدلال الذي يعلنه النموذج⁩⁧نافذة جزئية فقط — قد يكون النص⁩⁧مقنعًا ومع ذلك غير أمين.⁩⁧بطاقات النموذج والتوثيق⁩⁧نطاق التدريب، الاستخدام المقصود، الحدود المعروفة⁩⁧المصدر والنطاق، كما أعلنهما⁩⁧من بنى النظام.⁩⁧التقييمات واختبار السلوك⁩⁧سلوك مُقاس على حالات محجوبة⁩⁧أقوى دليل متاح —⁩⁧وهو يخص السلوك فقط.⁩⁧الحد الصادق⁩⁧السلوك يمكن قياسه. أما الاستدلال الداخلي فلا يُفحص إلا جزئيًا — لا تفترض أبدًا أن السبب المُعلن هو الحقيقي.⁩⁧كل طبقة فوق القاعدة تقريب — مفيد وناقص، ويستحق أن يُقال ذلك صراحة⁩
⁧يقل التعتيم كلما اتجهت للخارج — لكن الطبقات الخارجية تقيس السلوك، لا الاستدلال نفسه⁩

لماذا تكون النماذج العميقة غامضة

الشبكة العصبية (Neural network) العميقة هي مليارات من الأوزان الرقمية، ضُبطت بعملية تحسين لم يوجّهها إنسان خطوةً بخطوة. لا يوجد سطر برمجي يقول «ارفض طلب القرض هذا» — بل سلسلة متتالية من عمليات ضرب المصفوفات تُنتج درجة. وهذا يختلف جذريًا عن البرمجيات التقليدية، حيث يستطيع المطوّر تتبّع أي قرار حتى قاعدة صريحة. هذا الغموض ليس خطأً برمجيًا ولا تقصيرًا؛ بل خاصية بنيوية في طريقة تعلّم هذه الأنظمة. وهو يصطدم مباشرةً بتوقّع أساسي في القرارات المؤثّرة: أن يستطيع أحدٌ شرح السبب. فعندما يرفض نموذج منح ائتمان، أو يُعلّم معاملة على أنها مشبوهة، أو يستبعد سيرة ذاتية، فإن عبارة «الأوزان أنتجت هذا المُخرَج» لا تُقنع الشخص المتأثر، ولا الجهة التنظيمية، وغالبًا ولا المؤسسة التي نشرت النموذج.

  • النموذج المدرَّب مليارات من الأوزان المتعلَّمة، لا مجموعة قواعد يقرؤها الإنسان — لا توجد جملة «إذا» يمكن الإشارة إليها
  • الخاصية نفسها التي تجعل التعلّم العميق (Deep Learning) قويًا — تعلّم تمثيلات لم يحدّدها البشر — هي ما يجعله غامضًا
  • الغموض أهمّ ما يكون حيث القرارات مؤثّرة: الائتمان، والتوظيف، والرعاية الصحية، والعدالة، والأمن
  • حتى بُناة النموذج لا يستطيعون تفسير المخرجات الفردية تفسيرًا كاملًا — هذه مسألة بحثية لم تُحسم بعد، لا تقصير هندسي

ما الذي تقدّمه قابلية التفسير فعلًا اليوم

أنتجت أبحاث قابلية التفسير (Explainability) أدوات حقيقية لكنها جزئية. فأساليب إسناد الخصائص (مثل SHAP وLIME) تقدّر أي المُدخلات أثّرت أكثر في تنبؤ معيّن — وهذا مفيد لاكتشاف اعتماد النموذج على إشارة مريبة، لكنه تقريب لا وصف للحقيقة الكاملة. وبطاقات النماذج (Model cards) وبطاقات الأنظمة (System cards) توثّق ما دُرّب عليه النموذج، وما قُيّم مقابله، والغرض المقصود منه. ومخرجات سلسلة التفكير (Chain-of-thought) من النماذج الاستدلالية (Reasoning models) تقدّم نافذة مقروءة على طريقة عمل النموذج — وهي مفيدة فعلًا للمراجعة، لكن لها حدًّا معروفًا: الاستدلال المكتوب لا يعكس دائمًا بأمانة العملية الحسابية التي أنتجت الإجابة، لذا ينبغي التعامل معه بوصفه دليلًا لا برهانًا. أما قابلية التفسير الميكانيكية (Mechanistic interpretability) — أي الهندسة العكسية للدوائر داخل النماذج — فتتقدّم، لكنها ما زالت بعيدة عن تفسير النماذج المتقدّمة من أولها إلى آخرها.

  • إسناد الخصائص (SHAP وLIME): يقدّر أي المُدخلات دفعت إلى التنبؤ — تقريب مفيد لاكتشاف الإشارات المريبة
  • بطاقات النماذج وبطاقات الأنظمة: توثّق نطاق بيانات التدريب، ونتائج التقييم، والاستخدام المقصود، والقيود المعروفة
  • سلسلة التفكير: نافذة جزئية مقروءة — لكن النماذج قد تُنتج نص استدلال لا يطابق بأمانة عمليتها الحسابية الفعلية
  • قابلية التفسير الميكانيكية: بحث واعد، لكنه ليس بعدُ أداة عملية لتفسير النماذج المتقدّمة في بيئة الإنتاج

ما يمكنك المطالبة به — وما لا يستطيع أحد تقديمه بعد

المهارة العملية هي التمييز بين مطالب الشفافية المعقولة والمستحيلة. المعقول: التوثيق (بطاقات النماذج، وإقرارات الاستخدام المقصود، والقيود المعروفة)، ونتائج التقييم المتعلقة بحالة استخدامك (بما فيها الأداء المفصَّل عبر الفئات الفرعية)، وإجابات عن مصدر البيانات (ما فئات البيانات التي دُرّب عليها هذا النظام؟ وهل تُستخدم بياناتي في التدريب؟)، وسجلات تدقيق للقرارات، ووصف واضح لمواضع مراجعة البشر للمخرجات. أما ما لا يستطيع أي مورّد تقديمه بعد، مهما كان صادقًا: تفسير سببي كامل لسبب إنتاج نموذج كبير مُخرَجًا محددًا، أو ضمان أن النموذج لن يتصرّف أبدًا بشكل غير متوقع. المورّد الذي يَعِد بقابلية تفسير كاملة لنموذج عميق يبالغ في ادعاءاته — بينما المورّد الذي لا يستطيع تقديم حتى بطاقة نموذج أو نتائج تقييم لم يُنجز العمل الأساسي. والمشتري الواعي يطلب كل ما في القائمة الأولى، ويرتاب في كل من يَعِد بالثانية.

  • من المعقول المطالبة به: بطاقات النماذج، ونتائج التقييم على حالة استخدامك، ومصدر البيانات، وسجلات التدقيق، ونقاط الإشراف البشري
  • غير متاح من أي أحد بعد: تفسيرات سببية كاملة للمخرجات الفردية للنماذج المتقدّمة
  • علامة تحذير في الاتجاهين: مورّدون يَعِدون بـ«ذكاء اصطناعي قابل للتفسير بالكامل»، ومورّدون لا يستطيعون تقديم التوثيق الأساسي
  • في القرارات الضيّقة عالية المخاطر، قد يكون النموذج الأبسط القابل للتفسير هو الخيار الصحيح — فقابلية التفسير قد تكون سببًا لاختيار تقنية أقل قدرة

كيف ينطبق هذا عليّ؟

مستخدم عام

ستكون بشكل متزايد في موقع من تقع عليه قرارات الذكاء الاصطناعي — الموافقة على القروض، وفرز طلبات التوظيف، وإدارة المحتوى. ومعرفتك بما يمكن أن يكونه التفسير وما لا يمكن تساعدك على ممارسة حقوقك دون أن تُصرَف بلغة تقنية مبهمة أو بطمأنة زائفة.

  • إذا أثّر فيك قرار شارك فيه الذكاء الاصطناعي في مجال خاضع للتنظيم، فغالبًا يمكنك طلب مراجعة بشرية — استخدم هذا الحق
  • التفسير الواثق والبليغ الذي يقدّمه الذكاء الاصطناعي لإجابته ليس دليلًا على صحة هذا التفسير — تحقّق من الادعاءات المهمة بشكل مستقل
  • فضّل الأدوات والمورّدين الذين ينشرون توثيقًا لما يفعله ذكاؤهم الاصطناعي وكيف اختُبر
متخصص أمن

قابلية التفسير هي ما تنجح عنده أدوات الذكاء الاصطناعي الأمنية أو تفشل في التقييم داخل القطاعات الخاضعة للتنظيم — فالمحلّلون يجب أن يتمكنوا من التحقق من الاكتشافات، والمدقّقون يجب أن يتمكنوا من مراجعتها. ومعرفة ما هو ممكن تقنيًا تساعدك على كشف المورّدين المبالغين في ادعاءاتهم.

  • اشترط اكتشافات مرتبطة بالأدلة (أي الإشارات انطلقت، وأي الكيانات معنية) بدل قبول وعود بقابلية تفسير كاملة للنموذج
  • اسأل العملاء المرجعيين للمورّد: هل يستطيع محلّلوكم رؤية سبب تعليم النموذج لهذا التنبيه، أم مجرد درجة؟ — الدرجات وحدها تُنتج ملاحظات تدقيق
  • مخرجات سلسلة التفكير من النماذج الاستدلالية تساعد المحلّل في المراجعة، لكن لا تعاملها على أنها وصف أمين للعملية الحسابية للنموذج
مطوّر

الشفافية قرار معماري تتخذه في مرحلة التصميم. لا يمكنك تفسير البنية الداخلية للنموذج تفسيرًا كاملًا، لكنك تتحكم في كل ما يحيط به: التسجيل، والتوثيق، وأدوات الإسناد، والمواضع التي يستطيع فيها البشر فحص الحلقة.

  • سجّل المُدخلات والمخرجات وإصدار النموذج ودرجة الثقة لكل قرار مؤثّر — سجل التدقيق هو طبقة الشفافية لديك حتى حين يكون النموذج غامضًا
  • حافظ على بطاقات النماذج ونتائج التقييم وثائقَ حيّة — فهي تصبح حدًّا أدنى تنظيميًا، لا ميزة إضافية
  • في القرارات الضيّقة عالية المخاطر، قارن بنموذج أساسي قابل للتفسير (الانحدار اللوجستي، أشجار القرار) — إن كان قريبًا في الدقة، فقد تجعله قابلية تفسيره الخيار الأفضل إجمالًا
مستشار ذكاء اصطناعي

يخلط العملاء بين ثلاثة أمور مختلفة: قابلية تفسير النموذج، وتوثيق النظام، وقابلية تدقيق القرارات. والفصل بينها يحوّل مطلبًا مستحيلًا («فسّروا لنا الذكاء الاصطناعي») إلى برنامج قابل للتحقيق بمُخرَجات ملموسة.

  • أعِد صياغة «نحتاج ذكاءً اصطناعيًا قابلًا للتفسير» في مصفوفة متطلبات: من يحتاج أي تفسير، لأي قرار، ولإرضاء من؟
  • اجعل الوثائق (بطاقات النماذج، وتقارير التقييم، وإقرارات مصدر البيانات) مُخرَجات تعاقدية في شراء حلول الذكاء الاصطناعي
  • انصح بأمانة بشأن الحدّ القائم: لا يوجد مورّد يستطيع تفسير المخرجات الفردية لنموذج متقدّم تفسيرًا كاملًا — يجب تصميم الحوكمة على افتراض غموض جزئي