مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

المساءلة: حين يخطئ الذكاء الاصطناعي، من يُسأل؟

⁧سلسلة المساءلة حين يتسبب الذكاء الاصطناعي بضرر⁩⁧يبنيه⁩⁧مطوّر النموذج⁩⁧يدرّب النموذج ويطلقه⁩⁧يضع حدود القدرات والسياسات⁩⁧ينشره⁩⁧الجهة الناشرة / الشركة⁩⁧يختار حالة الاستخدام والبيانات⁩⁧يدمج النموذج في منتج⁩⁧يشغّله⁩⁧المشغّل / المستخدم⁩⁧يطبّقه على حالات حقيقية⁩⁧يقبل المخرجات أو يتجاوزها⁩⁧يتحمّل الضرر⁩⁧الشخص المتضرر⁩⁧لم يختر شيئًا من هذا⁩⁧يحتاج جهة تُسأل⁩⁧الفجوة — حيث تتنازع المسؤولية⁩⁧«إنها أداة عامة الغرض» مقابل «ذلك كان قرار نشرك أنت»⁩⁧المطالبة تظهر في الطرف الأيسر ويجب تتبّعها رجوعًا عبر السلسلة⁩⁧آليات تسد الفجوة⁩⁧سجلات التدقيق⁩⁧التعليمات، إصدار النموذج، المخرجات⁩⁧من وافق عليه، ومتى⁩⁧يمكن إعادة بناء القرار⁩⁧اعتماد بشري⁩⁧شخص مسمّى يعتمد⁩⁧المخرجات قبل التنفيذ⁩⁧الصلاحية تتوقف عند إنسان⁩⁧توزيع الالتزامات⁩⁧واجبات المزوّد مقابل الناشر⁩⁧مكتوبة في العقد والقانون⁩⁧لا أحد يُلقي اللوم على غيره⁩⁧التأمين والإنصاف⁩⁧طريق مموَّل للتعويض⁩⁧للشخص المتضرر⁩⁧يجعل السلسلة قادرة على الدفع⁩⁧المساءلة لا تحددها التقنية — بل تُحدَّد مسبقًا وكتابةً، أو يُتجادل فيها لاحقًا⁩
⁧الضرر يقع في الطرف البعيد من السلسلة — والآليات موجودة لتتبّعه رجوعًا إلى الطرف القريب⁩

فجوة المساءلة

حين يتخذ مهنيّ بشري قرارًا ضارًا، يكون للمساءلة مسار معروف: الشخص نفسه، وجهة عمله، وهيئته المهنية، وشركة تأمينه. أما حين يُسهم نظام ذكاء اصطناعي (AI) في الضرر نفسه، فإن هذا المسار يتشظّى. مطوّر النموذج يقول إن الجهة المشغّلة استخدمته خارج نطاقه المقصود. والجهة المشغّلة تقول إنها اعتمدت على ادعاءات المورّد. والمستخدم يقول إنه اتّبع توصية الأداة فقط. الجميع لمس القرار، ولا أحد يتحمّله. هذه هي فجوة المساءلة، وهي ليست مسألة فلسفية مجرّدة — فهي تحدّد ما إذا كان الشخص المتضرّر من قرار شارك فيه الذكاء الاصطناعي يستطيع الحصول على إنصاف، وما إذا كان لدى أي طرف حافز لمنع الإخفاق التالي. قاعدة عملية مفيدة: إن لم تستطع أن تقول مسبقًا من يُسأل حين يخطئ النظام، فالنظام ليس جاهزًا للقرارات المؤثّرة.

  • ثلاثة مرشّحين للمساءلة: المطوّر (بنى النموذج)، والجهة المشغّلة (اختارت استخدامه هنا)، والمستخدم (تصرّف بناءً على مُخرَجه)
  • تشتّت المسؤولية هو نمط الإخفاق: كل طرف يستطيع الإشارة إلى غيره، فلا أحد يمنع الحادثة التالية
  • التحيّز للأتمتة يفاقم المشكلة: البشر يذعنون لتوصيات الآلة، ثم يقولون إنهم «كانوا يتّبعون النظام فقط»
  • الاختبار قبل النشر: هل تستطيع أن تسمّي كتابةً من يُسأل حين يخطئ هذا النظام؟

أين تؤلم الفجوة: مجالات حقيقية

فجوة المساءلة ليست افتراضية — فهي تظهر أينما لامس الذكاء الاصطناعي قرارات مؤثّرة. في التوظيف، استبعدت أدوات الفرز مرشّحين مؤهّلين بناءً على أنماط متحيّزة؛ وحين طُعن في ذلك، صار السؤال عمّن يُسأل — صاحب العمل أم مورّد الأداة — موضوعًا للتقاضي اليوم. وفي الائتمان، ترفض نماذج التصنيف القروض بناءً على مؤشرات بديلة لا يراها المتقدّم، واضطُرّت إجراءات الاعتراض إلى أن يُعاد بناؤها حولها. وفي الطب، تطرح أدوات التشخيص المساعدة سؤالًا صعبًا: إذا تجاهل الطبيب ذكاءً اصطناعيًا كان محقًا وأخطأ — أو اتّبع ذكاءً اصطناعيًا مخطئًا وأخطأ — فكيف تنتقل المسؤولية القانونية؟ وفي المركبات ذاتية القيادة، أجبرت الحوادث المحاكم والجهات التنظيمية على أن تقرّر، حالةً بحالة، أين تنتهي مسؤولية السائق وأين تبدأ مسؤولية الشركة المصنّعة. كل مجال يُنتج سوابقه الخاصة، وكل سابقة تدفع المؤسسات نحو الاستنتاج نفسه: حدّد المسؤولية قبل النشر، لا بعد الحادثة.

  • التوظيف: أدوات الفرز المتحيّزة أدّت إلى دعاوى قضائية وتشريعات تستهدف صاحب العمل، لا المورّد وحده
  • الائتمان: قرارات الرفض الآلية يجب أن تأتي الآن مع مسارات للاعتراض والتفسير في كثير من الولايات القضائية
  • الطب: التشخيص بمساعدة الذكاء الاصطناعي يعيد تشكيل المسؤولية القانونية للطبيب في الاتجاهين — فالتجاهل والإذعان كلاهما يحمل مخاطر
  • المركبات ذاتية القيادة: أوضح اختبار علني لانتقال المسؤولية من المشغّل إلى الشركة المصنّعة مع ازدياد الاستقلالية

إجابات ناشئة — وما يجب أن تفعله أنت شخصيًا

تُسدّ الفجوة من عدة اتجاهات في آن واحد. يرسم قانون الذكاء الاصطناعي الأوروبي (EU AI Act) أوضح الحدود حتى الآن: مقدّمو أنظمة الذكاء الاصطناعي عالية المخاطر يتحمّلون التزامات التوثيق وإدارة المخاطر والمراقبة بعد الطرح في السوق، بينما تتحمّل الجهات المشغّلة واجبات الإشراف البشري والاستخدام الملائم والتسجيل — وهو نموذج تراقبه ولايات قضائية أخرى. وسجلات التدقيق تحوّل سؤال «ماذا حدث؟» من تخمين إلى دليل. وأسواق التأمين بدأت تسعّر مخاطر الذكاء الاصطناعي، مما يفرض الانضباط في قياسها. والتصميم القائم على الإشراف البشري (Human-in-the-loop) يُفهم بشكل متزايد على أنه بنية للمسؤولية القانونية، لا مجرد ضبط للجودة: فالإنسان المسمّى الذي يراجع ويوقّع هو طرف مُساءَل بحكم التصميم. والتوجيه الشخصي يتبع ذلك مباشرةً: أبقِ توقيعك البشري على القرارات المؤثّرة. إذا وافقت على ما أوصى به الذكاء الاصطناعي، فأنت تتحمّل تلك الموافقة — لذا راجِع بالمستوى الذي تتطلبه المخاطر، ولا تجعل «الذكاء الاصطناعي قال ذلك» مبرّرك أبدًا.

  • نموذج قانون الذكاء الاصطناعي الأوروبي: المقدّمون يُسألون عن تصميم النظام وتوثيقه؛ والجهات المشغّلة تُسأل عن الإشراف والاستخدام الملائم
  • سجلات التدقيق هي البنية التحتية للمساءلة: المُدخلات والمخرجات والإصدارات والتجاوزات المسجّلة تجعل المسؤولية قابلة للتتبّع
  • التأمين والاعتماد يفرضان المعايير بهدوء — فمخاطر الذكاء الاصطناعي غير المقيسة تصبح مخاطر غير قابلة للتأمين
  • الإشراف البشري بوصفه تصميمًا للمسؤولية: المراجِع المسمّى يحوّل الإخفاق المشتّت إلى قرار له صاحب
  • قاعدة شخصية: أبقِ توقيعك على القرارات المؤثّرة — تفويض العمل للذكاء الاصطناعي لا يفوّض المسؤولية أبدًا

جرّبها بنفسك

تبدو فجوة المساءلة نظرية حتى تطبّق الاختبار على قرار مسّك أنت. اختر قرارًا واحدًا وانظر إلى أي مدى تستطيع فعلًا النزول في السلسلة.

◆ جرّبها بنفسك

فكّر في قرار آلي أو قرار شارك فيه الذكاء الاصطناعي مسّك مؤخرًا — طلب توظيف تمّت تصفيته، أو عرض سعر لقرض أو تأمين، أو حظر بطاقتك المصرفية بسبب اشتباه احتيال، أو منشور خضع للإشراف. اكتب من كان المطوّر، ومن كانت الجهة المشغّلة، ومن كان المستخدم في ذلك القرار، ومن ستتواصل معه فعلًا للاعتراض عليه.

كيف تعرف أنها نجحت
  • استطعت تسمية الأطراف الثلاثة — أو وجدت النقطة المحددة التي تنقطع عندها السلسلة
  • تعرف إن كان هناك مسار للاعتراض ومن أين يبدأ
  • تستطيع أن تقول في جملة واحدة من يُسأل إن كان ذلك القرار خاطئًا

كيف ينطبق هذا عليّ؟

مستخدم عام

المساءلة هي حمايتك حين يخطئ الذكاء الاصطناعي في حقّك — والتزامك حين تستخدم الذكاء الاصطناعي في عملك. وهما وجهان للقاعدة نفسها: اطلب إنسانًا مسؤولًا عن القرارات التي تخصّك، وابقَ مسؤولًا عن القرارات التي تتخذها بمساعدة الذكاء الاصطناعي.

  • إذا أضرّ بك قرار آلي، فاسأل من المسؤول وما مسار الاعتراض — ففي المجالات الخاضعة للتنظيم بات وجود هذا المسار إلزاميًا على نحو متزايد
  • حين تستخدم الذكاء الاصطناعي في العمل، فالمُخرَج الذي تمرّره يحمل اسمك — راجعه بالمستوى الذي تتطلبه المخاطر
  • انتبه للتحيّز للأتمتة في نفسك: «النظام أوصى بذلك» تفسير، وليس مبرّرًا أبدًا
متخصص أمن

أصبح تصميم المساءلة معيارًا لشراء أدوات الذكاء الاصطناعي الأمنية: فحين يُغلق وكيل ذكي (Agent) تنبيهًا بشكل خاطئ، أو تتسبب استجابة آلية في انقطاع الخدمة، سيسأل فريق الحوكمة لديك: من يُسأل؟ احسم هذه الإجابة قبل النشر، خاصةً في القطاعات الخاضعة للتنظيم.

  • سؤال يجب حسمه داخليًا ومع المورّد: «حين يُغلق الذكاء الاصطناعي تلقائيًا تنبيهًا يتضح أنه حقيقي، من يراجع، وماذا يُظهر سجل التدقيق؟»
  • حدّد التزامات المقدّم مقابل التزامات الجهة المشغّلة في مؤسستك — فبموجب قانون الذكاء الاصطناعي الأوروبي يتحمّل الطرفان واجبات، ومعظم الجهات المشغّلة لم تُسند واجباتها بعد
  • تعامل مع التسجيل غير القابل للتعديل ومسارات الموافقة البشرية على أنها بنية تحتية للمساءلة، لا مجرد خانات امتثال
مطوّر

لا يمكنك إلحاق المساءلة بالنظام بعد وقوع الحادثة — فهي تُبنى من التسجيل، ومسارات التجاوز، وقرارات ملكية صريحة تُتّخذ في مرحلة التصميم. افترض أن كل مُخرَج مؤثّر سيُفحص يومًا ما في نزاع، وابنِ ما سيحتاجه ذلك الفحص.

  • سجّل من (أو ما) اتخذ كل قرار مؤثّر، وعلى أي إصدار من النموذج، وبأي مُدخلات — فالإسناد هو اللبنة الأساسية للمساءلة
  • ابنِ مسارات التجاوز والاعتراض بوصفها ميزات أساسية: يجب أن يتمكن الإنسان من عكس قرار النظام، ويجب تسجيل هذا العكس
  • اكتب خريطة الملكية قبل الإطلاق: أي الإخفاقات تعود إلى النموذج، وأيها إلى مسار المعالجة، وأيها إلى الجهة المشغّلة، وأيها إلى المستخدم — الغموض هنا يصبح مسؤولية قانونية لاحقًا
مستشار ذكاء اصطناعي

تحديد المسؤولية هو المُخرَج الذي يفتقده العملاء غالبًا: لديهم أنظمة ذكاء اصطناعي في بيئة الإنتاج دون إجابة مكتوبة عن سؤال «من يُسأل حين يخطئ؟». وجعل هذه الإجابة صريحة — الأدوار، والالتزامات، والتصعيد، والتدقيق — عمل استشاري عالي القيمة لا يحتاج إلى أدوات كثيرة.

  • نفّذ تمرين RACI لكل حالة استخدام للذكاء الاصطناعي: من المنفّذ، ومن المسؤول النهائي، ومن يُستشار، ومن يُبلَّغ، لكل قرار مؤثّر يلامسه النظام
  • طابِق كل عملية نشر مع التزامات المقدّم مقابل الجهة المشغّلة بموجب قانون الذكاء الاصطناعي الأوروبي — فالتقسيم تعاقدي بقدر ما هو تنظيمي
  • أوصِ بنقاط موافقة بشرية بوصفها تصميمًا للمسؤولية، واجعل كل موافقة دورًا مسمّى بقرارات مسجّلة — لا بندًا مبهمًا عن «الإشراف البشري»