مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

سلامة الذكاء الاصطناعي ومواءمته

⁧سلامة الذكاء الاصطناعي ومواءمته: ثلاث خصائص وطبقتان⁩ ⁧رسم يوضّح ثلاث خصائص للذكاء الاصطناعي الآمن — المواءمة والمتانة وقابلية التفسير — والطبقتين اللتين تُطبَّق فيهما السلامة: وقت التدريب ووقت التشغيل.⁩ ⁧سلامة الذكاء الاصطناعي ومواءمته: ثلاث خصائص وطبقتان⁩ ⁧ثلاث خصائص لنظام ذكاء اصطناعي آمن⁩ ⁧المواءمة⁩ ⁧هل يفعل الذكاء ما نقصده؟⁩ ⁧يسعى للأهداف المقصودة — لا⁩ ⁧للتعليمات الحرفية أو المقاييس البديلة⁩ ⁧نمط الفشل: التحايل على المكافأة⁩ ⁧قانون غودهارت عمليًا⁩ ⁧المتانة⁩ ⁧هل يصمد أمام مدخلات غير متوقعة؟⁩ ⁧يتصرف بشكل صحيح أمام مدخلات⁩ ⁧عدائية أو خارج التوزيع⁩ ⁧نمط الفشل: كسر القيود وحقن التعليمات⁩ ⁧يُختبر عبر الفريق الأحمر⁩ ⁧قابلية التفسير⁩ ⁧هل تفهم السبب؟⁩ ⁧إن لم ترَ سبب قراره⁩ ⁧فلن تكتشف متى يخطئ⁩ ⁧ضرورية للتدقيق والإشراف⁩ ⁧سلسلة التفكير · درجات الثقة⁩ ⁧طبقتان تُبنى فيهما السلامة⁩ ⁧السلامة وقت التدريب⁩ ⁧خصائص مدمجة في الأوزان⁩ ⁧عند إطلاق النموذج تكون هذه السلوكيات⁩ ⁧جزءًا من طريقة تفكيره⁩ ⁧SFT — ضبط على التعليمات بأمثلة منتقاة⁩ ⁧RLHF / DPO — يتشكل بتفضيلات البشر⁩ ⁧Constitutional AI — نقد ذاتي وفق مبادئ⁩ ⁧الفريق الأحمر — اختبار عدائي قبل الإطلاق⁩ ⁧السلامة وقت التشغيل⁩ ⁧ضوابط حماية على النموذج العامل⁩ ⁧تقع بين المستخدم والنموذج وترشّح⁩ ⁧كل طلب وكل رد⁩ ⁧مرشحات المخرجات — تلتقط المحتوى الضار أو الخارج عن النطاق⁩ ⁧حدود النطاق والسياسات — تحدد المسموح⁩ ⁧الدفاع ضد حقن التعليمات — يمنع المدخلات العدائية⁩ ⁧كشف البيانات الشخصية — يحجب البيانات الحساسة أثناء النقل⁩ ⁧لا تكفي أي طبقة وحدها — والمواءمة تزداد صعوبة لا سهولة كلما نمت القدرة⁩

إبقاء الذكاء الاصطناعي متوافقًا مع النية البشرية

سلامة الذكاء الاصطناعي (AI) هي المجال المعنيّ بضمان أن تفعل الأنظمة ما نقصده فعلًا — لا ما طلبناه حرفيًا فقط. والمواءمة (Alignment) أصعب مما تبدو: فالنموذج المدرَّب على تعظيم إشارة مكافأة سيجد طرقًا غير متوقعة لذلك إن كانت الإشارة غير مثالية. وهذه ليست مشكلة افتراضية — فهي تظهر في كل نموذج منشور على هيئة الهلوسة (Hallucination)، والتلاعب بالمكافأة، وإخفاقات الرفض.

  • المواءمة: هل يسعى النموذج إلى الأهداف التي قصدناها، أم يُحسّن مقاييس بديلة تنحرف عن النية الحقيقية؟
  • المتانة: هل يتصرّف بشكل صحيح أمام المُدخلات العدائية أو غير المألوفة أو الخارجة عن توزيع بيانات التدريب؟
  • قابلية التفسير: هل نستطيع فهم سبب اتخاذه قرارًا ما — أم أنه صندوق أسود؟
  • التعلّم المعزّز من الملاحظات البشرية (RLHF) والذكاء الاصطناعي الدستوري (Constitutional AI) هما أبرز تقنيات المواءمة المستخدمة في النماذج المتقدّمة اليوم
  • ضوابط الحماية (Guardrails)، والاختبار الهجومي، وتصفية المخرجات هي طبقة السلامة التشغيلية المطبّقة عند النشر

تقنيات السلامة: من التدريب إلى وقت التشغيل

تُطبَّق سلامة الذكاء الاصطناعي في مراحل متعددة من دورة حياة النموذج. تقنيات مرحلة التدريب تشكّل سلوك النموذج من المصدر؛ وتقنيات وقت التشغيل تلتقط الإخفاقات عند النشر. والطبقتان ضروريتان — ولا تكفي أيٌّ منهما وحدها.

  • RLHF: مقيّمون بشريون يرتّبون مخرجات النموذج؛ ونموذج مكافأة يتعلّم تفضيلاتهم؛ ثم يُحسَّن نموذج السياسة نحو المخرجات عالية المكافأة
  • الذكاء الاصطناعي الدستوري (Anthropic): ينتقد النموذج مخرجاته بنفسه وفق مجموعة من المبادئ، ويتحسّن تكراريًا دون الحاجة إلى تقييم بشري لكل مثال
  • DPO (التحسين المباشر للتفضيلات): بديل أبسط لـ RLHF، اعتُمد على نطاق واسع لأنه يتجنّب تدريب نموذج مكافأة منفصل
  • الاختبار الهجومي (Red-teaming): محاولات منظّمة لدفع النموذج إلى إنتاج مخرجات ضارة أو متحيّزة أو خارج النطاق — وهو ضروري قبل النشر وبعده
  • تصفية المخرجات وضوابط الحماية: طبقات تعمل وقت التشغيل لاعتراض المخرجات الضارة وحجبها بصرف النظر عمّا يُنتجه النموذج

تحدّي السلامة في النماذج المتقدّمة

كلما ازدادت قدرة نماذج الذكاء الاصطناعي، صارت المواءمة أصعب — لا أسهل. فالنماذج الأقدر تستطيع إيجاد طرق أكثر إبداعًا لإرضاء إشارة المكافأة دون تحقيق النية الكامنة وراءها. وهذا هو جوهر القلق في أبحاث سلامة الذكاء الاصطناعي المتقدّم، وهو مهم عمليًا لكل من ينشر الذكاء الاصطناعي في سياقات مؤثّرة.

  • التلاعب بالمكافأة: يجد النموذج طرقًا غير متوقعة لتعظيم إشارة المكافأة دون أن يفعل ما أردته
  • قانون غودهارت: حين يصبح المقياس هدفًا، يتوقف عن كونه مقياسًا جيدًا — والذكاء الاصطناعي يضخّم هذا الأثر
  • الإشراف القابل للتوسّع: استخدام الذكاء الاصطناعي لمساعدة البشر على الإشراف على ذكاء اصطناعي أقدر — وهو النهج الذي تبحثه المختبرات الرائدة
  • أبحاث قابلية التفسير: فهم الدوائر داخل النموذج التي تُنتج سلوكيات محددة — وقابلية التفسير الميكانيكية مجال بحثي نشط
  • الأثر العملي: كلما منحت نظام الذكاء الاصطناعي استقلالية أكبر، ازدادت أهمية المواءمة المتينة والإشراف

كيف ينطبق هذا عليّ؟

مستخدم عام

تتعلق سلامة الذكاء الاصطناعي بالتأكد من أن أنظمته تفعل بشكل موثوق ما تقصده — لا ما طلبته حرفيًا فقط. والمواءمة والمتانة وقابلية التفسير هي الأسئلة الثلاثة التي ينبغي أن تطرحها على أي نظام ذكاء اصطناعي يتخذ قرارات مؤثّرة نيابةً عنك.

  • إخفاق المواءمة: يفعل الذكاء الاصطناعي ما طلبته لا ما أردته — كن دقيقًا ومحددًا في تعليماتك
  • إخفاق المتانة: يتصرّف الذكاء الاصطناعي بشكل مختلف أمام مُدخلات غير متوقعة — اختبر الحالات الحدّية قبل الاعتماد عليه في قرارات مهمة
  • قابلية التفسير: إن لم تستطع فهم سبب قرار الذكاء الاصطناعي، فلن تستطيع اكتشاف متى يكون مخطئًا
متخصص أمن

سلامة الذكاء الاصطناعي في السياقات الأمنية تعني المتانة أمام المُدخلات العدائية وقابلية التفسير لأغراض الامتثال — وكلاهما مختلف عن لغة «السلامة» التسويقية التي يستخدمها معظم المورّدين. ابحث عن المضمون وراء الادعاءات.

  • اسأل المورّد: كيف يتصرّف المنتج حين يصمّم خصم مُدخلات عمدًا للتلاعب به؟ — هذه متانة أمام الهجمات، لا سلامة عامة
  • اسأل: هل يستطيع النموذج تفسير سبب قرار الاكتشاف بعبارات يستطيع المحلّل التحقق منها والمدقّق مراجعتها؟
  • RLHF والذكاء الاصطناعي الدستوري من تقنيات السلامة في مرحلة التدريب — اسأل أيضًا عن السلامة وقت التشغيل: ضوابط الحماية، ووتيرة الاختبار الهجومي، والاستجابة لحوادث إخفاق السلامة
مطوّر

المواءمة والمتانة وقابلية التفسير خصائص هندسية تتطلب تصميمًا واختبارًا صريحين — ولا تنشأ تلقائيًا من نموذج مدرَّب جيدًا.

  • اكتب اختبارات مواءمة: هل يُنتج النموذج النتيجة المقصودة، لا مجرد استجابة تبدو معقولة وتلبّي التعليمات حرفيًا؟
  • اختبر المتانة أمام المُدخلات العدائية المتعلقة بمجالك قبل الإطلاق في بيئة الإنتاج — لا أمام معايير القياس (Benchmarks) المعتادة وحدها
  • أضف أدوات قابلية التفسير (تسجيل سلسلة التفكير، ومعايرة الثقة، ومخرجات الانتباه) من البداية — فإضافة قابلية المراقبة (Observability) لاحقًا أصعب بكثير
مستشار ذكاء اصطناعي

تنتقل سلامة الذكاء الاصطناعي من قلق أكاديمي إلى متطلب تنظيمي. والعملاء الذين يبنون خصائص السلامة في أنظمتهم الآن يسبقون منحنى الامتثال لقانون الذكاء الاصطناعي الأوروبي (EU AI Act)، ويسبقون منحنى السمعة كذلك.

  • اربط المواءمة والمتانة وقابلية التفسير بإطار المخاطر القائم لدى العميل — ترجِم سلامة الذكاء الاصطناعي إلى لغة مخاطر يفهمها مجلس الإدارة أصلًا
  • قابلية التفسير هي خاصية السلامة الأهم للقطاعات الخاضعة للتنظيم — فهي ما يتيح الإشراف البشري ويلبّي متطلبات التدقيق
  • يجب أن يكون الاختبار الهجومي تمرينًا دوريًا مجدولًا، لا نشاطًا لمرة واحدة قبل الإطلاق — أدرجه في الإيقاع التشغيلي لحوكمة الذكاء الاصطناعي
✎ أنهيت الوحدة!
اختبر نفسك في «أخلاقيات الذكاء الاصطناعي وسلامته» ←