مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

حوكمة النماذج اللغوية الكبيرة وسلامتها: متى تنطبق كل طبقة

⁧«هل هذا الذكاء الاصطناعي آمن؟» ثلاثة أسئلة — يُجاب عن كلٍّ منها في وقت مختلف⁩⁧تُبنى قبل إطلاق النموذج، وتُطبَّق على كل طلب حي، وتُراقَب على نطاق واسع — وكل مرحلة تلتقط إخفاقات مختلفة⁩⁧إطلاق النموذج⁩⁧يخدم حركة فعلية⁩⁧وقت التدريب — قبل إطلاق النموذج⁩⁧مرة واحدة — مدمجة في الأوزان⁩⁧ضبط التعليمات (SFT)⁩⁧الذكاء الاصطناعي الدستوري — نقد ذاتي وفق قواعد⁩⁧RLHF — التعلّم من تقييمات البشر⁩⁧اختبار الفريق الأحمر — فحص عدائي⁩⁧لا ترى كيف سيُستخدم النموذج لاحقًا⁩⁧وقت النشر — يغلّف النموذج الحي⁩⁧كل طلب — داخل النموذج وخارجه⁩⁧مرشّحات على الاستجابات⁩⁧حدود النطاق والسياسات⁩⁧الدفاع ضد حقن التعليمات في المدخلات⁩⁧كشف البيانات الشخصية (PII) وحجبها⁩⁧ترشّح كل طلب — لا ترى الاتجاهات⁩⁧وقت التشغيل الفعلي — حيّ وعلى نطاق واسع⁩⁧مستمر — رؤية للحركة الفعلية⁩⁧تتبّع التعليمات والاستجابات — سجل تدقيق⁩⁧تتبّع التكلفة والرموز لكل طلب⁩⁧تنبيهات انحراف المخرجات وتراجعها⁩⁧مراقبة زمن الاستجابة والإنتاجية وSLA⁩⁧تلتقط ما فات الطبقتين الأخريين⁩⁧التقييم المستمر (Evals) — حلقة التغذية الراجعة عبر المراحل الثلاث⁩⁧معايير قياس عبر الإصدارات⁩⁧ترتيب تفضيلات البشر⁩⁧LLM-as-judge — تقييم على نطاق واسع⁩⁧إطار اختبار انحدار مع كل تحديث⁩⁧لا تكفي طبقة واحدة — كل مرحلة تلتقط ما تعجز عنه الأخرى⁩⁧غياب مرحلة يعني فئة كاملة من الإخفاقات لا يلتقطها أحد — اسأل في أي مرحلة يقع قلق العميل فعلًا⁩⁧«الأمان» عملية عبر ثلاث مراحل — لا خاصية في النموذج⁩⁧مدمج في التدريب، ومغلّف عند النشر، ومراقَب في التشغيل — والتقييم يثبت أنه ما زال صامدًا⁩
⁧الأمان يُبنى في ثلاث مراحل — مدمج في التدريب، ومغلّف عند النشر، ومراقَب في التشغيل — مع تقييم مستمر يمتد عبرها جميعًا.⁩

السلامة ليست شيئًا واحدًا

حين يسأل العملاء «هل هذا الذكاء الاصطناعي آمن؟» فهم في الواقع يطرحون عدة أسئلة مختلفة في وقت واحد. تُبنى السلامة في النماذج اللغوية الكبيرة عبر ثلاث مراحل منفصلة: قبل إطلاق النموذج، وأثناء تشغيله الفعلي، وباستمرار مع تطوّره. كل مرحلة تلتقط أنماط فشل مختلفة. ولا تكفي أي طبقة منفردة وحدها.

  • وقت التدريب: السلامة والمواءمة مدمجتان في النموذج قبل نشره أصلًا
  • وقت النشر: ضوابط حماية (Guardrails) تُطبَّق أثناء التشغيل لتقييد ما يستطيع النموذج الحي فعله
  • وقت التشغيل الفعلي: قابلية المراقبة (Observability) لمعرفة ما يفعله النموذج فعلًا على نطاق واسع
  • التقييمات المستمرة: تحقّق يعمل عبر كل المراحل لالتقاط التراجعات والانحراف

وقت التدريب: سلامة مدمجة قبل إطلاق النموذج

يحدث خط الدفاع الأول أثناء التدريب نفسه. قبل إصدار النموذج، يشكّل الفريق الذي يدير التدريب سلوكه ويستكشفه بحثًا عن أنماط الفشل. وبحلول وصوله إلى العملاء، تكون هذه الخصائص مدمجة في الأوزان.

  • ضبط التعليمات (SFT): يدرّب النموذج على اتباع التعليمات وأن يكون مفيدًا
  • الذكاء الاصطناعي الدستوري (CAI): حلقة نقد ذاتي قائمة على المبادئ يقيّم فيها النموذج مخرجاته مقابل مجموعة قواعد أثناء التدريب
  • RLHF (التعلّم المعزّز من ملاحظات البشر): يشكّل السلوك عبر ملاحظات التفضيل البشرية، إذ يرتّب البشر مخرجات النموذج فيتعلّم تفضيل الاستجابات الأعلى تقييمًا
  • اختبار الفريق الأحمر: استكشاف عدائي يجريه بشر يحاولون إيجاد أنماط الفشل قبل الإصدار

وقت النشر: ضوابط حماية على النموذج الحي

بمجرد نشر النموذج، تلتف حوله طبقة ثانية من الضوابط أثناء التشغيل. هذه الضوابط ليست داخل النموذج؛ إنها تقع بين المستخدم والنموذج، فترشّح ما يدخل وما يخرج في كل طلب على حدة.

  • مرشّحات المخرجات: تحجب المحتوى غير الآمن أو الضار أو المخالف للسياسة أثناء التشغيل، وهي الفحص الأخير قبل وصول الاستجابة إلى المستخدم
  • حدود النطاق والسياسة: تحدّد ما يُسمح للنموذج بفعله وما لا يُسمح في عملية النشر هذه تحديدًا
  • الدفاع ضد حقن التعليمات (Prompt injection): يقلّل احتمال أن توجّه المدخلات العدائية سلوك النموذج؛ إنه يحدّ المخاطر ولا يصنع حدًا صلبًا، لذا اقرنه بمبدأ أقل الصلاحيات
  • البيانات الشخصية (PII) وخصوصية البيانات: يكتشف البيانات الشخصية الحساسة ويحجبها في المدخلات والمخرجات معًا

وقت التشغيل الفعلي: معرفة ما يفعله النموذج على نطاق واسع

النشر الآمن ليس حدثًا لمرة واحدة. فبمجرد أن يصبح النموذج حيًا ويتعامل مع حركة حقيقية، تحتاج إلى رؤية كل تفاعل. وقابلية المراقبة في التشغيل الفعلي تلتقط المشكلات التي فاتت التدريب وضوابط النشر.

  • تتبّع التعليمات والاستجابات: سجل تدقيق كامل لكل تفاعل، وهو أساسي للتحقيق في الحوادث والامتثال
  • تتبّع التكلفة والرموز: الإنفاق لكل طلب، واستهلاك الرموز، وتنبيهات الميزانية
  • اكتشاف انحراف المخرجات: ينبّه إلى تدهور الجودة وتحوّلات السلوك مع الوقت
  • زمن الاستجابة والأداء: وقت الاستجابة والإنتاجية ومراقبة اتفاقيات مستوى الخدمة (SLA)

التقييمات المستمرة: تحقّق لا يتوقف

التقييمات (Evals) اختبارات مؤتمتة تعمل عبر المراحل الثلاث كلها. إنها حلقة التغذية الراجعة التي تخبرك هل ما يزال النموذج يفعل ما تتوقعه، وهل جعل أي تغيير الأمور أفضل أم أسوأ. وفي نظام تشغيل فعلي، تعمل التقييمات مع كل تحديث.

  • معايير القياس (Benchmarks): اختبارات قدرات موحّدة تُستخدم لمقارنة النماذج وتتبّع القدرات عبر الإصدارات
  • تقييم التفضيل البشري: يرتّب البشر مخرجات النماذج ويقارنونها، وهي الإشارة الأكثر مباشرة إلى الجودة الفعلية
  • النموذج اللغوي حَكَمًا (LLM-as-judge): نموذج يقيّم مخرجات نماذج أخرى ويرتّبها، فيوسّع التقييم البشري إلى أحجام لا يستطيع أي فريق بشري تغطيتها
  • أطر التقييم (Eval harnesses): مجموعات اختبارات انحدار مؤتمتة تعمل مع كل تحديث للنموذج

كيف ينطبق هذا عليّ؟

مستخدم عام

سلامة الذكاء الاصطناعي ليست مفتاحًا واحدًا؛ إنها تُبنى في طبقات عبر التدريب والنشر والمراقبة المستمرة. وفهم ذلك يساعدك على تقييم ادعاءات المورّدين حول «الذكاء الاصطناعي الآمن» بقدر مناسب من التشكّك.

  • «الذكاء الاصطناعي الآمن» عملية عبر ثلاث مراحل، لا خاصية في النموذج نفسه
  • ضوابط الحماية تفسّر لماذا ترفض أدوات الذكاء الاصطناعي طلبات أحيانًا؛ فهذه حدود النطاق تعمل كما صُمّمت
  • اسأل المورّدين: ما سجل التدقيق لديكم لما قاله الذكاء الاصطناعي ولماذا؟
متخصص أمن

حين تسأل القيادة «هل هذا الذكاء الاصطناعي آمن؟» فهي تطرح ثلاثة أسئلة مختلفة في وقت واحد. وإطار المراحل الثلاث هذا يحوّل الطمأنة الغامضة إلى تقييم منظّم قابل للتدقيق، ويكشف الثغرات التي تتحوّل إلى حوادث إن لم يسمّها أحد أولًا.

  • قيّم وقت التدريب ← وقت النشر ← وقت التشغيل الفعلي كلًا على حدة؛ فكل مرحلة تلتقط أنماط فشل مختلفة، وسؤالك عن المرحلة التي يقع فيها القلق يركّز المراجعة فورًا
  • الدفاع ضد حقن التعليمات ضابط في وقت النشر لم تفكّر فيه مؤسسات كثيرة؛ اختبره صراحةً: «ماذا يحدث حين تضمّن جهة تهديد تعليمات عدائية في محتوى بريد إلكتروني يحلّله وكيلنا؟»
  • قابلية المراقبة في التشغيل الفعلي (التتبّع واكتشاف الانحراف) هي دليلك على الامتثال والتدقيق؛ وسؤال «هل يمكنك إثبات ما فعله الذكاء الاصطناعي ولماذا؟» يتطلّب تتبّع التعليمات والاستجابات من اليوم الأول، لا إضافته لاحقًا
  • اسأل: هل يجري المورّد اختبار الفريق الأحمر قبل التحديثات الكبرى للنموذج؟ غياب الإجابة يعني غياب الاختبار العدائي؛ وهذا سؤال عن الوضع الأمني تجاه المخاطر، لا سؤال عن المنتج
  • التقييمات المستمرة تميّز المنصات عن العروض التجريبية؛ فالمورّد الذي لا يملك أطر تقييم لا يستطيع إثبات أن جودة نموذجه تصمد عبر التحديثات
مطوّر

السلامة خاصية هندسية تُبنى عبر المراحل الثلاث كلها، لا مرشّح يُضاف بعد الحدث. وإغفال أي مرحلة يخلق فئة من الفشل لا تستطيع المراحل الأخرى التقاطها.

  • نفّذ تتبّع التعليمات والاستجابات من اليوم الأول؛ فسجل التدقيق بأثر رجعي مستحيل من دونه
  • أضف تقييم «النموذج اللغوي حَكَمًا» إلى خط التكامل المستمر (CI) لديك؛ فالتقييم البشري وحده لا يتوسّع إلى حجم النشر
  • الدفاع ضد حقن التعليمات مكانه البنية التحتية لوقت النشر، لا كل تطبيق على حدة
مستشار ذكاء اصطناعي

معظم عمليات تدقيق «سلامة الذكاء الاصطناعي» لدى العملاء لا تفحص إلا مرحلة التدريب. أما قابلية المراقبة في التشغيل الفعلي والتقييمات المستمرة فهي حيث تفشل الأنظمة المنشورة فعلًا، وحيث يجب أن تعيش الحوكمة.

  • ابنِ تدقيق سلامة يمتد عبر المراحل الثلاث كلها؛ فضمانات وقت التدريب وحدها لا تكفي للامتثال
  • اشترط التتبّع واكتشاف الانحراف في وقت التشغيل الفعلي بوصفهما مخرجات تعاقدية، لا ميزات اختيارية
  • التقييمات المستمرة هي الآلية التي تجعل حوكمة الذكاء الاصطناعي قابلة للتدقيق عبر الزمن؛ ابنها منذ البداية
✎ أنهيت الوحدة!
اختبر نفسك في «الذكاء الاصطناعي التوليدي والنماذج اللغوية الكبيرة» ←