مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

تقييمات السلامة: الاختبار بحثًا عن الضرر

⁧ماذا يحدث بعد أن يكتشف الفريق الأحمر شيئاً⁩⁧المسار روتيني؛ والخطوة الأخيرة هي التي تحتاج إلى تقدير حقيقي⁩⁧الاكتشاف⁩⁧ظهر شيء ما⁩⁧في اختبار الفريق الأحمر⁩⁧أو في الاستخدام العادي.⁩⁧الفرز⁩⁧ما مدى خطورته،⁩⁧وما مدى سهولة⁩⁧أن يستغله أحد؟⁩⁧الإصلاح أو التخفيف⁩⁧أزله، أو قلّل⁩⁧ما يمكنه الوصول إليه⁩⁧ما دام قائماً.⁩⁧التحقق⁩⁧أعد تشغيل خطوات⁩⁧إعادة الإنتاج الأصلية⁩⁧وتأكد أنه أُغلق.⁩⁧اكتشاف لا يستطيع أحد إعادة إنتاجه عند الطلب مجرد حكاية — لا يجد الفرز ما يعمل عليه⁩⁧الفرز — ما الذي يحدد الترتيب⁩⁧قابلية استغلال منخفضة⁩⁧قابلية استغلال عالية⁩⁧خطورة عالية⁩⁧خطورة منخفضة⁩⁧أصلحه وفق جدول⁩⁧وتابعه علناً⁩⁧أصلحه أولاً⁩⁧قبل أي شيء آخر⁩⁧سجّله واجمعه⁩⁧مع البقية⁩⁧خفّفه الآن⁩⁧ثم أصلحه كما يجب⁩⁧الخطورة وحدها لا تحدد الترتيب — قابلية الاستغلال تغيّره.⁩⁧الإفصاح — إلى أين يمكن أن يذهب⁩⁧داخلي فقط⁩⁧المشكلة والإصلاح كلاهما داخل مؤسسة⁩⁧واحدة، فلا شيء يحتاج إلى الخروج.⁩⁧بالتنسيق مع المورّد المتأثر⁩⁧جهة أخرى عليها إصدار الإصلاح، فتحصل على⁩⁧إشعار وخطوات إعادة الإنتاج ومهلة للتصرف.⁩⁧علني، بعد المعالجة⁩⁧يُنشر بعد صدور الإصلاح، ليتمكن الجميع⁩⁧من التحقق مما إذا كانوا قد تأثروا.⁩⁧والتوقيت هو الجزء الذي لا تحسمه عنك أي قائمة تحقق⁩⁧مبكر جداً⁩⁧التفاصيل علنية بينما الناس⁩⁧ما زالوا معرّضين ولا إصلاح بعد.⁩⁧متأخر جداً⁩⁧يكتشف أحدهم الشيء نفسه بمفرده،⁩⁧ولم يُحذَّر أحد في هذه الأثناء.⁩⁧ما الذي يحسم الأمر فعلاً⁩⁧من المعرّض، وهل يوجد إصلاح،⁩⁧وهل يُستغل الخلل بالفعل.⁩⁧الإفصاح قرار يخص تعرّض الآخرين للخطر، لا من ينال الفضل⁩⁧اكتب التقرير بحيث يستطيع غريب إعادة إنتاجه، وإلا فلن يتحقق أحد غيرك من الإصلاح⁩⁧للتوجيه التعليمي فقط — أي برنامج حقيقي يضع سياسة الإفصاح الخاصة به مسبقاً⁩
⁧اكتشاف المشكلة هو النصف السهل — التقدير الحقيقي هو من يجب أن يعرف، ومتى⁩

ما يقيسه تقييم السلامة ولا يقيسه تقييم الجودة

تقييم (Eval) الجودة يسأل إن كان المخرج جيدًا؛ وتقييم السلامة يسأل إن كان ضارًا، والفرق أعمق من الموضوع. فالجودة تُقيَّم عادةً على مقياس متدرج وتُعرض كمتوسط، والإجابة المتوسطة تكلّفك قليلًا. أما السلامة فتتصرف كحدّ أدنى: مخرج ضار واحد لمستخدم واحد قد يكون الحادثة بأكملها، لذا الإحصاء ذو المعنى هو معدّل أسوأ نتيجة لا متوسط الدرجة، وقد يكون الإجمالي الذي يبدو ممتازًا غير مقبول مع ذلك. وتوزيع المدخلات يختلف أيضًا — حالات الجودة مأخوذة مما يفعله المستخدمون عادةً، وحالات السلامة مما تفعله أقلية صغيرة أحيانًا إضافة إلى ما يجعله مجالك خطيرًا. والفشل كثيرًا ما يكون غير مرئي في المقياس الذي تتتبعه أصلًا، لأن جرعة دوائية خاطئة مقدَّمة بثقة، أو مبررًا تمييزيًا في التوظيف، أو سجلًا شخصيًا مكشوفًا، كلها تحصل على درجات مريحة في معايير تقييم (Rubric) الفائدة.

  • الجودة متوسط؛ والسلامة حدّ أدنى — اعرض معدّل أسوأ حالة، لا المتوسط
  • حالات السلامة تأتي من الاستخدام غير المعتاد ومن مخاطر المجال، لا من الحركة المعتادة
  • المخرجات الضارة كثيرًا ما تحصل على درجات جيدة في الفائدة — ومعايير التقييم الحالية لن تلتقطها
  • مخرج ضار واحد لمستخدم واحد قد يكون الحادثة كلها

بناء مجموعة تقييم للسلامة

ابدأ من تصنيف مكتوب للأضرار خاص بمنتجك لا من قائمة عامة، لأن ما يُعدّ ضارًا يعتمد على المجال: نصيحة غير آمنة في مساعد سريري، واستنتاجات غير مشروطة في أداة قانونية، وكشف بيانات مستأجر آخر في منتج بحث داخلي، واستدلال تمييزي في أي شيء يمس التوظيف أو الائتمان. لكل فئة، اكتب حالات على ثلاثة مستويات — طلبات محظورة بوضوح، وطلبات حدّية يختلف فيها العقلاء، وطلبات بريئة تشبه المجموعة المحظورة في ظاهرها. استقِها من وثائق السياسات، ومن الشكاوى والحوادث، ومن خبراء المجال الذين يعرفون ما الذي يسوء فعلًا في الميدان، ومن آثار التشغيل الفعلي. سجّل السلوك المتوقع لكل حالة صراحةً، لأن الرفض والإجابة بحذر مع تنبيه إجابتان صحيحتان مختلفتان، ولا تستطيع أي أداة تصحيح أن تستنتج أيهما قصدت. وأبقِ حالات السلامة في المجموعة نفسها مع حالات الجودة كي تعمل مع كل تغيير في النموذج أو التعليمات.

  • استخرج تصنيف الأضرار من مجالك وسياستك، لا من قائمة عامة
  • ثلاثة مستويات لكل فئة: محظور، وحدّي، وبريء مشابه في الظاهر
  • اكتب السلوك المتوقع — فالرفض والإجابة بحذر هدفان مختلفان
  • استعن بخبراء المجال؛ فالمهندسون يفوّتون بشكل منهجي الأضرار الخاصة بالميدان
  • شغّل حالات السلامة مع كل تغيير، لا قبل الإطلاق فقط

الإفراط في الرفض هو النصف الآخر من الدرجة

تقييم السلامة الذي لا يقيس إلا الامتثال الضار يدفع النظام نحو عدم الجدوى، لأن الدرجة المثالية التافهة تتحقق برفض كل شيء. شغّل دائمًا مجموعة الحالات البريئة المشابهة إلى جانب المجموعة العدائية: فريق أمن يسأل عن تقنيات الهجوم كي يدافع، وطبيب يناقش عتبات الجرعة الزائدة، وباحث يقتبس خطابًا متطرفًا كي يحلله. اعرض معدّل الامتثال الضار ومعدّل الرفض الخاطئ معًا، وتعامل مع التغيير الذي يحسّن أحدهما ويضعف الآخر كمقايضة كما هو لا كمكسب. وتكاليف الإفراط في الرفض حقيقية وغير متماثلة: المستخدمون يلتفّون على الأداة إلى شيء غير مراقَب، والثقة في طبقة السلامة تتآكل فتتوقف قراءة تحذيراتها، والفئة الأكثر تضررًا عادةً هي الجمهور المهني صاحب الحاجة الأكثر مشروعية إلى المحتوى الحدّي. لا يُعدّ أي من الرقمين درجة بمفرده.

  • الدرجة المثالية في الضرر تتحقق برفض كل شيء — اقرن المجموعتين دائمًا
  • اعرض الامتثال الضار والرفض الخاطئ معًا، لا أحدهما وحده أبدًا
  • الإفراط في الرفض يدفع المستخدمين إلى أدوات غير مراقَبة، وهذه بحد ذاتها نتيجة تخص السلامة
  • المهنيون في المجال يتحملون معظم تكلفة سياسة رفض فظّة

التصحيح والتقسيم إلى شرائح وما يوقف الإصدار

تصحيح السلامة أصعب من تصحيح الجودة لأن الحكم فيه موضع خلاف وتكلفة التصنيف الخاطئ غير متماثلة. استخدم معايير صريحة مكتوبة من سياستك بدل سؤال عام عن كون الشيء آمنًا، وتحقّق من النموذج كحَكَم (LLM-as-judge) مقابل تصنيفات بشرية على مجموعة تتضمن عن قصد حالات حدّية، ووجّه كل ما لا يكون الحَكَم متأكدًا منه إلى إنسان — فالإنذارات الفائتة (False negatives) هي الاتجاه المكلف هنا، لذا انحز بالعتبة تبعًا لذلك. قسّم النتائج إلى شرائح حسب فئة المستخدمين واللغة والموضوع، لأن المعدّل الإجمالي يخفي تحديدًا التفاوت الأهم: النظام الذي يتصرف جيدًا إجمالًا وسيئًا مع فئة واحدة لديه فشل في الإنصاف لن يظهره المتوسط أبدًا. ثم اجعل البوابات صريحة. معايير السلامة أوضح مرشّح لبوابة صارمة، والحد الأدنى لكل شريحة لا للإجمالي فقط هو ما يمنع إطلاق مكسب إجمالي صغير دُفع ثمنه بخسارة كبيرة لدى فئة واحدة.

  • صحّح وفق معايير سياسة مكتوبة، لا وفق سؤال عام عن السلامة
  • تحقّق من حَكَم السلامة على تصنيفات بشرية تتضمن حالات حدّية
  • انحز نحو التصعيد — فالإنذار الفائت يكلّف أكثر من إنذار كاذب تمت مراجعته
  • قسّم حسب الفئة واللغة والموضوع؛ فالإجماليات تخفي التفاوت
  • ضع بوابة صارمة على السلامة بحد أدنى لكل شريحة، لا على المعدّل الإجمالي فقط
✎ أنهيت الوحدة!
اختبر نفسك في «معايير القياس والتراجع والتشغيل الفعلي» ←