مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

الاستجابة حين يكون الإخفاق في النموذج

⁧لا يوجد تصحيح تنتظره — أزل المدخلات وأغلق القدرة⁩⁧سيتصرّف النموذج بالطريقة نفسها في السياق نفسه؛ ما تغيّر هو ما وصل إليه وما كان بوسعه فعله⁩⁧اعزل المضيف — لا يوجد مضيف⁩⁧قلّص أدوات الوكيل أو اسحبها⁩⁧أوقف العملية — ستتكرر⁩⁧اعزل مصدر المحتوى⁩⁧رقّع الملف التنفيذي — لا تصحيح موجود⁩⁧أغلق مسار القدرة⁩⁧الاحتواء⁩⁧· قلّص الأدوات أو اسحبها أولًا⁩⁧· ألغِ بيانات اعتماد الوكيل —⁩ ⁧فكل نطاقها كان متاحًا⁩⁧· عطّل أو ارجع إلى⁩ ⁧وضع مقيَّد⁩⁧· اقطع الاتصال الخارجي⁩ ⁧إلى الوجهات المعنية⁩⁧· أوقف القراءة والكتابة⁩ ⁧في ذاكرة النطاقات المتأثرة⁩⁧تحديد النطاق⁩⁧· حدّد السمة المميّزة:⁩ ⁧مستند، مقطع، تسلسل، وجهة⁩⁧· كل تشغيل لامسها⁩ ⁧ضمن النطاق، بضرر ظاهر أو بدونه⁩⁧· عُد بالنافذة إلى وقت إمكان⁩ ⁧زرع المحتوى —⁩ ⁧لا إلى تاريخ البلاغ⁩⁧· اربط التشغيلات بالمستخدمين والبيانات⁩ ⁧المقروءة والمكتوبة والمسرَّبة⁩⁧الاستئصال⁩⁧· أزل المصدر وكل⁩ ⁧ما اشتُق منه: التضمينات⁩ ⁧والذاكرة المؤقتة والملخصات والذاكرة⁩⁧· طهّر الذاكرة الملوّثة⁩ ⁧حسب المصدر؛ وتحقّق من التطهير⁩⁧· تراجع عن تغييرات التعليمات⁩ ⁧أو الإعدادات التي أدخلتها⁩⁧· ثم أغلق المسار: قلّص،⁩ ⁧حدّد النطاق، امنع، ضع بوابة⁩⁧التعافي⁩⁧· استعادة مرحلية: قدرات⁩ ⁧أقل ومراقبة أكثر⁩⁧· تحقّق بعلامات غير ضارّة:⁩ ⁧المسار يفشل، لا مجرد⁩ ⁧المحاولة الأصلية⁩⁧· اشرح التلاعب عبر المحتوى⁩ ⁧بوضوح⁩⁧· الالتزامات تتبع البيانات⁩ ⁧التي وُصل إليها، لا أسلوب الهجوم⁩⁧تغيير عائلة النموذج أو إصداره ليس علاجًا⁩⁧قد يكون أحيانًا جزءًا من الاستجابة، ونادرًا ما يكون الحل وحده — فالترقية تترك مسار القدرة نفسه مفتوحًا للنموذج التالي⁩⁧احتوِ القدرة، اعزل المدخلات، حدّد النطاق من السجلات، تحقّق من إغلاق المسار⁩⁧التشغيل المخترَق يمكنه استخدام كل ما في نطاق بيانات اعتماده — افترض أنه فعل حتى تثبت السجلات العكس⁩
⁧حين يكون المكوّن المعطوب نموذجًا فلا شيء لترقيعه: احتوِ بتقليص القدرة، واعزل المحتوى الذي أطلق الحادثة، وحدّد النطاق من السجلات رجوعًا إلى وقت الزرع، وأغلق مسار القدرة.⁩

إجراءات الاحتواء المتاحة هنا

إجراءات الاحتواء المألوفة لا تنطبق بسلاسة: لا يوجد خادم لعزله ولا عملية لإنهائها، والمكوّن الذي أساء التصرف سيتصرف بالطريقة نفسها مجددًا إن تلقّى السياق نفسه. الإجراءات المتاحة تتعلق بالقدرات والمدخلات. اسحب أدوات الوكيل أو ضيّقها، وهذا أسرع طريق لإيقاف الضرر الجاري ويجب أن يكون ممكنًا دون عملية نشر. اسحب بيانات الاعتماد التي يحملها الوكيل، مع تذكّر أن تشغيلًا مخترقًا ربما استخدمها في أي شيء ضمن نطاقها. عطّل الميزة أو ارجع إلى وضع مقيّد. اقطع الاتصال الخارجي (Egress) إلى أي وجهة متورطة. اعزل مصدر المحتوى المشتبه به — اسحب المستند، أوقف المزامنة، جمّد مجموعة المستندات — حتى يتوقف وصول المحفّز. وأوقف الكتابة في الذاكرة والقراءة منها للنطاقات المتأثرة، لأن تعليمة محفوظة ستظل تعود إلى السياق بعد احتواء كل ما عداها.

  • ضيّق الأدوات أو اسحبها أولًا — أسرع طريق لإيقاف الأفعال الجارية
  • اسحب بيانات اعتماد الوكيل وافترض أن كل ما في نطاقها كان قابلًا للوصول
  • اعزل المصدر المشتبه به واقطع الاتصال الخارجي إلى الوجهات المتورطة
  • أوقف القراءة من الذاكرة والكتابة فيها، وإلا سيظل المحفّز يعود إلى السياق

تحديد النطاق عبر سجلات التتبع

تحديد النطاق يسأل: أي التشغيلات تأثرت وماذا فعلت؟ ولا يمكن الإجابة عنه إلا من سجلات التتبع. ابدأ من الحالة المؤكدة وحدّد السمة المميّزة — مستند مصدر، أو مقطع مسترجع، أو تسلسل أدوات، أو وجهة — ثم ابحث في كل التشغيلات عن تلك السمة. إن حُدّد مستند مسموم، فكل تشغيل استرجعه داخل في النطاق بصرف النظر عن ظهور ضرر مرئي، ويجب مراجعة كل فعل اتُّخذ في تلك التشغيلات. ولأن الحقن غير المباشر للتعليمات يفصل بين الزرع والتفعيل، مدّ نافذة البحث إلى الوراء حتى اللحظة التي كان يمكن فيها إدخال المحتوى، لا إلى لحظة ظهور العَرَض؛ فحصر النطاق في تاريخ البلاغ هو الخطأ المعتاد هنا. ثم اربط التشغيلات المتأثرة بالمستخدمين والبيانات: بيانات من كانت في السياق، وما الذي أُعيد، وما الذي كُتب، وما الذي خرج عبر حدّ الثقة (Trust boundary). هذا الربط هو ما تقوم عليه قرارات الإخطار والمعالجة.

  • جد السمة المميّزة، ثم ابحث عنها في كل التشغيلات
  • كل تشغيل استرجع المحتوى المسموم داخل في النطاق، سواء ظهر الضرر أم لا
  • مدّ النافذة إلى الوراء حتى اللحظة التي كان يمكن فيها زرع المحتوى
  • اربط التشغيلات المتأثرة بالمستخدمين والبيانات المُعادة والمكتوبة والتي خرجت

الاستئصال دون ترقيع

لا يمكنك ترقيع النموذج، وهذا يعيد تعريف الاستئصال. في معظم الحالات تصرّف النموذج تمامًا كما يتصرف دائمًا؛ ما تغيّر هو ما وصل إليه وما سُمح له بفعله. لذا فالاستئصال يعني إزالة المدخل وإغلاق القدرة. أزِل المحتوى المسموم من مجموعة المستندات ومن كل ناتج مشتق منه — التضمينات (Embeddings)، والذاكرات المؤقتة، والملخصات، ومدخلات الذاكرة — لأن تنظيف المصدر مع بقاء ملخص منه هو الإخفاق الذي يجعل التنظيف يبدو مكتملًا. طهّر الذاكرة الملوّثة حسب مصدرها. تراجع عن تغييرات التعليمات أو التهيئة إن كان المحفّز قد أُدخل من خلالها. ثم أغلق مسار القدرة: ضيّق الأداة، وطبّق النطاق، وامنع الاتصال الخارجي، وأضف بوابة الموافقة. تغيير عائلة النموذج أو إصداره جزء من الاستجابة أحيانًا لكنه نادرًا ما يكون الإصلاح وحده، واعتبار الترقية معالجةً يترك المسار نفسه مفتوحًا للنموذج التالي.

  • النموذج غالبًا لم يتغيّر؛ المدخلات والصلاحيات هي موضع الإصلاح
  • أزِل النواتج المشتقة إلى جانب المصادر — التضمينات والذاكرات المؤقتة والملخصات والذاكرة
  • طهّر الذاكرة الملوّثة حسب مصدرها، وتحقّق من التطهير
  • تغيير إصدار النموذج ليس معالجة لمسار قدرة تُرك مفتوحًا

التعافي والتحقق والتواصل

أعِد الميزة على مراحل: قدرات مخفّضة أولًا، ومراقبة مشدّدة، وفترة محدّدة قبل الاستعادة الكاملة. تحقّق باستخدام علامات غير ضارة نفسها المستخدمة في الاختبار — أعد تشغيل المسار الذي ثبت وجوده وتأكد أنه يفشل الآن، بدلًا من التأكد من أن المحاولة بعينها لم تعد تعمل، فهذان ادعاءان مختلفان. ويجب إعداد التواصل لجمهور يجد هذا الأمر غير مألوف: اشرح أن النظام تعرّض للتلاعب عبر محتوى عالجه لا للاختراق بالمعنى التقليدي، وكن دقيقًا بشأن البيانات التي وُصل إليها فعلًا، وتجنّب وصف خاصية بنيوية بأنها عيب منفرد. وحيث كُشفت بيانات، فالالتزامات تتبع البيانات لا الآلية — فالواجبات التنظيمية لا تكترث بأن ناقل الهجوم كان تعليمات (Prompt). واحتفظ بأدلة سجلات التتبع سليمة ومضبوطة الوصول، لأنها تحتوي البيانات نفسها التي شملتها الحادثة.

  • أعِد الميزة على مراحل بقدرات مخفّضة ومراقبة مشدّدة
  • تحقّق من أن المسار مغلق، لا أن محاولة واحدة باتت تفشل
  • اشرح التلاعب عبر المحتوى بوضوح؛ وتجنّب تصوير المشكلات البنيوية كعيوب منفردة
  • التزامات الإفصاح تتبع البيانات التي وُصل إليها، لا جِدّة ناقل الهجوم

جرّبها بنفسك

النتيجة التي تُغلق دون اختبار تعود للانفتاح بصمت، وخطة الاستجابة المكتوبة أثناء الحادثة تُكتب تحت الضغط. هذا التمرين ينتج الاثنين من نتيجة واحدة.

◆ جرّبها بنفسك

خذ نتيجة واحدة — من اختباراتك، أو من حادثة في مؤسستك، أو فئة منشورة من النتائج تطابق بنيتك — ونفّذ أمرين لميزة ذكاء اصطناعي تشغّلها مؤسستك أو تصمّمها. أولًا، اكتبها اختبار انحدار يتحقق من سجل التتبع لا من نص المخرجات: ألا يظهر استدعاء أداة عالية الصلاحية في تشغيل استوعب محتوى من مصدر خارجي، وألا يصل سجل كناري إلى أي وجهة، وألا يذهب أي طلب إلى مضيف خارج قائمة السماح. اجعله ثابتًا يُتحقق منه عبر تشغيلات متكررة، وقرّر هل يوقف البناء أم يرفع طلب مراجعة. ثانيًا، اكتب خطوات الاستجابة للحالة التي يكون فيها المكوّن المُخفِق هو النموذج: أي الأدوات ستضيّقها أولًا وهل يمكن ذلك دون عملية نشر، وأي بيانات اعتماد ستسحبها، وأي مصدر محتوى ستعزله، وإلى أي مدى ستمدّ البحث في سجلات التتبع إلى الوراء بما أن الزرع والتفعيل منفصلان زمنيًا، وأي النواتج المشتقة — التضمينات، والذاكرات المؤقتة، والملخصات، ومدخلات الذاكرة — يجب أن يشملها التطهير. شغّل الاختبار فقط على نظام تملكه أو لديك تصريح كتابي باختباره، في بيئة غير إنتاجية مهيّأة مثل بيئة التشغيل الفعلي ببيانات اصطناعية وحسابات مخصّصة، مستخدمًا علامات غير ضارة لا ضررًا حقيقيًا. وإن لم تكن مؤسستك تشغّل أي ميزة ذكاء اصطناعي بعد، فاكتب الأمرين لميزة ذكاء اصطناعي في منتج تستخدمه، وعلّم كل خطوة لم تستطع تنفيذها بنفسك على أنها اعتماد على ذلك المورّد.

النتيجة: [ما يحققه المهاجم، وضدّ من]
الشرط المطلوب اختباره، لا المحاولة: [الخاصية التي يجب أن تتحقق دائمًا]

اختبار الانحدار
  يتحقق من: [حقل في سجل التتبع — الأدوات المستدعاة، الهوية المنفِّذة، الوجهة التي تم الاتصال بها]
  عدد التشغيلات لكل تغيير: [n]   التسامح: [صفر حالات / عتبة + متابعة الاتجاه]
  البيئة: [غير إنتاجية، بيانات اصطناعية، ضوابط الحماية كما هي منشورة]
  عند الفشل: [إيقاف البناء / رفع طلب مراجعة]

إن انطلق هذا في بيئة التشغيل الفعلي
  ما يُضيَّق أو يُسحب أولًا: [الأدوات]   هل يتطلب عملية نشر؟ [نعم/لا]
  بيانات الاعتماد المطلوب سحبها:
  المصدر المطلوب عزله:
  نافذة البحث في سجلات التتبع: إلى الوراء حتى [اللحظة التي كان يمكن فيها زرع المحتوى]
  النواتج المشتقة المطلوب تطهيرها: التضمينات / الذاكرات المؤقتة / الملخصات / الذاكرة
  يُعدّ مغلقًا حين: [يفشل المسار، لا المحاولة الأصلية فقط]
كيف تعرف أنها نجحت
  • الاختبار يتحقق من حقل في سجل التتبع، وسيظل يعني الشيء نفسه بعد تغيير النموذج أو التعليمات
  • التحقق يغطي تشغيلات متكررة، وقد قرّرت هل يوقف البناء أم يرفع طلب مراجعة
  • خطوات الاستجابة تسمّي إجراء احتواء لا يحتاج عملية نشر، وتطهيرًا يشمل النواتج المشتقة إلى جانب المصدر