مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

الحقن غير المباشر وجرد قنوات الإدخال

⁧المهاجم لا يسجّل الدخول أبدًا — يزرع المحتوى وينتظر⁩⁧الدفاع يبدأ بجرد كل مسار يصل عبره المحتوى إلى النموذج⁩⁧جرد مسارات الإدخال — أطول مما تتوقع⁩⁧المستندات المسترجعة + بياناتها الوصفية⁩⁧صفحات ويب تجلبها أداة التصفح⁩⁧نصوص البريد ومرفقاته وترويساته⁩⁧عناوين التذاكر وتعليقاتها وحقولها⁩⁧ملفات المستودع والإيداعات ومخرجات CI⁩⁧دعوات التقويم وملاحظاته⁩⁧أسماء الملفات والنص البديل وخصائص المستند⁩⁧ردود أدوات الطرف الثالث + أخطاؤها⁩⁧محتوى مستخدم في جلسة مستخدم آخر⁩⁧نصوص الصوت / الفيديو والترجمات⁩⁧نافذة السياق + النموذج⁩⁧يعمل لصالح أيّ جهة⁩⁧يخدمها النظام الآن⁩⁧كل قناة يقرؤها النموذج⁩⁧هي قناة تعليمات⁩⁧يُزرع قبل التنفيذ بوقت طويل — ولا ينشط إلا عند تحقق الشروط⁩⁧زرع المحتوى⁩⁧دون المساس بالمنتج⁩⁧تمرّ أسابيع⁩⁧المراجعات ترى نصًا بريئًا⁩⁧يُطرح سؤال ذو صلة⁩⁧تنشط الحمولة المشروطة⁩⁧يُنفَّذ الإجراء⁩⁧لا شيء يُربط به⁩⁧المسارات غير المباشرة تغسل الثقة عند كل قفزة⁩⁧صفحة معادية⁩⁧خارجية، غير موثوقة⁩⁧أداة التلخيص تقرؤها⁩⁧وتكتب ملاحظة حالة⁩⁧ملخص مخزَّن⁩⁧يبدو الآن داخليًا⁩⁧وكيل يملك أدوات الفوترة⁩⁧ينفّذ بناءً على الملاحظة⁩⁧تتبّع المحتوى إلى الأمام — من يقرؤه بعد ذلك، وبأي صلاحيات؟⁩⁧القناة غير المدرجة قناة غير مختبرة — الجرد هو المُخرَج المطلوب⁩⁧المراجعة بالعيّنات تفوّت الحمولات المشروطة — ضع الكشف عند الأثر: الإجراءات الشاذة والاتصال الخارجي⁩
⁧اجرد كل مسار يدخل منه المحتوى إلى النموذج، وافترض التأخير والشرطية، وضع الكشف عند الأثر لا عند الإدخال.⁩

جرد القنوات هو جوهر العمل

الحقن غير المباشر للتعليمات (Indirect prompt injection) هو الحالة الخطيرة لأن المهاجم لا يلمس منتجك أبدًا: يضع المحتوى حيث سيقرؤه نظامك، والضحية هو من يخدمه النظام في تلك اللحظة. والدفاع يبدأ بجرد يكون عادةً أطول مما تتوقعه الفرق. المستندات المسترجعة وبياناتها الوصفية. صفحات الويب التي تجلبها أداة تصفّح. نصوص رسائل البريد ومرفقاتها وترويساتها. عناوين التذاكر وأوصافها وتعليقاتها. ملفات المستودعات ورسائل الإيداع وتعليقات الكود وملفات تعريف الاعتماديات ومخرجات التكامل المستمر (CI). دعوات التقويم وملاحظاتها. أسماء الملفات والنص البديل للصور وخصائص المستندات. ردود الأدوات من واجهات API تابعة لأطراف ثالثة، بما فيها نصوص الأخطاء. المحتوى الذي يقدّمه مستخدم ويصل إلى جلسة مستخدم آخر. النصوص المفرّغة والتعليقات المصاحبة للصوت أو الفيديو. كل واحدة من هذه قناة تعليمات لأن النموذج يقرؤها، وأي قناة لم تُدرجها هي قناة لا يمكن أن تكون قد اختبرتها.

  • المهاجم لا يسجّل دخوله أبدًا — يضع المحتوى في مكانه وينتظر
  • البيانات الوصفية محسوبة: أسماء الملفات والترويسات والنص البديل وخصائص المستندات ونصوص الأخطاء
  • ردود أدوات الأطراف الثالثة قابلة لتأثير المهاجم إذا كانت بياناتها المصدرية كذلك
  • القناة غير المُدرجة قناة غير مُختبرة — الجرد هو المُخرَج المطلوب
  • يغطي OWASP LLM01 (حقن التعليمات) هذا الشكل غير المباشر صراحةً؛ ويصنّفه MITRE ATLAS ضمن تقنيات حقن التعليمات لديه

التفعيل المؤجَّل والمشروط

خاصيتان تجعلان اختبار الحقن غير المباشر أصعب من هجوم الطلقة الواحدة، وكلتاهما يجب أن تشكّلا تصميم اختباراتك. التأجيل: يُزرع المحتوى قبل قراءته بوقت طويل، فيبقى المستند المسموم في مجموعة المستندات أسابيع، ويقع الهجوم حين يطرح مستخدم ما سؤالًا ذا صلة. لا يوجد ارتباط زمني بين الفعل الخبيث وأي نشاط للمهاجم، وهذا يُفشل استراتيجيات الكشف المبنية على الشذوذ على مستوى الجلسة. الشرطية: يمكن كتابة المحتوى المزروع بحيث لا يعمل إلا في ظروف محددة — حين يُسترجع موضوع معيّن، أو حين تظهر أداة معيّنة في السياق، أو حين يبدو أن القارئ يملك صلاحيات مرتفعة. وهذا يُفشل المراجعة القائمة على العيّنات، لأن المحتوى يتصرّف ببراءة كلما فُحص ولا يتفعّل إلا في الموقف الذي كُتب له. افترض وجود الخاصيتين عند تصميم مراجعة مجموعات المستندات والكشف.

  • الزرع والتفعيل منفصلان زمنيًا، ما يكسر الربط على مستوى الجلسة
  • المحتوى المشروط يبقى بريئًا أثناء المراجعة ولا يتفعّل إلا في موقفه المستهدف
  • أخذ عيّنات من مجموعة المستندات بحثًا عن محتوى عدائي ضعيف أمام الحمولات المشروطة
  • يجب أن يكون الكشف عند الأثر — الأفعال الشاذة والاتصال الخارجي — لا عند الإدخال فقط

المسارات من الدرجة الثانية وعبر المستخدمين

كثيرًا ما يمرّ المحتوى عبر عدة مكوّنات قبل أن يصل إلى النموذج الذي يتصرّف، وكل قفزة فرصة لغسل الثقة. مُلخِّص يقرأ صفحة عدائية ويكتب ملخصًا في مخزن؛ ثم يقرأ الملخص لاحقًا وكيلٌ ذكي لديه أدوات، فيبدو الآن محتوى داخليًا صادرًا عن النظام. وكيل دعم يقرأ رسالة عميل ويكتب ملاحظة على الحالة؛ ثم يقرأ الملاحظة لاحقًا وكيل آخر لديه صلاحية الوصول إلى الفوترة. وكيل مراجعة كود يقرأ طلب دمج (Pull request) فيصبح تعليقه جزءًا من سجل بناء تستهلكه أتمتة أخرى. في كل حالة يضيع المصدر الأصلي عند القفزة الأولى، ولهذا بالضبط يجب أن يصمد المصدر عبر التحويلات. وعند رسم هذه المسارات، تتبّع المحتوى لا الطلب: اسأل أين ينتهي النص، ومن يقرؤه بعد ذلك، وبأي صلاحيات — لا من طرح السؤال الأصلي فقط.

  • كل قفزة تغسل المصدر ما لم يُحمل الوسم عمدًا
  • الملخصات وملاحظات الحالات هي نقاط الغسل التقليدية
  • تتبّع المحتوى إلى الأمام، لا الطلب إلى الخلف
  • اسأل عن صلاحيات القارئ النهائي، لا صاحب الطلب الأصلي