مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.
◆ الآليات

حقن التعليمات بعمق هندسي

⁧قناة واحدة ونوعان من المحتوى — هذه هي فئة الثغرات كلها⁩⁧الفصل الذي يفرضه الاستعلام ذو المعاملات بنيويًا لا مقابل له داخل التعليمات⁩⁧استعلام بمعاملات — فصل بنيوي⁩⁧SELECT … WHERE id = ?⁩⁧القيمة: نص المهاجم⁩⁧القيمة لا يمكن أن تصبح جزءًا من الأمر —⁩⁧فصل تفرضه الواجهة في كل مرة⁩⁧حدّ يمكن أن يعتمد عليه المخطط⁩⁧تعليمات LLM — سلسلة رموز واحدة⁩⁧تعليمات النظام⁩⁧رسالة المستخدم⁩⁧مستند مسترجَع⁩⁧نتيجة أداة⁩⁧سلسلة واحدة بلا تمييز — يستنتج النموذج⁩⁧دور كل جزء من أنماط تعلّمها⁩⁧تسلسل أولوية التعليمات: تفضيل احتمالي، لا قاعدة تحليل صارمة⁩⁧لماذا لا تصلح الفلترة حدًّا أمنيًا⁩⁧تعبير دلالي بلا حدود⁩⁧لا مجموعة أنماط محدودة تغطي كل صياغة⁩⁧الترميز يلتفّ عليها⁩⁧base64، الترجمة، إعادة تجميع الأجزاء، الصور⁩⁧المهاجم يتكيّف⁩⁧يرصد ما يمرّ؛ والفلتر يتأخر عنه⁩⁧أبقِ الفلاتر وسيلة لرفع كلفة الهجوم وتقليل الضجيج — لا أساسًا يعتمد عليه التصميم⁩⁧الحلول الفعّالة حلول معمارية⁩⁧قلّص القدرات⁩⁧أدوات أقل، بلا صلاحيات دائمة⁩⁧افصل الأدوار⁩⁧من يقرأ لا يحمل صلاحيات⁩⁧تحقّق عند المستهلِك⁩⁧بنيويًا لا بالفحص⁩⁧سجلات قابلة لإعادة البناء⁩⁧حدّد نطاق ما يمرّ⁩⁧صمّم كأن الحقن سينجح — النموذج لا يفعل إلا ما تسمح به بيئة التشغيل⁩⁧الضوابط البنيوية وحدها تُرسم حدودًا في مخططك؛ أما الإحصائية فتقلّل الضجيج فقط⁩
⁧الحقن خاصية بنيوية لقناة واحدة تحمل التعليمات والبيانات معًا — لا ترقيع ينفع، فصمّم كأنه سينجح.⁩

لماذا لا يستطيع النموذج الفصل بين التعليمات والبيانات

الفصل الذي يحمي استعلام قاعدة البيانات المُعامَل (Parameterised query) فصلٌ بنيوي: القيمة تنتقل في خانة مختلفة عن الأمر، والمحلّل لا يعامل أحدهما على أنه الآخر أبدًا. أما النموذج اللغوي فليس فيه خانة مماثلة. كل شيء — تعليمات النظام (System prompt) والمحادثة والمستندات المسترجعة ونتائج الأدوات — يتحوّل إلى سلسلة رموز واحدة، ويستنتج النموذج دور كل جزء من أنماط تعلّمها أثناء التدريب. هذا الاستنتاج جيد في الغالب، لكنه ليس مضمونًا أبدًا. يدرّب المزوّدون النماذج على تسلسل هرمي للتعليمات بحيث يُعطى محتوى النظام وزنًا أعلى من محتوى المستخدم، وهذا يساعد بشكل ملموس، لكنه تفضيل مُتعلَّم يُعبَّر عنه بالاحتمالات لا قاعدة مفروضة، والنص الذي يشبه بإقناع محتوى ذا أولوية أعلى قادر على تغيير النتيجة. فهم ذلك بدقة مهم لأنه يخبرك أي الدفاعات بنيوية وأيها إحصائية، والبنيوية وحدها هي التي تستحق أن تُرسم على المخطط حدًّا.

  • لا توجد خانة بنيوية تفصل التعليمات عن البيانات؛ كل شيء سلسلة رموز واحدة
  • التسلسل الهرمي للتعليمات مُتعلَّم واحتمالي، لا يفرضه محلّل
  • يستنتج النموذج الأدوار من الأنماط — والنص المقنع قادر على تغيير هذا الاستنتاج
  • ميّز بين الضوابط البنيوية والإحصائية عند رسم الحدود
  • في الخرائط المعيارية: هذا هو OWASP LLM01 (حقن التعليمات) — اختصار مفيد في مراجعات التصميم والنقاشات مع الموردين

لماذا تفشل فلترة المدخلات وحدها

فلترة التعليمات العدائية من المدخلات هي الفكرة الأولى لدى كل فريق، وهي تفشل لأسباب تستحق أن تُذكر بدقة لا أن تُرفض باستخفاف. فضاء العبارات التي تحمل تعليمة غير محدود ودلالي: لا توجد مجموعة أنماط منتهية تغطي كل طريقة لقول ما تريد من النموذج فعله، عبر اللغات والصياغات غير المباشرة والتلطّف والتأطير. والترميز يوسّع الفجوة أكثر، إذ يمكن أن يصل المحتوى مرمّزًا بـ base64، أو مترجمًا، أو مقسّمًا على أجزاء يُعاد تجميعها داخل السياق، أو مضمّنًا في صورة أو مستند يقرؤه النموذج. ثم إن الفلتر يواجه مهاجمًا متكيّفًا يستطيع أن يرى أي الصياغات تمرّ. المصنِّف الدلالي أفضل من مطابقة الأنماط، لكنه نموذج له معدّل خطأ خاص به ويعمل على السؤال ذاته غير القابل للحسم. الفلترة أداة مفيدة لتقليل الضجيج ترفع كلفة الهجوم، لكنها ليست حدًّا، ولا يحوّلها أي قدر من الضبط إلى حدّ.

  • التعبير عن التعليمات غير محدود ودلالي — لا تغطيه مجموعة أنماط منتهية
  • الترميز والترجمة وإعادة تجميع الأجزاء والإيصال متعدد الوسائط كلها تلتفّ على الفلاتر السطحية
  • المهاجم يتكيّف بمراقبة ما يمرّ؛ والفلتر لا يتكيّف بالسرعة نفسها
  • عامِل الفلترة وسيلةً لتقليل الضجيج ورفع الكلفة، لا حدًّا للثقة أبدًا

الحقن المباشر وما الغرض الحقيقي منه

كثيرًا ما يُصنَّف الحقن المباشر — أي أن يقدّم المستخدم نفسه تعليمات تهدف إلى تجاوز تعليمات النظام — على أنه منخفض الخطورة بحجة أن المستخدم لا يضرّ إلا نفسه. هذا المنطق لا يصحّ إلا في سياق مستأجر واحد ومستخدم واحد، وهو ينهار في عدة حالات شائعة. إذا كانت تعليمات النظام تتضمن منطق عمل مثل قواعد التسعير أو معايير الأهلية أو صلاحية منح الخصومات، فإن تجاوزها التفافٌ على منطق العمل. وإذا كانت جلسة المستخدم قادرة على الكتابة في حالة مشتركة — مجموعة مستندات، أو مخزن ذاكرة، أو طابور تذاكر، أو ملخص يقرؤه شخص آخر — فإن الأثر يعبر إلى مستخدمين آخرين. وإذا كانت مخرجات المساعد موثوقة في المراحل اللاحقة كأنها صادرة عن النظام، فإن النموذج المُخترَق يصبح وسيلة لحقن محتوى في قناة موثوقة. واستخراج تعليمات النظام مشكلة سرّية حقيقية عندما تحتوي على سياسات داخلية أو عتبات أو قائمة الأدوات التي كان على المهاجم أن يخمّنها لولا ذلك.

  • منخفض الخطورة فقط حين ينتهي نطاق الضرر فعلًا عند المستخدم الفاعل
  • تعليمات النظام التي تحمل قواعد عمل تجعل تجاوزها التفافًا على منطق العمل
  • أي كتابة في حالة مشتركة تنقل الأثر عبر حدود المستخدم
  • استخراج التعليمات يسرّب السياسات والعتبات وقائمة الأدوات

ما الذي يقلّل المخاطر فعلًا

لأن الآلية معمارية، فالاستجابات الفعّالة معمارية أيضًا. قلّص ما يستطيع النموذج المُقنَع فعله: أدوات أقل، ونطاقات أضيق، ولا بيانات اعتماد دائمة، ولا فعل لا رجعة فيه دون تحقّق مستقل. افصل الأدوار بحيث لا يكون المكوّن المعرّض للمحتوى غير الموثوق هو المكوّن الذي يملك الصلاحيات — فالمخطِّط الذي لا يرى النص المسترجع أبدًا، مع منفّذ لا يستطيع تعديل الخطة، أقوى من أي فلتر، لأن القيد مفروض خارج النموذج. تحقّق من المخرجات بنيويًا حيث تُستهلك، حتى لا يمكن توجيه رابط معروض أو أمر مُحلَّل أو محلّل لاحق بنص حرّ. وحافظ على القدرة على إعادة بناء أي قرار، حتى تستطيع تحديد نطاق ما يتسلّل حين يحدث ذلك. الفلترة والفواصل ما زال لها مكان فوق كل ذلك؛ لكنها لا يمكن أن تكون الأساس الذي يعتمد عليه التصميم.

  • قلّص القدرات أولًا — النموذج المُقنَع لا يفعل إلا ما تسمح به بيئة التشغيل
  • افصل المكوّن الذي يقرأ المحتوى غير الموثوق عن المكوّن الذي يملك الصلاحيات
  • تحقّق عند كل مستهلك لمخرجات النموذج، بنيويًا لا بالفحص البصري
  • احتفظ بسجلات تتبّع قابلة لإعادة البناء حتى يُحدَّد نطاق أي اختراق بدل تخمينه