مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

حقن التعليمات: التهديد الأبرز

⁧الحقن المباشر⁩⁧المهاجم⁩⁧LLM⁩⁧خطر أقل على المؤسسات⁩⁧(تلاعب مباشر من المستخدم)⁩⁧الحقن غير المباشر⁩⁧سؤال المستخدم⁩⁧LLM⁩⁧يسترجع مستندًا⁩⁧محتوى مسموم⁩⁧تعليمات مخفية في PDF أو صفحة ويب أو بريد⁩⁧LLM ينفّذ تعليمات المهاجم⁩
⁧الحقن غير المباشر هو التهديد العملي الأبرز — الحمولة في البيانات المسترجعة لا في مدخلات المستخدم⁩

المباشر مقابل غير المباشر

المباشر: يكتب المهاجم تعليمات خبيثة في التعليمات (Prompt) مباشرة. غير المباشر: تكون الحمولة الخبيثة مخبّأة في بيانات مسترجعة (مستندات، صفحات ويب، رسائل بريد، مخرجات أدوات) يقرؤها النموذج لاحقًا. وحقن التعليمات (Prompt injection) غير المباشر هو التهديد العملي الأبرز في بيئات المؤسسات.

لماذا غير المباشر أسوأ

المستخدم لم يرتكب أي خطأ. كل ما فعله أنه طلب من الوكيل الذكي (Agent) تلخيص مستند — وكان المستند مسمومًا. والدفاع يتطلّب معاملة كل محتوى مسترجع على أنه غير موثوق، بما في ذلك المحتوى القادم من أنظمتك أنت.

الثلاثي القاتل

نموذج ذهني مفيد لمعرفة متى يتحوّل الحقن إلى تسريب بيانات: يصبح الوكيل خطيرًا عندما يجمع بين (1) الوصول إلى بيانات خاصة، و(2) التعرّض لمحتوى غير موثوق، و(3) قناة خارجية — أي القدرة على إرسال البيانات إلى مكان يستطيع المهاجم قراءته. أزِل أي ضلع من هذه الأضلاع الثلاثة وستبقى أسوأ النتائج محصورة. لهذا فإن عبارة «الوكيل يقرأ البريد ويتصفّح الويب ويصل إلى نظام إدارة علاقات العملاء (CRM)» يجب أن تستدعي مراجعة للبنية، لا احتفالًا بميزة جديدة. ومن يستطيع رسم هذا الثلاثي على السبّورة سيقيّم أي نشر لوكيل ذكي أسرع بكثير ممن يقرأ من قائمة مزايا.

بنية الحماية في المؤسسة

دفاع متعدد الطبقات: (1) تنقية المدخلات — حذف الأنماط الشبيهة بالتعليمات أو تحييدها قبل وصولها إلى سياق النموذج. (2) فصل الصلاحيات — الوكيل الذي يقرأ مستندات خارجية يجب ألا يملك أيضًا أدوات عالية الصلاحية مثل إدارة الحسابات أو تصدير البيانات. (3) التحقق من المخرجات — حصر مخرجات الوكيل في صيغ منظّمة؛ فاستدعاءات الأدوات الحرّة الصادرة عن الوكيل أخطر من الاستدعاءات المتحقَّق منها وفق مخطط محدد. (4) النموذج حَكَمًا — نموذج ثانٍ أو طبقة قواعد تتحقق من أن أفعال الوكيل تطابق نية المستخدم الأصلية. (5) سجلات التدقيق — تتبّع كامل للمحتوى المسترجع ومدخلات النموذج واستدعاءات الأدوات، حتى يمكن إعادة بناء أي عملية حقن جنائيًا.

أسئلة تُطرح قبل النشر

كيف تحدّدون خوادم MCP أو الأدوات المسموح لوكلائكم باستدعائها؟ عندما يقرأ وكيلكم بريدًا أو مستندًا، هل يُعامَل هذا المحتوى كمدخل موثوق أم غير موثوق؟ هل تسجّلون نافذة السياق (Context window) كاملة لجلسات الوكيل — لا سؤال المستخدم فقط، بل المحتوى المسترجع ونتائج الأدوات أيضًا؟ هذه الأسئلة تكشف مدى التعرّض لحقن التعليمات قبل أن يتحوّل إلى حادثة.