مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

سطح الهجوم الأمني للوكلاء

⁧الوكيل⁩⁧حقن التعليمات⁩⁧عبر البيانات المسترجعة⁩⁧تسميم الأدوات⁩⁧خادم MCP خبيث⁩⁧النائب المرتبك⁩⁧إساءة استخدام الصلاحيات⁩⁧تلوّث السياق⁩⁧استغلال الذاكرة الدائمة⁩⁧التحرك الجانبي⁩⁧تصعيد من وكيل إلى وكيل⁩
⁧سطح الهجوم الوكيلي — كل اتصال منفذ هجوم محتمل⁩

حقن التعليمات يكتسب أنيابًا

في روبوت المحادثة، ينتج حقن التعليمات (Prompt injection) إجابة سيئة. وفي الوكيل، ينتج أفعالًا سيئة — فالحلقة نفسها التي تتيح للنموذج التأثير في العالم تتيح للمهاجم التأثير من خلاله. والفكرة الحاسمة أن الحقن نادرًا ما يأتي من المستخدم: إنه يصل عبر خطوة الملاحظة. فأي محتوى يقرؤه الوكيل — صفحة ويب، أو بريد إلكتروني، أو تذكرة، أو ملف README في مستودع، أو نتيجة أداة — قناة تعليمات محتملة، لأن النماذج لا تستطيع التمييز بشكل موثوق بين «بيانات أُعطيت لي لأعالجها» و«تعليمات ينبغي أن أتبعها». ونمط الخطر المعياري هو اجتماع ثلاث خصائص: الوصول إلى بيانات خاصة، والتعرّض لمحتوى غير موثوق، والقدرة على التواصل خارجيًا. والوكيل الذي يجمع الثلاث يمكن تحويله إلى آلة لتسريب البيانات بفقرة واحدة موضوعة بإحكام. أزِل ضلعًا واحدًا على الأقل أو ضع عليه بوابة، لأنه لا يوجد دفاع على مستوى التعليمات يصمد وحده بشكل موثوق.

  • الحقن المباشر يأتي من المستخدم؛ والحقن غير المباشر للتعليمات يتسلل مع أي شيء يقرؤه الوكيل
  • كل نتيجة أداة مدخلات غير موثوقة تعود إلى سياق الاستدلال
  • الثلاثي القاتل: بيانات خاصة + محتوى غير موثوق + تواصل خارجي في وكيل واحد
  • «تجاهل التعليمات السابقة» هي النسخة البدائية — الحمولات الحقيقية سياقية ومهذبة

النائب المخدوع وتسميم الأدوات

النائب المخدوع (Confused deputy) إخفاق أمني كلاسيكي له حدّ حاد في عالم الوكلاء: وسيط ذو صلاحيات يُخدع لاستخدام سلطته لمصلحة مهاجم. والوكيل نائبٌ بطبيعة بنائه — يعمل ببيانات اعتماد المستخدم وصلاحياته، وأي تعليمات محقونة تُنفَّذ بتلك السلطة المستعارة. المهاجم لا يلمس مفاتيح API الخاصة بك أبدًا؛ بل يقنع الكيان الذي يحملها بشكل مشروع. أما تسميم الأدوات (Tool poisoning) فيهاجم سلسلة الإمداد بدلًا من ذلك: لأن النموذج يستهلك أوصاف الأدوات كسياق موثوق، يستطيع خادم MCP خبيث أو مخترق أن يضمّن توجيهات خفية في بياناته الوصفية — تعليمات لا تُرى في مراجعة عابرة لكن النموذج يتبعها. ومن صوره «سحب البساط» (Rug pull)، حين يتصرف خادم بشكل لا تشوبه شائبة حتى ينتشر تبنّيه ثم يبدّل تعريفاته في منتصف الجلسة، و«التظليل عبر الأدوات»، حين يتلاعب وصف أداة عدائية واحدة بطريقة استخدام الوكيل لأدوات أخرى نزيهة.

  • السلطة المشروعة للوكيل هي السلاح — الهجمات تستعيرها بدل أن تسرقها
  • أوصاف الأدوات محتوى تعليمات من طرف ثالث: دقّق فيها كما تدقّق في كود قابل للتنفيذ
  • سحب البساط: خادم موثوق يغيّر سلوكه بعد التبنّي — ثبّت الإصدارات وراجعها
  • أداة مسمومة واحدة يمكنها إفساد استخدام الوكيل لكل أداة أخرى في الجلسة

تلوّث الذاكرة

الاستمرارية تحوّل الهجوم العابر إلى عدوى. فالوكلاء تحمل بشكل متزايد حالةً عبر الجلسات — ملفات مسودات وذاكرة مخزّنة وفهارس استرجاع وتفضيلات مكتسبة — وكل مخزن منها قابل للكتابة، مباشرةً أو بشكل غير مباشر، بمحتوى عالجه الوكيل. والتعليمات المحقونة التي تقول «تذكّر هذا» تصبح أمرًا دائمًا: تختفي الحمولة الخبيثة من السياق، لكن أثرها يعود إلى كل جلسة لاحقة كذاكرة موثوقة، بعد حذف المستند العدائي بوقت طويل. والذاكرة المدعومة بالاسترجاع توسّع الباب — فتسميم المدوّنة التي يسترجع منها الوكيل يزرع حمولات تظهر عند الموضوع الذي يختاره المهاجم. وهذا يكسر الافتراض المريح بأن كل جلسة تبدأ نظيفة، ويجعل تتبّع المصدر (Provenance) متطلبًا من الدرجة الأولى: الذاكرة المكتوبة تحت تأثير محتوى غير موثوق هي نفسها غير موثوقة، وينبغي أن تكون ذاكرة الوكيل قابلة للفحص والإسناد والإلغاء كأي مخزن آخر ذي صلاحيات.

  • الحقن المحصور في الجلسة ينتهي بانتهائها؛ والحقن المحصور في الذاكرة يتراكم
  • تتبّع المصدر: ما الذي كتب كل ذاكرة، وما المحتوى الذي كان في السياق حين كتبها
  • مدوّنات الاسترجاع ذاكرة أيضًا — والمستندات المسمومة حقنٌ مؤجل التفجير
  • وفّر مسار «نسيان» فعّالًا: الذاكرة الملوّثة التي لا تستطيع استئصالها باب خلفي دائم

الدفاع: أقل الصلاحيات والبيئات المعزولة والبوابات

لا توجد تقنية حالية تجعل النموذج محصّنًا بشكل موثوق ضد الحقن، لذا يفترض الدفاع الفعّال وقوع الاختراق ويقيّد نطاق الضرر — وهو موقف مألوف: انعدام الثقة (Zero trust) مطبّقًا على نوع جديد من المطّلعين من الداخل. يأتي مبدأ أقل الصلاحيات أولًا: يحصل الوكيل على أضيق مجموعة أدوات ونطاقات تسمح بها المهمة، للقراءة فقط حيث تكفي القراءة، وبيانات اعتماد لكل مهمة بدل بيانات اعتماد دائمة. والبيئة المعزولة (Sandbox) تحصر التنفيذ — عمليات الكود والملفات داخل حاويات بنطاق صريح لنظام الملفات ورفض افتراضي للاتصال الخارجي (Egress)، بحيث لا يستطيع حتى وكيل مختطف بالكامل الوصول إلى ما تستبعده البيئة المعزولة. وبوابات الموافقة تضع قرارًا بشريًا على المجموعة التي لا رجعة فيها: الإرسال والحذف والدفع والنشر. ضع البوابات وفق العواقب لا وفق التكرار — فبوابة على كل شيء تعلّم النقر التلقائي، وهذه ليست بوابة أصلًا. وأضف فوق ذلك طبقات: انزع محتوى نتائج الأدوات المريب أو حيّده، وراقب تسلسلات الأفعال الشاذة، وتدرّب على مسار الاستجابة للحوادث لليوم الذي يُقنَع فيه أحدهم بتجاوز بوابة.

  • افترض أن النموذج يمكن قلبه؛ وهندِس النظام بحيث لا يجد النموذج المقلوب مكانًا يذهب إليه
  • بيانات الاعتماد المحددة النطاق لكل مهمة أفضل من الدائمة الواسعة — انتهاء الصلاحية ضابط أمني
  • بيئة معزولة برفض افتراضي للاتصال الخارجي: التسريب يحتاج إلى قناة، فارفض توفيرها
  • احجز الموافقة البشرية للأفعال التي لا رجعة فيها؛ إرهاق الموافقات فئة ثغرات بحد ذاتها
  • دورة «تأمين أنظمة الذكاء الاصطناعي» تذهب أبعد: نمذجة التهديدات، وتصنيف كسر القيود (Jailbreak)، وضوابط التحصين، وتنفيذ تمرين مصرّح به للفريق الأحمر (Red team)

كيف ينطبق هذا عليّ؟

مستخدم عام

يمكن التلاعب بالوكيل الذكي عبر المحتوى الذي يقرؤه، لا عبر الشخص الذي يوجّهه فقط. فبريد إلكتروني أو صفحة ويب خبيثة قد تحمل تعليمات خفية قد يتبعها الوكيل بصلاحياتك أنت — لذا فالضمانات المحيطة بالوكيل مهمة بقدر أهمية النموذج داخله.

  • أي شيء يقرؤه الوكيل قناة تعليمات محتملة، لا مجرد بيانات خاملة
  • امنح الوكلاء أضيق وصول يؤدي الغرض، وفضّل الصلاحيات المؤقتة القابلة للإلغاء
  • طلبات التأكيد قبل الأفعال المؤثرة هي شبكة الأمان — اقرأها قبل النقر
متخصص أمن

يتطابق الذكاء الاصطناعي الوكيلي مع أُطر يستخدمها فريقك الأمني بالفعل: الحقن، والنائب المخدوع، وسلسلة الإمداد، والاستمرارية. وتقييم مخاطر الوكلاء من خلال هذه العدسة — مع ثلاثي البيانات الخاصة والمحتوى غير الموثوق والتواصل الخارجي — يحوّل خوفًا مبهمًا إلى تقييم قابل للتنفيذ.

  • ابدأ بالثلاثي: أي الوكلاء تجمع الوصول إلى بيانات خاصة ومدخلات غير موثوقة وقناة خارجية؟ هذه قائمة الأولويات
  • خوادم MCP سلسلة إمداد: اسأل كيف تُراجَع أوصاف الأدوات، وكيف تُثبَّت الإصدارات، وكيف يُكتشف سحب البساط
  • الذاكرة الدائمة آلية استمرارية — اسأل كيف تُسنَد عمليات الكتابة في الذاكرة وكيف سيُطهَّر التلوّث
  • افحص جودة بوابات الموافقة: البوابات على كل شيء تعني الإرهاق؛ اسأل ما الذي تحميه البوابات فعلًا وما معدل النقر التلقائي
  • السؤال الذي يميّز المورّدين: «أرني سجل التدقيق لفعل نفّذه وكيل تحت تعليمات محقونة»
مطوّر

صمّم كأن الحقن سينجح، لأنه سينجح أحيانًا. مهمتك ليست تعليمات نظام ذكية — بل بنية لا يبلغ فيها النموذج المختطف إلا أدنى مدى: أدوات محددة النطاق، وتنفيذ في بيئة معزولة، وبوابات على الأفعال التي لا رجعة فيها، وذاكرة قابلة للإسناد.

  • اكسر الثلاثي بنيويًا: الوكلاء التي تلمس محتوى غير موثوق لا تحصل على اتصال خارجي واسع؛ والوكلاء ذات الاتصال الخارجي لا تحصل على أسرار
  • افرض الصلاحيات في طبقة بيئة التشغيل — طلب النموذج بلطف يجب ألا يكون كافيًا
  • سجّل كل استدعاء أداة مع سياق مدخلاته الكامل؛ فالتحقيق الجنائي في الحقن مستحيل بدونه
  • عامل خوادم MCP من أطراف ثالثة كالاعتماديات الخارجية: ثبّت وراجع وراقب تغيّرات التعريفات