مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

تلوّث الذاكرة والسياق

⁧ينتهي الهجوم؛ ويبقى أثره⁩⁧إذا استطاع محتوى غير موثوق أن يُحدث كتابة في الذاكرة، يصبح حقن واحد ناجح حالة دائمة⁩⁧الجلسة 1 — الحدث⁩⁧مستند⁩⁧معادٍ⁩⁧النموذج⁩⁧كتابة في الذاكرة⁩⁧حُذف المستند⁩⁧أُغلقت الجلسة⁩⁧اختفى الأثر⁩⁧الجلسات 2 … N — الحالة⁩⁧مخزن الذاكرة⁩⁧يدخل السياق بوصفه⁩⁧خلفية موثوقة⁩⁧يوجّه⁩⁧الإجراءات⁩⁧الأثر المتبقي يعود وكأنه محتوى داخلي من إنتاج النظام⁩⁧من يقرأ المخزن يحدّد الخطورة⁩⁧ذاكرة لكل مستخدم⁩⁧محصورة في صاحبها⁩⁧مخزن مشترك / على مستوى المؤسسة⁩⁧تأثير مستخدم واحد يصل إلى الآخرين⁩⁧فهرس متعدد المستأجرين⁩⁧مسار هجوم عابر للمستأجرين⁩⁧صمّم الإزالة قبل الحادثة — الاستئصال الموجَّه هو القدرة التي تحتاجها⁩⁧بيانات وصفية للمصدر⁩⁧الجلسة، المستخدم، المستند المصدر،⁩⁧والسياق وقت الكتابة⁩⁧انتهاء الصلاحية افتراضيًا⁩⁧المدخلات المنتهية تحدّ⁩⁧من التعرّض بهدوء⁩⁧فحص بصيغة مقروءة⁩⁧المخازن غير المقروءة⁩⁧لا يمكن تدقيقها⁩⁧مسارات حذف مختبرة⁩⁧حسب المصدر، حسب الفترة⁩⁧الزمنية، حسب المستخدم⁩⁧الحذف الذي يترك التضمينات أو ذاكرة التخزين المؤقت أو الملخصات يبدو ناجحًا فقط⁩⁧الاستمرارية تحوّل الحدث إلى حالة — ومجموعات المستندات ذاكرة أيضًا⁩⁧التقسيم إلى أجزاء يُسقط السياق المحيط، والتشكيل الموضوعي يتحكم في توقيت ظهور المحتوى، والفهرسة دون مراجعة كتابة غير موثوقة⁩
⁧الحقن الذي يصل إلى الذاكرة يعيش أطول من كل آثار الهجوم ويعود وكأنه داخلي — ابنِ بيانات المصدر الوصفية والحذف الكامل قبل أن تحتاجهما.⁩

الاستمرارية تحوّل الحدث إلى حالة دائمة

الحقن المحصور في الجلسة ينتهي بانتهائها. أما الحقن المحصور في الذاكرة فلا ينتهي، وهذا الفرق هو السبب كله لمعاملة الذاكرة سطحًا مستقلًا. إذا كان المحتوى غير الموثوق قادرًا على التسبّب في كتابة مدخل في مخزن يقرؤه النظام في جلسات لاحقة، فإن هجومًا ناجحًا واحدًا يصبح حالة قائمة: قد يُحذف المستند العدائي، وتُغلق الجلسة، وينتقل المستخدم إلى غيرها، ويبقى التأثير. والأسوأ أن البقايا تصل الآن بمظهر محتوى داخلي صادر عن النظام، لأن الذاكرة تُحقن عادةً في السياق خلفيةً موثوقة لا مادةً خارجية مسترجعة. لذلك فالأسئلة العملية لتلوّث الذاكرة (Memory contamination) ميكانيكية. ما مسارات الكود التي تكتب في الذاكرة؟ هل يستطيع النموذج طلب كتابة، وهل يُتحقَّق من هذا الطلب؟ هل يسجّل المدخل ما كان في السياق حين أُنشئ؟ وهل يستطيع المشغّل إيجاد المدخلات وإزالتها حسب مصدرها؟

  • حقن الجلسة ينتهي؛ وحقن الذاكرة يستمر بعد زوال كل أثر للهجوم
  • تُحقن الذاكرة عادةً خلفيةً موثوقة، ما يغسل مصدرها
  • عدّد مسارات الكتابة وتحقّق مما إذا كان النموذج قادرًا على تشغيلها
  • المدخلات تحتاج إلى بيانات وصفية عن مصدرها، وإلا استحالت الإزالة الموجّهة

مجموعات الاسترجاع ذاكرة أيضًا

كل ما يسترجعه النظام يتصرّف كالذاكرة لهذه الأغراض، بما في ذلك الويكي، ونظام التذاكر، والمجلدات المشتركة، وأي مصدر خارجي يُزامَن تلقائيًا. مسار الكتابة هو مسار المراجعة: إذا كان المستند قادرًا على دخول الفهرس دون مراجعة بشرية، فالفهرس مخزن ذاكرة يتلقّى كتابات غير موثوقة. وتفصيلتان تستحقان الانتباه. التقسيم إلى أجزاء (Chunking) قد يفصل المحتوى عن سياقه، فمقطع يُقرأ في المستند الأصلي نصًا مقتبسًا على سبيل المثال يصل إلى التعليمات بلا ذلك الإطار. والاسترجاع القائم على التضمين (Embedding) يعني أن المهاجم يستطيع التأثير في توقيت ظهور محتواه بتشكيله نحو موضوع مستهدف، ما يجعل استهداف فئة محددة من المستخدمين ممكنًا دون أي وصول إلى نظامك. عامِل إدخال المستندات إلى المجموعة مسارًا ذا أهمية أمنية: قائمة سماح للمصادر، وبيانات مصدر لكل جزء، والقدرة على الحذف حسب المصدر.

  • إذا أمكن فهرسة المستندات دون مراجعة، فالمجموعة مخزن ذاكرة بكتابات غير موثوقة
  • التقسيم إلى أجزاء يجرّد المحتوى من الإطار الذي جعله يبدو اقتباسًا أو مثالًا
  • يستطيع المهاجمون تشكيل المحتوى نحو موضوع للتحكم في توقيت ظهوره
  • اشترط قوائم سماح للمصادر، وبيانات مصدر لكل جزء، والقدرة على الحذف حسب المصدر
  • تغطي قائمة OWASP لأهم 10 مخاطر في النماذج اللغوية الكبيرة الاسترجاع المسموم ضمن بندَي تسميم البيانات وثغرات المتجهات والتضمين

التلوّث عبر المستخدمين وعبر المستأجرين

خطورة التلوّث تعتمد كثيرًا على من يقرأ المخزن. الذاكرة الخاصة بكل مستخدم تحصر الأثر في صاحبها ويسهل التفكير فيها. أما الذاكرة المشتركة أو على مستوى المؤسسة، وأي فهرس مبني من محتوى يساهم به المستخدمون، فتعني أن تأثير مستخدم واحد يصل إلى الآخرين — ما يحوّل مشكلة يجلبها المرء على نفسه إلى هجوم عبر المستخدمين، وفي منتج متعدد المستأجرين إلى هجوم عبر المستأجرين. والضوابط تتبع قرار النطاق. اجعل الافتراض أضيق نطاق للذاكرة يجعل الميزة تعمل، واشترط قرارًا متعمّدًا بمسؤول مُسمّى لتوسيعه. وحيث تكون المشاركة ضرورية فعلًا، ضع مراجعة بين المساهمة والظهور المشترك، وافرض فصل المستأجرين في طبقة التخزين لا بفلتر في الاستعلام، وتحقّق من الفصل بالاختبار لا بقراءة الإعدادات، لأن طبقات الاسترجاع كثيرًا ما تحتوي مسارات تتجاوز الفلتر المقصود.

  • النطاق يحدّد الخطورة: الخاص بالمستخدم محصور، والمشترك مسار هجوم عبر المستخدمين
  • توسيع نطاق الذاكرة يجب أن يتطلّب قرارًا متعمّدًا له مسؤول
  • افرض فصل المستأجرين في التخزين، لا بفلتر في طبقة الاستعلام
  • تحقّق من الفصل تجريبيًا — مسارات الالتفاف في طبقات الاسترجاع شائعة

جعل التلوّث قابلًا للإزالة

افترض أن بعض التلوّث سيحدث وصمّم بحيث يمكن استئصاله — فالقدرة التي تحتاجها أثناء الحادثة هي الإزالة الموجّهة، ويجب أن تكون موجودة قبل الحادثة. وهذا يعني أن كل مدخل مخزَّن يحمل بيانات وصفية عن مصدره: أي جلسة، وأي مستخدم، وأي مستند مصدر، وأي محتوى كان في السياق وقت الكتابة. ويعني انتهاء الصلاحية افتراضيًا، لأن المدخل الذي يتقادم ويزول يحدّ من الانكشاف دون أن يلاحظ أحد مشكلة. ويعني أدوات فحص تتيح للمشغّل قراءة ما يحتفظ به النظام حاليًا عن مستخدم ما بصيغة واضحة، لأن المخزن الذي لا تستطيع قراءته مخزن لا تستطيع تدقيقه. ويعني مسار حذف مُختبَرًا — حسب المصدر، وحسب النافذة الزمنية، وحسب المستخدم — يزيل أيضًا المخرجات المشتقة مثل التضمينات والذاكرات المؤقتة والملخصات. حذف المستند المصدر مع بقاء ملخص له هو الإخفاق الذي يجعل عمليات الحذف تبدو ناجحة بينما يبقى التأثير قائمًا.

  • بيانات مصدر على كل مدخل: الجلسة، والمستخدم، والمصدر، والسياق وقت الكتابة
  • انتهاء الصلاحية افتراضيًا يحدّ من الانكشاف دون الاعتماد على الكشف
  • يجب أن يستطيع المشغّلون قراءة الذاكرة الحالية بصيغة واضحة لتدقيقها
  • يجب أن يزيل الحذف المخرجات المشتقة — التضمينات والذاكرات المؤقتة والملخصات — وإلا فهو يبدو ناجحًا فقط