مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

حدود الثقة حين يكون النموذج غير موثوق

⁧ارسم الحدّ حول النموذج — لا خلفه⁩⁧النموذج يعالج مدخلات غير موثوقة، فينتج مخرجات غير موثوقة — وكل مستهلك يقع خلف حدّ ثقة⁩⁧الموضع البديهي — خاطئ لميزة نموذج لغوي كبير⁩⁧مدخلات المستخدم⁩⁧تحقّق⁩⁧الحدّ الوحيد المرسوم⁩⁧يُفترض أنه موثوق⁩⁧النموذج⁩⁧عارض · محلّل · shell · قاعدة بيانات — بلا فحص⁩⁧هذا الموضع يوحي بأن مخرجات النموذج موثوقة لدى أي مستهلك لها⁩⁧ارسمه حول النموذج — المخرجات غير موثوقة، في كل مرة⁩⁧مدخلات المستخدم (مُصادَق عليها)⁩⁧محتوى مُسترجَع (مختلط)⁩⁧نتائج الأدوات (غير موثوقة)⁩⁧منطقة غير موثوقة⁩⁧نافذة السياق⁩⁧+ النموذج⁩⁧مخرجات غير موثوقة⁩⁧العارض⁩⁧نظّفها كمدخلات من الإنترنت⁩⁧محلّل · shell · قاعدة بيانات⁩⁧تحقّق قبل تنفيذ أي شيء⁩⁧موزّع الأدوات⁩⁧قرار تفويض، لا مجرد استدعاء⁩⁧كل سهم يخرج من النموذج يعبر حدّ ثقة — عامله كمدخلات قادمة من الإنترنت⁩⁧تتبّع المصدر يجعل الحدّ قابلًا للإنفاذ — عبر بيئة التشغيل لا النموذج⁩⁧وسِم المحتوى بمصدره، واحفظ الوسوم عبر التلخيص والتسليم، واربط الأدوات ذات الصلاحيات بما دخل في الدور⁩⁧مخرجات النموذج غير موثوقة — مهما بدت المدخلات موثوقة⁩⁧كل صلة بين وكيلين حدّ ثقة أيضًا، والتفويض يجب ألا يرفع الصلاحيات بصمت أبدًا⁩
⁧ضع حدّ الثقة حول النموذج: مخرجاته غير موثوقة لدى كل مستهلك، واستدعاء الأداة قرار تفويض.⁩

ارسم الحدّ حول النموذج، لا خلفه

أكثر قرارات الرسم أثرًا هو موضع حدّ الثقة (Trust boundary) بالنسبة إلى النموذج. الموضع البديهي يضع الحدّ عند حافة الـ API، ويعامل مدخلات المستخدم على أنها غير موثوقة، ويعامل كل ما بعد التحقق على أنه داخلي. هذا الموضع خاطئ لميزة قائمة على نموذج لغوي كبير (LLM)، لأنه يوحي بأن مخرجات النموذج موثوقة لدى أي جهة تستهلكها. الموضع الصحيح يعامل النموذج مكوّنًا يعالج مدخلات غير موثوقة (Untrusted input) وبالتالي ينتج مخرجات غير موثوقة — في كل مرة. مخرجات النموذج التي تعبر إلى أداة عرض، أو محلّل، أو سطر أوامر، أو قاعدة بيانات، أو وكيل آخر، تعبر حدّ ثقة وتحتاج المعاملة نفسها التي تمنحها لمدخلات قادمة من الإنترنت. هذا التغيير الواحد يعيد تأطير معظم التصميم اللاحق: فالتعامل مع المخرجات لم يعد تنسيقًا بل صار تحققًا، واستدعاء الأداة لم يعد استدعاء دالة داخلية بل صار قرار تفويض.

  • مخرجات النموذج مخرجات غير موثوقة، مهما بدت المدخلات موثوقة
  • كل مستهلك لمخرجات النموذج يقع على الجانب الآخر من حدّ ثقة
  • استدعاء الأداة قرار تفويض، لا استدعاء دالة داخلية
  • سوء التعامل مع المخرجات فئة إخفاق مستقلة عن الحقن — عالجها منفصلة
  • في الخرائط المعيارية: قائمة OWASP لأهم 10 مخاطر في تطبيقات النماذج اللغوية الكبيرة تُفرد لسوء التعامل مع المخرجات بندًا مستقلًا عن حقن التعليمات

مصدر المحتوى خاصية أساسية

ما إن تقبل أن نافذة السياق (Context window) تخلط محتوى بمستويات ثقة مختلفة، حتى يصبح السؤال العملي: هل يستطيع النظام التمييز بينها في النقطة التي يهمّ فيها ذلك؟ تتبّع المصدر (Provenance) يعني وسم المحتوى بمصدره — من كتابة النظام، أو من مستخدم مصادَق عليه، أو مسترجع من مجموعة مستندات داخلية مراجَعة، أو من الويب المفتوح، أو أعادته أداة خارجية — وحمل هذا الوسم عبر كل تحويل. القيمة ليست في أن النموذج يحترم الوسوم بموثوقية؛ فهو لا يفعل. القيمة في أن بيئة التشغيل المحيطة تستطيع ذلك. سياسة تقول إنه لا يجوز استدعاء أداة ذات صلاحيات عالية في دور دخل فيه محتوى من الويب المفتوح إلى السياق هي سياسة قابلة للفرض في الكود، ولا تكون قابلة للفرض إلا إذا صمد تتبّع المصدر أمام التلخيص والتقطيع والتخزين المؤقت والانتقال بين الوكيل والوكيل الفرعي. اختبر هذا الصمود صراحةً، لأن فقدان الوسوم أثناء التحويل هو الإخفاق الشائع.

  • وسم المحتوى بمصدره وحمل الوسم عبر كل انتقال وتحويل
  • بيئة التشغيل هي من تفرض سياسة المصدر — النموذج ليس نقطة الفرض
  • التلخيص والتقطيع والتسليم إلى الوكلاء الفرعيين هي المواضع التي تسقط فيها الوسوم عادةً
  • تتبّع المصدر يتيح قواعد مثل: لا فعل ذا صلاحيات عالية في دور استوعب محتوى غير موثوق

الحدود بين الوكلاء

تصاميم الوكلاء المتعددين تنشئ علاقات ثقة لا تُكتب تقريبًا أبدًا. حين يفوّض منسّق مهمة إلى وكيل فرعي ويتلقّى نصًا في المقابل، فهذا النص مدخل من مكوّن تعرّض هو نفسه لمحتوى غير موثوق — لذا فالحدّ بينهما حقيقي رغم أن كليهما ملكك. والأمر نفسه ينطبق على وكيل نظير يشغّله فريق آخر، وبقوة أكبر بكثير على وكيل تشغّله مؤسسة أخرى، حيث ترى الواجهة لكنك لا ترى منطق التفكير ولا الأدوات ولا البيانات التي خلفها. ارسم حدًّا عند كل حافة بين وكيل وآخر، وقرّر صراحةً ما الذي يعبرها: نتائج فقط، أم نتائج مع تعليمات سيتصرّف المتلقّي بناءً عليها. ثم قرّر أي سلطة يطبّقها المتلقّي — سلطته هو، أم سلطة المستخدم الأصلي. التفويض الذي يرفع السلطة بصمت هو الصورة متعددة الوكلاء من «النائب المرتبك»، ومن السهل بناؤه دون قصد.

  • كل حافة بين وكيل وآخر حدّ ثقة، بما في ذلك بين مكوّناتك أنت
  • الوكيل النظير معتم بطبيعته: ترى النتائج، ولا ترى سياقه أو أدواته أبدًا
  • قرّر هل تُعامَل المخرجات المفوَّضة بيانات أم تعليمات — واكتب ذلك
  • يجب ألّا يرفع التفويض السلطة؛ احمل نطاق المستخدم الأصلي عبر السلسلة كلها

البشر داخل الحدّ

حين يتضمّن التصميم مراجعًا أو موافِقًا، فهذا الشخص جزء من مسار التنفيذ، ومكانه على المخطط بوصفه مكوّنًا له مدخلات وأنماط إخفاق. مدخلاته ملخّص ينتجه النظام الذي يتعرّض للهجوم، أي أن المهاجم يستطيع التأثير فيما يقرؤه الموافِق. وأنماط إخفاقه موثّقة جيدًا: الإرهاق حين يكون الحجم كبيرًا، والتحيّز للأتمتة حين يكون النظام محقًا في العادة، وسوء القراءة حين يكون الملخّص معقولًا لكنه ناقص. انمذج المسار البشري كما تنمذج أي مسار آخر: ما المعلومات التي تصل إلى نقطة القرار، وهل يستطيع المهاجم التأثير فيها، وكم يستغرق القرار، وما الإجراء الافتراضي حين لا يفعل المراجع شيئًا. بوابة الموافقة (Approval gate) التي تمضي افتراضيًا بعد انتهاء المهلة ليست بوابة. والبوابة التي يكتب ملخّصها المكوّن المخترَق هي بوابة يساعد المهاجم في تصميمها.

  • الموافِقون مكوّنات: امنحهم مدخلات وأنماط إخفاق ومكانًا على المخطط
  • ملخّص الموافقة هو مخرجات نموذج — قابل لتأثير المهاجم بطبيعته
  • التحيّز للأتمتة والإرهاق متوقّعان، لذا صمّم لأجل الحجم لا لأجل اليقظة
  • المهلة التي تمضي افتراضيًا تحوّل البوابة إلى مجرد تأخير