مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

المخرجات المنظّمة والتوليد المقيّد

⁧قيّد الشكل، تُقيّد النتائج الممكنة⁩⁧الرموز التي تكسر المخطط لا تُولَّد أبدًا — لكن المخطط يقيّد الشكل لا النية⁩⁧النموذج، وربما أُقنِع⁩⁧يقترح الرموز التالية⁩⁧توليد مقيَّد⁩⁧الرموز التي تُبطل⁩⁧المخطط لا تُولَّد أبدًا⁩⁧دائمًا كائن مطابق للمخطط⁩⁧لا نص حر يبقى للتحليل⁩⁧لا حقول زائدة، ولا محتوى لاحق، ولا التباس في الصيغة يسيء المستهلك قراءته⁩⁧كائن صالح واحد — حقلًا حقلًا⁩{⁧action: "refund"⁩⁧قائمة قيم — يحدّها المخطط⁩⁧customer_id: "C-1042"⁩⁧مرجع مُتحقَّق بنمط⁩⁧amount: 4900⁩⁧قيمة صالحة — ولا يزال المهاجم قادرًا على التأثير فيها⁩⁧note: "Please expedite…"⁩⁧نص حر — قناة غير مقيّدة⁩}⁧الصالح ليس آمنًا⁩⁧قد يكون كائن التحويل مطابقًا تمامًا⁩⁧للمخطط مع مستلم خاطئ ومبلغ⁩⁧خاطئ — اختيرا لأن مستندًا⁩⁧طلب من النموذج اختيارهما⁩⁧فحص السياسات لا يزال ضروريًا⁩⁧المخططات المتساهلة تعيد الأرض للمهاجم⁩⁧معرّف مُعرَّف كنص فضفاض⁩⁧بدل نمط مُتحقَّق منه⁩⁧قائمة القيم لا تزال تضم⁩⁧خيارًا مدمّرًا غير مستخدم⁩⁧additionalProperties متروكة⁩⁧مفتوحة على الكائن⁩⁧مخرجات النموذج مدخلات غير موثوقة عند كل مستهلك⁩⁧العرض في المتصفح⁩⁧رمّز؛ ولا جلب تلقائي⁩⁧من مصادر بعيدة⁩⁧سطر الأوامر · الاستعلام · القالب⁩⁧عاملها تمامًا⁩⁧كمدخلات مستخدم⁩⁧المعرّفات⁩⁧تحليل + تفويض⁩⁧عند المستهلك⁩⁧وكيل آخر⁩⁧بيانات، ما لم يُقرَّر⁩⁧غير ذلك عمدًا⁩⁧البنية ليست تفويضًا — المطابق للمخطط قد يكون الإجراء الخاطئ⁩⁧الفشل المتكرّر: تحقّق مرة واحدة عند حدّ النموذج، ثم ثقة من خمسة مكوّنات لاحقة⁩
⁧التوليد المقيَّد يزيل التباس الصيغة ويحدّ مما قد يحاوله نموذج مُقنَع — لكن كل قيمة وكل حقل نص حر لا يزال يحتاج إلى تحقّق وتفويض عند كل مستهلك.⁩

تقييد شكل ما يستطيع النموذج إخراجه

التوليد المقيّد (Constrained decoding) يحصر التوليد بحيث يجب أن تطابق المخرجات مخططًا (Schema) أو قواعد نحوية: في كل خطوة تُستبعد الرموز (Tokens) التي قد تجعل النتيجة غير صالحة، فلا يستطيع النموذج إنتاج بنية معيبة حتى لو كان سيفعل ذلك لولا القيد. وأهميته كضابط أمني أنه يزيل فئة كاملة من الإخفاقات اللاحقة. فحين تكون المخرجات مضمونة لتكون كائنًا صالحًا بحقول مُنمّطة، لا يحتاج المستهلك إلى تحليل نص حر، ولا تستطيع تعليمة محقونة إدخال بنية سيُسيء المستهلك قراءتها — لا حقول إضافية، ولا محتوى زائد في النهاية، ولا التباس في الصيغة. كما يقلّص المساحة التعبيرية المتاحة لنموذج تعرّض للإقناع: إن كانت الأداة تأخذ فعلًا من قائمة محددة ومعرّفًا متحقَّقًا منه، فمساحة الاستدعاءات الضارة يحدّها المخطط بصرف النظر عمّا أُقنع النموذج بمحاولته. قيّد الشكل، تقيّد النتائج الممكن الوصول إليها.

  • يُحصر التوليد في الرموز التي تُبقي المخرجات صالحة وفق المخطط
  • يزيل التباس الصيغة وغموض التحليل لدى المستهلك
  • الأفعال من قائمة محددة والمعرّفات المتحقَّق منها تحدّ ما يستطيع نموذج مُقنَع محاولته
  • تقييد الشكل يقيّد مجموعة النتائج الممكن الوصول إليها

الحد: الصالح ليس آمنًا بالضرورة

التحفّظ الجوهري هو أن المخطط يقيّد الشكل لا النية. كائن تحويل بمعرّف مستلم صالح ومبلغ صالح مثالي وفق المخطط، ومع ذلك قد يكون المستلم خاطئًا والمبلغ خاطئًا، لأن مستندًا ما أمر النموذج باختيارهما. وكل حقل نصي حر داخل كائن صالح قناة غير مقيّدة — نص رسالة، أو ملاحظة، أو اسم ملف، أو استعلام بحث — وإن كان أي مستهلك يعرض ذلك الحقل أو ينفّذه، فالقيد لم يحقق شيئًا هناك. كما أن المخططات كثيرًا ما تكون متساهلة عمليًا: معرّف مُنمّط كنص عادي بدل مرجع متحقَّق منه بنمط محدد، أو قائمة قيم تتضمّن خيارًا تدميريًا غير مستخدم، أو كائن بسياسة مفتوحة للخصائص الإضافية. التوليد المقيّد ضابط نظافة قوي يقضي على فئة من إخفاقات التحليل. لكنه ليس تفويضًا، ومعاملته كتفويض تجاوز شائع.

  • المخططات تقيّد الشكل؛ والقيم داخلها تبقى قابلة لتأثير المهاجم
  • الحقول النصية الحرة داخل كائن صالح قنوات غير مقيّدة
  • المخططات المتساهلة — أنواع نصية فضفاضة وقيم تدميرية غير مستخدمة — تُعيد الأرض التي كسبتها
  • البنية ليست تفويضًا؛ ولا يزال فحص السياسة واجبًا

تحقّق عند كل مستهلك

الضابط المكمّل هو التعامل السليم مع المخرجات حيثما تُستخدم مخرجات النموذج، وهو يتبع الممارسات المعتادة في أمن التطبيقات مطبّقة على مصدر تنسى فرق كثيرة معاملته كمدخلات غير موثوقة. النص المعروض في المتصفح يحتاج إلى ترميز وإلى سياسة تمنع الجلب التلقائي للموارد البعيدة المشار إليها فيه. والمحتوى الممرَّر إلى Shell أو محرك استعلامات أو أداة قوالب أو أداة إلغاء تسلسل (Deserialiser) يحتاج إلى المعاملة نفسها التي تلقاها أي مدخلات من المستخدم، لأنه هو ذلك بالضبط. وينبغي تحليل المعرّفات والتحقق من صلاحيتها عند المستهلك، لا الوثوق بها لمجرد وصولها في حقل مُنمّط. والمخرجات التي يستهلكها وكيل آخر ينبغي معاملتها كبيانات ما لم تقرّر غير ذلك عن قصد. والإخفاق المتكرر هو خط معالجة تحقّق من المخرجات مرة واحدة عند حدّ النموذج ثم عاملتها خمسة مكوّنات لاحقة على أنها داخلية.

  • مخرجات النموذج مدخلات غير موثوقة عند كل مستهلك، لا عند الأول فقط
  • رمّز وفق سياق العرض وعطّل الجلب التلقائي للموارد البعيدة
  • حلّل المعرّفات وتحقّق من صلاحيتها عند المستهلك، لا عند الوصول
  • التحقق مرة واحدة عند الحد ثم الثقة في كل مكان بعده هو النمط الذي يجب تجنّبه
  • تسمّي قائمة OWASP لأهم 10 مخاطر في النماذج اللغوية الكبيرة هذا الإخفاق اللاحق «سوء التعامل مع المخرجات» — اجعل كل مستهلك نقطة الإنفاذ