مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

تدوين ما لا يجوز للوكيل فعله

⁧اكتب ما لا يجوز له فعله أبدًا — ثم ثبّته في النظام⁩⁧الحظر في التعليمات تفضيل يُبلَّغ لنظام احتمالي؛ والقاعدة نفسها في بيئة التشغيل خاصية ثابتة⁩⁧في التعليمات — تفضيل⁩⁧يُتّبع عادةً، ولا يُضمن أبدًا⁩⁧في بيئة التشغيل — خاصية⁩⁧يُفحص قبل التنفيذ، في كل مرة دون استثناء⁩⁧القائمة المكتوبة — محددة بما يكفي للتطبيق⁩⁧نقطة الإنفاذ في بيئة التشغيل⁩⁧لا ترسل أي مراسلات خارجية دون موافقة⁩⁧فحص سياسة على المعاملات، قبل التنفيذ⁩⁧لا تقرأ أو تكتب سجلات خارج نطاق هذا العميل⁩⁧نطاق بيانات الاعتماد — الرمز لا يصل إليها⁩⁧لا تحوّل أكثر من 500 دولار دون شخص⁩⁧قاعدة تحقّق — حدّ صارم على المبلغ⁩⁧لا تكتب في نظام الفوترة إطلاقًا⁩⁧أداة الكتابة غير موجودة أصلًا في مجموعة الأدوات⁩⁧لا تنفّذ تعليمات واردة في المحتوى المسترجَع⁩⁧لا توجد نقطة بنيوية — بل كشف صريح،⁩⁧مع استجابة محددة، مكتوبة⁩⁧البنود التي لا يمكنك إنفاذها هي بالضبط ما يستحق المعرفة — سجّل الفجوة بدل افتراض عدم وجودها⁩⁧مالك، وإيقاع مراجعة، وآلية تغيير — وإلا وصفت نظامًا لا يشغّله أحد⁩⁧راجع عند تغيّر الأدوات، وتوسيع الاستقلالية، ومصادر البيانات الجديدة، وبعد الحوادث — كل أداة جديدة تطرح سؤال ما يجب حظره فيها⁩⁧اختبر البنود المهمة ضمن خط التنفيذ: حاول تنفيذ الإجراء المحظور، وتأكد أنه يُرفض⁩⁧الحظر غير المتحقَّق منه مجرد ادعاء — ومن الادعاءات تُصنع مراجعات الحوادث⁩⁧صياغة القائمة تكشف دائمًا افتراضات لم يكن الفريق يعلم أنه مختلف عليها — اكتبها قبل أن تكتبها حادثة⁩
⁧كل حظر يقابله نقطة إنفاذ في بيئة التشغيل — وحين لا توجد، فالجواب الصريح فجوة مسجّلة مع كشف واستجابة محددة⁩

قائمة المحظورات وثيقة حقيقية

معظم مشاريع الوكلاء تملك مواصفات مفصّلة لما ينبغي أن يفعله النظام، ولا شيء مكتوبًا عمّا يجب ألا يفعله أبدًا، ما يعني أن الحدّ لا يوجد إلا في افتراضات من يعمل عليه حاليًا. اكتبه: الأفعال التي لن يقوم بها هذا الوكيل الذكي (Agent) أبدًا، والبيانات التي لن يلمسها أبدًا، والأنظمة التي لن يكتب إليها أبدًا، والحدود التي لن يتجاوزها أبدًا دون إنسان، وفئات القرارات التي لا تُفوَّض إطلاقًا. اجعلها محددة بما يكفي للتنفيذ — «لا ترسل أي مراسلات خارجية دون موافقة أبدًا» قابلة للتنفيذ؛ أما «كن حذرًا مع بيانات العملاء» فلا. وإعداد هذه القائمة هو أيضًا أسرع طريقة لكشف الخلافات داخل الفريق، لأن التمرين يكشف بانتظام أن مهندسَين كانا يحملان افتراضات متعارضة عمّا يُسمح للنظام بفعله.

  • حدّد ما يجب ألا يحدث أبدًا، لا ما ينبغي أن يحدث فقط
  • الأفعال، والبيانات، والأنظمة، والحدود، وأنواع القرارات غير المفوَّضة
  • اكتبها بدرجة تحديد قابلة للتنفيذ، لا كمبدأ
  • تمرين الصياغة يكشف بثبات افتراضات لم يكن الفريق يعلم أنه مختلف عليها

يجب أن تعيش في بيئة التشغيل

الحظر في تعليمات النظام (System prompt) تفضيل يُبلَّغ إلى نظام احتمالي. أما الحظر نفسه منفّذًا كفحص تجريه بيئة التشغيل (Runtime) قبل الإرسال فهو خاصية من خصائص النظام. اربط كل سطر في القائمة بنقطة إنفاذه — أداة غير موجودة، أو نطاق بيانات اعتماد، أو قاعدة تحقّق، أو فحص سياسة على المعاملات، أو ميزانية صارمة — وكن صريحًا حيث لا توجد نقطة إنفاذ، لأن البنود التي لا تستطيع إنفاذها هي بالضبط ما يستحق أن تعرفه. بعضها لا يمكن إنفاذه بنيويًا حقًا، وفي هذه الحالة الجواب الصريح هو آلية كشف مع استجابة محددة، لا جملة في التعليمات وأمل. التخصص الأمني يغطي كيفية بناء هذه الضوابط وطبقاتها؛ أما الالتزام الهندسي هنا فهو أن تتطابق القائمة مع بيئة التشغيل، وأن تُدوَّن الفجوة بينهما بدل افتراض عدم وجودها.

  • الحظر في التعليمات تفضيل؛ وفي بيئة التشغيل خاصية
  • اربط كل بند بنقطة إنفاذه: أداة غائبة، أو نطاق، أو تحقّق، أو سياسة، أو ميزانية
  • حيث لا يوجد إنفاذ، قل ذلك وحدّد آلية كشف واستجابة بدلًا منه
  • يجب أن تتطابق القائمة مع بيئة التشغيل، وأن تُسجَّل أي فجوة بدل افتراض عدم وجودها

الملكية والمراجعة والتغيير

تحتاج القائمة إلى مالك، وإيقاع مراجعة، وعملية تغيير، وإلا أصبحت وثيقة تأسيسية تصف نظامًا لم يشغّله أحد منذ عام. راجعها حين تتغيّر مجموعة الأدوات، وحين تتّسع الاستقلالية، وحين يُوجَّه الوكيل إلى مصدر بيانات جديد، وبعد أي حادثة. واعتبر الإضافات إلى مجموعة الأدوات تغييرات في قائمة المحظورات افتراضيًا، لأن الأداة الجديدة قدرة جديدة، وسؤال هل ينبغي حظر أي شيء يتعلق بها يستحق إجابة عند إضافتها لا بعد ذلك. اختبر البنود المهمة كما تختبر أي شيء آخر: مجموعة اختبارات صغيرة تحاول تنفيذ الفعل المحظور وتتأكد من رفضه، وتعمل في خط الإنتاج (Pipeline) نفسه مع كل شيء آخر. الحظر الذي لم يتحقق منه أحد منذ كتابته مجرد ادّعاء، ومراجعات الحوادث مصنوعة من الادّعاءات.

  • مالك، وإيقاع، وعملية تغيير، وإلا وصفت القائمة نظامًا لم يعد موجودًا
  • راجع عند تغيّر الأدوات، وتغيّر الاستقلالية، ومصادر البيانات الجديدة، وبعد الحوادث
  • إضافة أداة يجب أن تطرح سؤال ما الذي يجب حظره فيها
  • اختبر المحظورات المهمة في خط الإنتاج — الحظر غير المتحقَّق منه مجرد ادّعاء

جرّب بنفسك

هذه القائمة تستغرق بضع ساعات، وهي أسرع طريقة لاكتشاف أن شخصين يعملان على النظام نفسه يحملان معتقدات مختلفة عمّا يجوز له فعله. اكتبها لوكيل واحد، مع تسمية نقاط الإنفاذ.

◆ جرّبها بنفسك

اكتب قائمة المحظورات لوكيل واحد تملكه أو تصمّمه. إن لم تكن تملك أيًا منها، فاكتبها لوكيل نشرته مؤسستك، بناءً على ما تستطيع ملاحظته. اربط كل سطر بنقطة إنفاذه، وضع البنود التي لا تستطيع إنفاذها في قسم خاص بها مع آلية كشف واستجابة بجانب كل منها. ثم خذ كل فعل محمي ببوابة وصنّفه بحسب قابليته للتراجع ومدى تأثيره، مع تسمية من يوافق عليه وأي مُخرَج يُعرض عليه. أعطِ القائمة المكتملة لمهندس آخر يعمل على النظام وسجّل مواضع اختلافكما.

الوكيل:

ممنوع أبدًا - كل سطر محدد بما يكفي للتنفيذ، لا مبدأ عام
- أفعال لن يقوم بها أبدًا:
- بيانات لن يقرأها أو يكتبها أبدًا:
- أنظمة لن يكتب إليها أبدًا:
- حدود لن يتجاوزها أبدًا دون إنسان:
- قرارات لا تُفوَّض إطلاقًا:

الإنفاذ
الحظر | نقطة الإنفاذ (أداة غائبة / نطاق بيانات اعتماد / قاعدة تحقّق / فحص سياسة / ميزانية صارمة) | هل يُختبر في خط الإنتاج؟

غير قابل للإنفاذ بنيويًا
الحظر | آلية الكشف | الاستجابة المحددة | المالك

الأفعال المحمية ببوابة
الفعل | قابل للتراجع؟ من يتراجع عنه وفي أي مهلة | مدى التأثير: السجلات والأشخاص والأنظمة المتأثرة | صاحب الموافقة | المُخرَج المعروض (الفرق، المعاملات، المصادر) | الافتراضي عند انتهاء المهلة

الاختلافات التي ظهرت مع القارئ الثاني:
كيف تعرف أنها نجحت
  • كل حظر مرتبط بنقطة إنفاذ مسمّاة، أو موجود في قسم غير القابل للإنفاذ مع آلية كشف بجانبه
  • كل فعل محمي ببوابة يسمّي صاحب موافقة موجودًا فعلًا، ومُخرَجًا يراه بدل ملخص مولَّد
  • تستطيع أن تسمّي حدًا واحدًا على الأقل كنت أنت والقارئ الثاني تفترضان فيه أشياء مختلفة
✎ أنهيت الوحدة!
اختبر نفسك في «إبقاء البشر في الحلقة» ←