بوابات الموافقة على الأفعال التي لا رجعة فيها
ضع البوابة حسب العاقبة لا حسب الفئة
بوابات الموافقة (Approval gates) هي الضابط الذي يُطبَّق بشكل سيئ أكثر من غيره، والإخفاق يكون دائمًا تقريبًا في موضعها. وضع بوابة على كل استدعاء أداة يولّد حجمًا كبيرًا، والحجم يولّد موافقة تلقائية، والبوابة التي يُوافق عليها تلقائيًا أسوأ من غيابها لأنها تُنشئ قرارًا بشريًا موثَّقًا لم يحدث فعلًا. ضع البوابات حسب العاقبة بدلًا من ذلك. المحور الأول هو قابلية التراجع: هل يمكن التراجع عن هذا الفعل، ومن يستطيع ذلك، وبأي سرعة. إرسال رسالة، وتحويل أموال، وحذف سجل، ومنح صلاحية، والنشر، والإعلان العام كلها أفعال لا رجعة فيها بالمعنى العملي، أي أن طرفًا ثالثًا قد تأثّر بالفعل. والمحور الثاني هو النطاق: كم سجلًا، وبيانات من، وأي أنظمة. قائمة قصيرة من الأفعال الخاضعة فعلًا لبوابات يقرؤها الناس أثمن بكثير من قائمة شاملة ينقرون عليها دون قراءة، واختيار تلك القائمة القصيرة قرار تصميمي ينبغي للفريق اتخاذه صراحةً ومراجعته.
- الحجم يدمّر البوابات؛ والموافقة التلقائية توثّق قرارًا لم يتخذه أحد
- ضع البوابات حسب قابلية التراجع والنطاق، لا حسب فئة الأداة
- لا رجعة فيه يعني أن طرفًا ثالثًا قد تأثّر بالفعل
- بوابات أقل وذات معنى أفضل من بوابات شاملة يُنقر عليها دون قراءة
ما يجب أن يراه صاحب الموافقة
شاشة الموافقة واجهة أمنية، ومحتواها هو ما يحدد إن كان القرار حقيقيًا. يجب أن تعرض الفعل الملموس ومعاملاته الدقيقة — المستلم الفعلي، والمبلغ الفعلي، ومعرّف السجل الفعلي — لا وصفًا باللغة الطبيعية للنية، لأن الوصف من مخرجات النموذج وقد يكون غير دقيق سواء بالخطأ أو بالتأثير. وينبغي أن تعرض سبب اقتراح الفعل مع المحتوى المصدري المحدد الذي قاد إليه، كي يلاحظ صاحب الموافقة أن التعليمة نشأت في مستند خارجي. وينبغي أن تعرض النطاق: كم سجلًا، وأي أنظمة. ويجب أن يكون لها إعداد افتراضي آمن، وهو عدم فعل شيء، مع مهلة تنتهي بالإلغاء لا بالمتابعة. عرض ملخص مقنع دون المعاملات الأساسية هو الطريقة التي ينتهي بها صاحب الموافقة إلى اعتماد شيء مختلف تمامًا عمّا قرأه.
- اعرض المعاملات الدقيقة، لا ملخصًا للنية باللغة الطبيعية
- أظهر المحتوى المصدري الذي دفع إلى الفعل، بما في ذلك ما إذا كان خارجيًا
- اذكر النطاق: كم سجلًا وأي أنظمة ستتأثر
- الإعداد الافتراضي عند انتهاء المهلة هو الإلغاء — لا المتابعة أبدًا
كيف تُهزم البوابات
تفشل البوابات بأنماط متكررة، ولكل نمط اختبار يقابله. التجزئة: يُفكَّك فعل خاضع لبوابة إلى خطوات غير خاضعة لها تحقق الأثر نفسه، لذا ضع البوابة على الأثر لا على أداة بعينها حيثما أمكن. الإرهاق: رفع الحجم حتى تصبح الموافقات تلقائية، ما يعني أن معدّل الموافقة ووقت اتخاذ القرار مقياسان أمنيان يستحقان المراقبة — فصاحب الموافقة الذي يستغرق ثانيتين في المتوسط لا يقرأ. المبرّر المضلّل: يُؤثَّر في الملخص كي يبدو الفعل روتينيًا، ولهذا يجب عرض المعاملات مستقلةً عن أي نص مولَّد. التوقيت: طلب الموافقة في منتصف تشغيل مستقل طويل حين يكون الانتباه قد تراخى. والالتفاف: مسار كود بديل يصل إلى الأثر نفسه دون البوابة، وهو ما ينبغي اختباره مباشرة، لأن البوابات تُضاف عادةً عند موضع استدعاء واحد لا عند القدرة نفسها.
- التجزئة: ضع البوابة على الأثر لا على موضع استدعاء واحد، واختبر المسارات البديلة
- راقب معدّل الموافقة ووقت القرار — فهما يقيسان إن كانت البوابة حقيقية
- اعرض المعاملات مستقلةً عن المبرّر المولَّد لإحباط الملخصات المضلّلة
- اختبر وجود مسارات كود غير خاضعة لبوابة تصل إلى القدرة نفسها
البدائل حين لا يمكن وجود إشراف بشري
الموافقة البشرية لا تتوسّع لتشمل كل عملية نشر، لذا يستحق الأمر معرفة البدائل وحدودها الحقيقية. فحوص السياسات في بيئة التشغيل تستطيع السماح بفعل أو رفضه بشكل حتمي بناءً على المعاملات والمصدر والسياق — سقف للمبالغ، وقائمة سماح للمستلمين، وقاعدة تمنع أي فعل ذي صلاحيات من أن يلي محتوى غير موثوق في الدور نفسه. هذه الفحوص قوية لأنها بنيوية، ورخيصة لأنها آلية. والتنفيذ المرحلي يساعد أيضًا: نفّذ الفعل أولًا بصيغة قابلة للتراجع، كمسودة أو تعليق مؤقت أو عنصر مجدول بنافذة تأخير، كي يتدخّل إنسان أو نظام مراقبة قبل أن يصبح نهائيًا. والمراجعة اللاحقة بالعيّنات تكشف الانحراف التدريجي لكنها لا تكشف الحادثة المفردة، وينبغي وصفها على هذا النحو. أما ما لا ينجح فهو أن تطلب من نموذج ثانٍ الحكم على أمان الفعل ثم تعامل ذلك كحدّ أمني — فهو إشارة لها معدّل خطأ، لا ضابط.
- فحوص السياسات الحتمية على المعاملات والمصدر تتوسّع حيث لا يستطيع البشر
- التنفيذ المرحلي — مسودات وتعليق مؤقت ونوافذ تأخير — يكسب وقتًا للتدخّل
- المراجعة اللاحقة بالعيّنات تكشف الانحراف، لا الحدث المفرد
- النموذج الذي يحكم على فعل إشارة لها معدّل خطأ، لا حدّ أمني
جرّب بنفسك
قائمة البوابات سريعة الكتابة وسهلة المبالغة في تقديرها. يفحص هذا التمرين الأمرين اللذين يحددان إن كانت البوابة حقيقية: على ماذا وُضعت، وهل يقرؤها أحد فعلًا.
استخرج قائمة الأدوات الفعلية لوكيل ذكي واحد تشغّله مؤسستك أو تصمّمه، بما في ذلك أي أداة أضافها خادم مسجَّل، وابنِ الجدول: ما الذي تستطيع كل أداة فعله، وبهوية من تعمل، وهل أثرها قابل للتراجع ومن يستطيع ذلك وبأي سرعة، وهل هي خاضعة لبوابة موافقة. القسم 4 من «لوحة نمذجة التهديدات لميزات الذكاء الاصطناعي» (AI Feature Threat-Model Canvas) على الرابط /templates/threat-model-canvas.md هو هذا الجدول نفسه. ثم أجب عن ثلاثة أمور لا يجيب عنها الجدول. أي الأفعال غير الخاضعة لبوابة لا رجعة فيها بمعنى أن طرفًا ثالثًا قد تأثّر بالفعل؟ ولكل بوابة قائمة، ما الذي يُعرض فعلًا على صاحب الموافقة — المعاملات الدقيقة، أم ملخص مولَّد للنية؟ وما معدّل الموافقة ووسيط وقت القرار خلال الشهر الماضي؟ إن أردت اختبار ما إذا كان يمكن الوصول إلى أثر خاضع لبوابة عبر مسار كود بديل، فافعل ذلك فقط على نظام تملكه أو لديك تفويض كتابي باختباره، في بيئة غير إنتاجية ببيانات اصطناعية وحسابات مخصّصة. وإن لم تكن تملك وكيلًا كهذا، فابنِ الجدول لميزة ذكاء اصطناعي في منتج تستخدمه، اعتمادًا على وثائقه ونوافذ طلب الصلاحيات فيه، وسجّل كل مجهول على أنه غير خاضع لبوابة.
الوكيل: مصدر قائمة الأدوات: [الإعدادات الفعلية، استُخرجت بتاريخ ...] الأداة | ما الذي تستطيع فعله | تعمل بهوية | قابلة للتراجع بواسطة من وبأي سرعة | خاضعة لبوابة؟ 1. 2. 3. لا رجعة فيها وغير خاضعة لبوابة اليوم: خاضعة لبوابة لكن يمكن الوصول إليها عبر مسار كود آخر: لكل بوابة — ما يراه صاحب الموافقة: [المعاملات الدقيقة / ملخص مولَّد] معدّل الموافقة، آخر 30 يومًا: وسيط وقت القرار: الإعداد الافتراضي عند انتهاء المهلة: [الإلغاء / المتابعة]
- لكل أداة هوية فاعلة وإجابة عن قابلية التراجع، دون أي خانة فارغة
- تستطيع تسمية فعل واحد على الأقل لا رجعة فيه وغير خاضع لبوابة حاليًا، أو تقديم القائمة التي تُثبت عدم وجوده
- لكل بوابة قائمة تستطيع أن تذكر ما يراه صاحب الموافقة ووسيط وقت القرار، وأن تقول إن كان هذا الوقت كافيًا لقراءته