مراجعة ما بعد الحادثة والحوكمة
المراجعة دون إلقاء اللوم على النموذج
مراجعة ما بعد الحادثة غير المجدية لإخفاق في الذكاء الاصطناعي تخلص إلى أن النموذج خُدع، وتقرّر تحسين التعليمات (Prompt). وهي غير مجدية لأنها تجعل خاصيةً من خصائص التقنية سببًا جذريًا، وتنتج إجراءً لا يستطيع أحد التحقق منه. المراجعة المفيدة تطرح أسئلة عن الضوابط بدلًا من ذلك. لماذا كانت لدى الوكيل تلك القدرة في تلك اللحظة؟ لماذا وصل ذلك المحتوى إلى السياق، وهل رُوجع مصدره؟ أي ضابط كان يُتوقع أن يلتقط هذا، وماذا فعل فعلًا — هل كان غائبًا، أم سيئ التهيئة، أم تم تجاوزه، أم كان يعمل كما صُمّم أمام حالة لم يفكر فيها أحد؟ لماذا استغرق الكشف كل هذا الوقت، وأي إشارة كانت ستقصّره؟ هل كان هذا السيناريو ضمن نموذج التهديدات (Threat model)، وإن كان كذلك، فهل كان في سجل المخاطر المقبولة؟ كل سؤال من هذه الأسئلة ينتج تغييرًا له مالك؛ أما خلاصة «حسّنوا التعليمات» فلا.
- «النموذج خُدع» خاصية، لا سبب جذري
- اسأل أي ضابط كان يُتوقع أن يلتقط الأمر وماذا فعل فعلًا
- غائب، أو سيئ التهيئة، أو تم تجاوزه، أو خارج النطاق — كل منها يقود إلى إصلاح مختلف
- تحقّق هل نُمذج السيناريو وهل قُبل عن علم
إعادة النتائج إلى المنظومة
يجب أن تُحدّث كل حادثة أربعة عناصر، والمراجعة التي تحدّث أقل من ذلك قد سرّبت دروسها. نموذج التهديدات يكتسب السيناريو إن كان غائبًا، أو احتمالية مصحّحة إن كان موجودًا وقُلّل من شأنه. سجل المخاطر المقبولة يُعاد النظر فيه، لأن قبول مخاطرة ثبت الآن خطأ افتراضها يجب أن يُعاد فتحه لا أن يُبقى عليه بصمت. مجموعة الضوابط تكتسب التغيير المحدّد، في الطبقة التي تحتوي المشكلة، مع مالك وتاريخ. ومجموعة اختبارات الانحدار تكتسب اختبارًا يتحقق من الشرط، بحيث يصبح فشل المسار نفسه مجددًا فشلًا في البناء لا حادثة ثانية. وأعِد النتائج كذلك إلى طبقة الكشف: إن لم تكن الإشارة التي كانت ستلتقط هذا موجودة، فابنها الآن، ما دام شكل الحدث واضحًا بما يكفي لتحديد عتبة تستحق الضبط.
- حدّث نموذج التهديدات، وسجل المخاطر المقبولة، والضوابط، ومجموعة الاختبارات
- المخاطرة المقبولة المبنية على افتراض ثبت خطؤه يجب أن يُعاد فتحها، لا أن يُبقى عليها
- أضف إشارة الكشف المفقودة ما دام شكل الحدث لا يزال ملموسًا
- المراجعة التي لا تنتج اختبارًا لم تُغلق شيئًا
حوكمة قابلة للتشغيل فعلًا
طبقة الحوكمة (Governance) العملية تحتاج ثلاثة أشياء ولا أكثر من ذلك بكثير. جرد لأنظمة الذكاء الاصطناعي المستخدمة، مع المالك والغرض وفئات البيانات وقائمة الأدوات والصلاحيات وتاريخ آخر نمذجة للتهديدات — معظم المؤسسات لا تستطيع إنتاج هذا، وغيابه هو سبب عجز الجميع عن الإجابة عن الأسئلة الأساسية أثناء الحادثة. بوابة عند نقطة التغيير، بحيث تؤدي إضافة أداة أو مصدر بيانات أو نطاق صلاحية أو وكيل جديد إلى مراجعة متناسبة لا إلى إعادة تقييم كاملة. ومسؤولية واضحة: شخص مسؤول عن كل نظام، وشخص مسؤول عن الضوابط، ومسار محدّد للبلاغات السلوكية. كل ما عدا ذلك — وثائق السياسات، واللجان، والاستبيانات العامة — يميل إلى استهلاك الجهد دون تغيير ما تستطيع الأنظمة فعله. والحوكمة التي لا تستطيع الإجابة عن سؤال «ما الذي يستطيع وكلاؤنا الوصول إليه اليوم؟» هي توثيق، لا ضبط.
- جرد يشمل المالك والغرض وفئات البيانات والأدوات والصلاحيات وتاريخ آخر مراجعة
- مراجعة متناسبة يطلقها التغيير، لا إعادة تقييم كاملة دورية
- مسؤولية مسمّاة عن الأنظمة والضوابط وتوجيه البلاغات السلوكية
- إن لم تستطع الإجابة عمّا يصل إليه الوكلاء اليوم، فهي ليست حوكمة
مقاييس تعكس الواقع
اختر مقاييس تصف الوضع الأمني لا النشاط، لأن مقاييس النشاط تكافئ الحركة. التغطية: نسبة مزايا الذكاء الاصطناعي المنشورة التي لديها نموذج تهديدات حديث وجرد معدَّد للأدوات والصلاحيات. الاحتواء: كم مكوّنًا لا يزال يجمع بين البيانات الخاصة والمحتوى غير الموثوق والقناة الخارجية، يُتابَع كرقم يجب أن ينخفض. زمن الكشف وزمن الاحتواء لحوادث الذكاء الاصطناعي تحديدًا، مقيسًا من أقدم دليل في سجلات التتبع لا من تاريخ البلاغ. تغطية الانحدار: نسبة النتائج المقبولة التي لديها اختبار يفشل إن عاد الشرط. جودة البوابات: معدّلات الموافقة وأزمنة اتخاذ القرار، التي تكشف هل تُقرأ البوابات فعلًا. وتجنّب أعداد المحاولات، وإجمالي الطلبات المحجوبة، ونسب استكمال السياسات — فهي تتحرك بمعزل عن كون أي شيء أصبح أكثر أمانًا، وهي المقاييس الأكثر احتمالًا أن تُطلب منك.
- تغطية نماذج التهديدات وجرد الصلاحيات عبر المزايا المنشورة
- عدد المكوّنات التي لا تزال تحمل خصائص الثلاثي القاتل الثلاث، باتجاه تنازلي
- زمن الكشف مقيسًا من أقدم دليل في سجلات التتبع، لا من البلاغ
- تجنّب أعداد المحاولات وإجمالي الطلبات المحجوبة — حركة لا وضع أمني