مقاييس تصمد أمام الواقع
المقاييس الأربعة الجديرة بالتتبّع
أربعة قياسات تلتقط معظم ما يغيّره الفرز بمساعدة الذكاء الاصطناعي (AI). زمن الفرز: المدة من وصول التنبيه إلى قرار بشأنه، متتبَّعة كتوزيع لكل فئة تنبيهات. عبء الإنذارات الكاذبة (False positives): كم دقيقة من وقت المحلّلين يوميًا تذهب إلى تنبيهات تنتهي بتصنيفها حميدة. جودة التصعيد: من الحالات المرفوعة إلى مستوى أعلى، ما النسبة التي يراها المستوى المستقبِل جديرة بالتصعيد — تُقاس بسؤالهم، لا بالافتراض. ساعات المحلّلين المستعادة: وقت تحرّر فعلًا لصيد التهديدات (Threat hunting) أو هندسة الكشف أو الضبط، يُتحقَّق منه بمعرفة أين ذهبت الساعات فعلًا. كل منها قابل للقياس، وكل منها مرتبط بشيء وُجد مركز العمليات الأمنية (SOC) لأجله، وكل منها — وهنا المشكلة — قابل للتلاعب. الشرائح التالية عن هذا التلاعب.
- زمن الفرز كتوزيع لكل فئة، لا متوسط واحد ممزوج
- عبء الإنذارات الكاذبة بدقائق المحلّلين، وهي الوحدة التي يُقاس بها الإرهاق
- جودة التصعيد يحكم عليها المستوى المستقبِل، لا المرسِل
- الساعات المستعادة لا تُحتسب إلا إن استطعت إظهار أين ذهبت
قانون غودهارت، نسخة مركز العمليات الأمنية
حين يصبح المقياس هدفًا، يكفّ عن أن يكون مقياسًا جيدًا — وكل واحد من الأربعة يفشل بطريقته حين يصبح الرقم الذي تراقبه القيادة. حسّن زمن الفرز، فيتعلّم النظام أن الإغلاق السريع يحصد درجات عالية، فتصبح القرارات أسرع وأكثر سطحية؛ والسرعة دون حد أدنى مقترن للجودة تقيس العجلة. حسّن عبء الإنذارات الكاذبة، فيكون أرخص طريق هو الرفض بعدوانية أكبر، فيتحوّل إرهاق المحلّلين إلى إخفاقات صامتة. حسّن جودة التصعيد، فلا يصعّد الذكاء الاصطناعي إلا الحالات المؤكدة، وتموت في الطابور الحالات الغامضة المثيرة — وهي بالضبط ما يحتاج المستوى الثالث إلى رؤيته. حسّن الساعات المستعادة، فتتبخّر الساعات في فراغ غير مقاس. كل مقياس يحتاج إلى مقياس مضاد يراقب اتجاه فشله.
- الفرز السريع دون فحص للجودة يكافئ القرارات السطحية
- عبء الإنذارات الكاذبة ينخفض أسرع بالرفض أكثر — بما في ذلك أشياء كانت حقيقية
- ذكاء اصطناعي يُقيَّم على دقة التصعيد يتعلّم إخفاء الحالات الغامضة
- اقرن كل مقياس رئيسي بالمقياس المضاد الذي يكشف إساءة استخدامه
إغراء خفض حجم التنبيهات
«خفّضنا حجم التنبيهات بنسبة 70%» هو الرقم الأكثر تداولًا في هذه الفئة من المنتجات، وهو وحده يكاد لا يعني شيئًا. لخفض الحجم شكل مشروع — إزالة التكرار، وربط التنبيهات المترابطة في حالات، وكبت الأنماط المعروف أنها حميدة بقواعد موثّقة. وله أيضًا شكل غير مشروع: رفع العتبات والرفض بقسوة أكبر، وهذا ينتج الرقم الرئيسي نفسه تمامًا. المقياس لا يستطيع التمييز بين قمع أذكى وقمع أضيق. يجب أن يأتي أي ادعاء بالخفض مرفقًا بطريقته — ما الذي كُبت أو أُزيل تكراره أو رُفض بالضبط، ووفق أي منطق — ومع دليل على ما احتواه الحجم المستبعد. وهذا يتطلب النظر فعلًا في الحجم المستبعد.
- إزالة التكرار والربط والكبت الموثّق هي خفض حقيقي
- رفع العتبات والرفض العدواني ينتجان الرقم الرئيسي نفسه
- اطلب الطريقة وراء أي نسبة خفض، لا النسبة وحدها
- ادعاء الخفض دون تحليل للتنبيهات المستبعدة ادعاء غير متحقَّق منه
قياس الإخفاقات: خذ عيّنات مما رفضه
التنبيهات التي يصعّدها الذكاء الاصطناعي تخضع لمراجعة بشرية بحكم تعريفها؛ أما التي يرفضها فهي حيث تتجمّع المخاطر غير المقاسة. الأداة الصادقة الوحيدة هي أخذ العيّنات: اسحب شريحة عشوائية من التنبيهات التي رفضها الذكاء الاصطناعي وفق جدول — يوميًا خلال التجربة، وأسبوعيًا في التشغيل المستقر — واجعل محلّلًا يعالجها من الصفر، دون أن يرى استدلال الذكاء الاصطناعي أولًا، كي تكون المراجعة مستقلة لا تمرينًا في الموافقة على ملخص واثق. تتبّع نسبة الاختلاف وعامل أي تحرّك فيها كإنذار، لأنها أيضًا نظام إنذارك المبكر للانحراف: تغيّر بيانات القياس، أو أساليب جديدة لدى المهاجمين، أو تحديث للنموذج. وقت المراجعة هذا كلفة دائمة لتشغيل النظام. خصّص له ميزانية، وإلا أصبح معدّل الإخفاق رقمًا لا يعرفه أحد.
- خذ عيّنات عشوائية من التنبيهات المرفوضة وفق جدول ثابت، دائمًا، لا خلال التجربة فقط
- يعالج المراجعون العيّنة دون رؤية قرار الذكاء الاصطناعي واستدلاله
- ارتفاع نسبة الاختلاف إنذار بالانحراف قبل أن يصبح إحصاءً للإخفاقات
- كلفة أخذ العيّنات جزء من سعر التشغيل الحقيقي للنظام — خصّص لها ميزانية من البداية