الأُطر المرجعية: OWASP وATLAS وSAIF
قائمة OWASP لأهم 10 مخاطر في تطبيقات النماذج اللغوية الكبيرة
هي المفردات المعيارية في القطاع لمخاطر النماذج اللغوية الكبيرة (LLM). أبرز بنودها: حقن التعليمات (Prompt injection) (LLM01 — دائمًا في المرتبة الأولى)، والإفصاح عن المعلومات الحساسة، وثغرات سلسلة الإمداد، وتسميم البيانات والنماذج، وسوء التعامل مع المخرجات، والصلاحيات المفرطة (Excessive agency) (بند عصر الوكلاء: استقلالية زائدة، وصلاحيات كثيرة، وإشراف قليل)، وتسرّب تعليمات النظام (System prompt)، والاستهلاك غير المحدود. لست بحاجة إلى حفظ القائمة — بل أن تعرف أن زميلًا متمرّسًا في الأمن حين يقول «LLM01» فهو يقصد حقن التعليمات، وأن «الصلاحيات المفرطة» هو البند الذي يقابل كل ما تقوله هذه الدورة عن الأدوات محدودة النطاق وبوابات الموافقة.
MITRE ATLAS
إطار ATLAS بالنسبة لهجمات الذكاء الاصطناعي هو ما يمثّله MITRE ATT&CK بالنسبة للاختراقات التقليدية: مصفوفة بتكتيكات الخصوم وتقنياتهم التي تستهدف أنظمة الذكاء الاصطناعي، من استطلاع النموذج المستهدف مرورًا بالتسميم والتهرّب وصولًا إلى التسريب. وقيمته: حين تسأل القيادة «هل سطح هجوم الذكاء الاصطناعي حقيقي فعلًا أم مجرد تهويل من الموردين؟»، يكون ATLAS هو الإجابة المحايدة غير المرتبطة بأي مورّد — حوادث حقيقية، وتقنيات مصنّفة، ودراسات حالة موثّقة.
إطار Google SAIF
إطار الذكاء الاصطناعي الآمن (Secure AI Framework) هو إسهام Google: ستة عناصر تشمل بنية تحتية آمنة افتراضيًا، وتوسيع الكشف والاستجابة ليشمل الذكاء الاصطناعي، وأتمتة الدفاع، وتوحيد الضوابط على مستوى المنصات، وإجراءات تخفيف متكيّفة، وتقييم المخاطر في سياقها. وتظهر أهمية SAIF عند تقييم أي منصة ذكاء اصطناعي سحابية، لأنه يتيح لك التحقق مما إذا كانت ضوابط الأمن في المنصة تطبيقًا لإطار منشور أم مجرد مزايا مرتجلة. استخدم SAIF لتوجيه التصميم، مع ATLAS لتعداد التهديدات، وOWASP لقوائم التحقق على مستوى التطبيق.
تشغيل الأُطر عمليًا
الأُطر المرجعية تحوّل عبارة «ثِق بنا» إلى «دقّق علينا». ثلاث خطوات: (1) اختر الإطار الذي ستعتمده مؤسستك لتقييم مخاطر الذكاء الاصطناعي — وإن لم يكن هناك إطار، فإن تقديمك لواحد يجعلك المرجع في القاعة. (2) اطلب من الموردين ربط ضوابطهم بالإطار الذي اخترته — هكذا تقصر اجتماعات المراجعة الأمنية. (3) استخدم بندَي «الصلاحيات المفرطة» و«سلسلة الإمداد» لفتح النقاش الداخلي حول حوكمة (Governance) الوكلاء. الفريق الذي يأتي بالإطار هو من يضع معايير التقييم.