مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

الأُطر المرجعية: OWASP وATLAS وSAIF

⁧ثلاثة أطر لأمن الذكاء الاصطناعي، ثلاث مهام مختلفة⁩⁧OWASP Top 10 لتطبيقات LLM⁩⁧قائمة تحقق على مستوى التطبيق⁩⁧حقن التعليمات⁩⁧مباشر، وغير مباشر عبر المحتوى⁩⁧صلاحيات مفرطة⁩⁧أدوات كثيرة وقيود قليلة⁩⁧مخاطر سلسلة الإمداد⁩⁧النماذج والإضافات وبيانات التدريب⁩⁧كشف البيانات الحساسة⁩⁧تسرّب عبر المخرجات والسجلات⁩⁧استخدمه عندما⁩⁧تراجع نظامًا قبل إطلاقه⁩⁧MITRE ATLAS⁩⁧مصفوفة تكتيكات المهاجمين⁩⁧شبكة التكتيكات × التقنيات⁩⁧نظير ATT&CK للذكاء الاصطناعي⁩⁧دراسات حالة موثّقة⁩⁧هجمات مرصودة لا نظريات⁩⁧استطلاع ← وصول ← أثر⁩⁧كيف يتطوّر الهجوم فعليًا⁩⁧مفردات مشتركة⁩⁧يتحدثها الفريقان الأحمر والأزرق⁩⁧استخدمه عندما⁩⁧تنمذج التهديدات لنظام ما⁩⁧Google SAIF⁩⁧إطار الأمان من التصميم⁩⁧يوسّع الضوابط القائمة⁩⁧أعد استخدام أسسك الأمنية⁩⁧أتمتة الدفاعات⁩⁧لمواكبة الهجمات الجديدة⁩⁧ضوابط حماية على مستوى المنصة⁩⁧مجموعة ضوابط واحدة لنماذج كثيرة⁩⁧المخاطر في سياق الأعمال⁩⁧من البداية للنهاية، لا النموذج وحده⁩⁧استخدمه عندما⁩⁧تصمّم النظام من البداية⁩⁧عدسات متكاملة، لا معايير متنافسة⁩⁧صمّم باستخدام SAIF⁩⁧نمذج التهديدات باستخدام ATLAS⁩⁧راجع باستخدام OWASP⁩⁧ثم كرّر⁩⁧قائمة التحقق تكشف النواقص، والمصفوفة تسمّي المهاجم، وإطار التصميم يمنع بناء المشكلة من الأساس⁩
⁧ثلاث عدسات على البرنامج نفسه — لا تغني إحداها عن الأخريين⁩

قائمة OWASP لأهم 10 مخاطر في تطبيقات النماذج اللغوية الكبيرة

هي المفردات المعيارية في القطاع لمخاطر النماذج اللغوية الكبيرة (LLM). أبرز بنودها: حقن التعليمات (Prompt injection) (LLM01 — دائمًا في المرتبة الأولى)، والإفصاح عن المعلومات الحساسة، وثغرات سلسلة الإمداد، وتسميم البيانات والنماذج، وسوء التعامل مع المخرجات، والصلاحيات المفرطة (Excessive agency) (بند عصر الوكلاء: استقلالية زائدة، وصلاحيات كثيرة، وإشراف قليل)، وتسرّب تعليمات النظام (System prompt)، والاستهلاك غير المحدود. لست بحاجة إلى حفظ القائمة — بل أن تعرف أن زميلًا متمرّسًا في الأمن حين يقول «LLM01» فهو يقصد حقن التعليمات، وأن «الصلاحيات المفرطة» هو البند الذي يقابل كل ما تقوله هذه الدورة عن الأدوات محدودة النطاق وبوابات الموافقة.

MITRE ATLAS

إطار ATLAS بالنسبة لهجمات الذكاء الاصطناعي هو ما يمثّله MITRE ATT&CK بالنسبة للاختراقات التقليدية: مصفوفة بتكتيكات الخصوم وتقنياتهم التي تستهدف أنظمة الذكاء الاصطناعي، من استطلاع النموذج المستهدف مرورًا بالتسميم والتهرّب وصولًا إلى التسريب. وقيمته: حين تسأل القيادة «هل سطح هجوم الذكاء الاصطناعي حقيقي فعلًا أم مجرد تهويل من الموردين؟»، يكون ATLAS هو الإجابة المحايدة غير المرتبطة بأي مورّد — حوادث حقيقية، وتقنيات مصنّفة، ودراسات حالة موثّقة.

إطار Google SAIF

إطار الذكاء الاصطناعي الآمن (Secure AI Framework) هو إسهام Google: ستة عناصر تشمل بنية تحتية آمنة افتراضيًا، وتوسيع الكشف والاستجابة ليشمل الذكاء الاصطناعي، وأتمتة الدفاع، وتوحيد الضوابط على مستوى المنصات، وإجراءات تخفيف متكيّفة، وتقييم المخاطر في سياقها. وتظهر أهمية SAIF عند تقييم أي منصة ذكاء اصطناعي سحابية، لأنه يتيح لك التحقق مما إذا كانت ضوابط الأمن في المنصة تطبيقًا لإطار منشور أم مجرد مزايا مرتجلة. استخدم SAIF لتوجيه التصميم، مع ATLAS لتعداد التهديدات، وOWASP لقوائم التحقق على مستوى التطبيق.

تشغيل الأُطر عمليًا

الأُطر المرجعية تحوّل عبارة «ثِق بنا» إلى «دقّق علينا». ثلاث خطوات: (1) اختر الإطار الذي ستعتمده مؤسستك لتقييم مخاطر الذكاء الاصطناعي — وإن لم يكن هناك إطار، فإن تقديمك لواحد يجعلك المرجع في القاعة. (2) اطلب من الموردين ربط ضوابطهم بالإطار الذي اخترته — هكذا تقصر اجتماعات المراجعة الأمنية. (3) استخدم بندَي «الصلاحيات المفرطة» و«سلسلة الإمداد» لفتح النقاش الداخلي حول حوكمة (Governance) الوكلاء. الفريق الذي يأتي بالإطار هو من يضع معايير التقييم.