مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.
◆ دورة مجانية · لمهندسي الأمن والذكاء الاصطناعي · 4 وحدات · 25 درسًا

تأمين أنظمة الذكاء الاصطناعي

نمذجة التهديدات والاختبار والتحصين والاستجابة — الدفاع عن أنظمة الذكاء الاصطناعي والوكلاء عملياً

ابدأ الدرس الأول ←
الوحدة 1 · 6 دروس

نمذجة التهديدات لأنظمة الذكاء الاصطناعي

أين تنهار نماذج التهديدات التقليدية أمام الذكاء الاصطناعي، وكيف تجرد سطح الهجوم الحقيقي لميزة تملكها، وكيف ترسم حدود الثقة حين يستهلك النموذج نفسه مدخلات غير موثوقة، ورسم مخطط تدفق البيانات لميزة قائمة على نموذج لغوي كبير، وتعداد التقنيات باستخدام MITRE ATLAS، وتوثيق المخاطر التي قرّرت ألّا تدافع ضدها.

  1. لماذا تُخطئ نماذج التهديدات التقليدية في الذكاء الاصطناعي
  2. رسم خريطة سطح الهجوم
  3. حدود الثقة حين يكون النموذج غير موثوق
  4. رسم مخطط تدفق البيانات لميزة نموذج لغوي كبير
  5. تعداد التقنيات باستخدام MITRE ATLAS
  6. تقرير ما لن تدافع ضده
✎ اختبر نفسك: 8 أسئلة ←
الوحدة 2 · 7 دروس

سطح الهجوم بالتفصيل

حقن التعليمات بعمق هندسي ولماذا لا تصمد الفلترة وحدها، والحقن غير المباشر عبر كل قناة إدخال، والثلاثي القاتل اختبارًا للتصميم، وتسميم الأدوات وسلسلة إمداد MCP، وتلوّث الذاكرة والسياق، والصلاحيات المفرطة، والجرد الكامل لمسارات تسريب البيانات.

  1. حقن التعليمات بعمق هندسي
  2. الحقن غير المباشر وجرد قنوات الإدخال
  3. الثلاثي القاتل اختبارًا للتصميم
  4. تسميم الأدوات وسلسلة إمداد MCP
  5. تلوّث الذاكرة والسياق
  6. الصلاحيات المفرطة ومسارات تسريب البيانات
  7. تصنيف أساليب كسر القيود
✎ اختبر نفسك: 9 أسئلة ←
الوحدة 3 · 6 دروس

التحصين والضوابط

مبدأ أقل الصلاحيات للوكلاء وتحديد نطاق الوصول إلى الأدوات، والبيئات المعزولة وضبط الاتصال الخارجي، وبوابات الموافقة على الأفعال التي لا رجعة فيها، والمخرجات المنظّمة والتوليد المقيّد، ونماذج ضوابط الحماية وكلفة إنذاراتها الكاذبة، وهوية الوكيل وسجلات التدقيق بالتتبّع الكامل، والدفاع متعدد الطبقات مع عرض صريح لما لا يستطيع أي ضابط منفرد أن يصمد أمامه.

  1. مبدأ أقل الصلاحيات للوكلاء
  2. البيئات المعزولة وضبط الاتصال الخارجي
  3. بوابات الموافقة على الأفعال التي لا رجعة فيها
  4. المخرجات المنظّمة والتوليد المقيّد
  5. نماذج ضوابط الحماية وكلفة إنذاراتها الكاذبة
  6. الهوية وسجلات التدقيق والدفاع متعدد الطبقات
✎ اختبر نفسك: 8 أسئلة ←
الوحدة 4 · 6 دروس

الاختبار والاستجابة والحوكمة

تنفيذ تمرين هجومي مُصرَّح به من البداية إلى النهاية، وتحويل النتائج إلى اختبارات انحدار أمنية في التكامل المستمر (CI)، واستخدام الاختبار الهجومي الآلي دون المبالغة في قيمته، واكتشاف حادثة ذكاء اصطناعي في بيئة التشغيل الفعلي، والاستجابة حين يكون المكوّن المُخفِق نموذجًا لا خادمًا، وإغلاق الحلقة عبر مراجعة ما بعد الحادثة والحوكمة.

  1. تنفيذ تمرين مُصرَّح به
  2. اختبارات الانحدار الأمنية في التكامل المستمر
  3. الاختبار الهجومي الآلي وحدوده
  4. اكتشاف حادثة ذكاء اصطناعي في بيئة التشغيل الفعلي
  5. الاستجابة حين يكون الإخفاق في النموذج
  6. مراجعة ما بعد الحادثة والحوكمة
✎ اختبر نفسك: 8 أسئلة ←