لماذا تُخطئ نماذج التهديدات التقليدية في الذكاء الاصطناعي
الافتراضات التي تنهار
تقوم نمذجة التهديدات (Threat modelling) التقليدية للتطبيقات على أربعة افتراضات تنتهكها ميزة النموذج اللغوي الكبير (LLM) بهدوء. الأول: أن مسار التنفيذ ثابت، فيمكنك تعداد المسارات — أما في الوكيل الذكي (Agent) فالنموذج يختار الاستدعاء التالي أثناء التشغيل. الثاني: أن التعليمات والبيانات قابلة للفصل وأن الواجهة تفرض هذا الفصل، كما يمنع الاستعلام ذو المعاملات (Parameterised query) أي قيمة من أن تصبح أمر SQL — بينما التعليمات (Prompt) سلسلة نصية واحدة لا تمييز فيها. الثالث: أن المدخلات المتطابقة تنتج مخرجات متطابقة، فالاختبار الناجح يبقى ناجحًا — لكن أخذ العيّنات يجعل السلوك توزيعًا احتماليًا لا حقيقة ثابتة. الرابع: أن الثقة تتدفق إلى الخارج من حدّ تم التحقق منه، فما إن يصبح المحتوى داخل النظام حتى يمكن معالجته بأمان — غير أن مستندًا من مجموعة مستنداتك المفهرسة نفسها قد يحمل تعليمات تعيد توجيه النظام الذي يقرؤه. لا شيء من هذا يجعل المنهجية بالية، لكنه يعني أن ما تنمذجه لم يعد برنامجًا له سطح هجوم، بل صار صانع قرار له سطح إقناع.
- النموذج يختار مسار التنفيذ أثناء التشغيل، لذا فتعداد المسارات ناقص بطبيعته
- لا فصل مفروضًا بين التعليمات والبيانات — فالتعليمات قناة واحدة تحمل الاثنين معًا
- عدم الحتمية يعني أن نجاح اختبار واحد لا يثبت إلا القليل عن التشغيل التالي
- المحتوى الداخلي ليس محتوى موثوقًا: مجموعة مستنداتك نفسها مسار توصيل للمهاجم
ما الذي لا يزال يصلح، ويُطابَق بوضوح
لا تتخلَّ عن المنهجية. الأصول ونقاط الدخول وحدود الثقة (Trust boundaries) ومخططات تدفق البيانات وSTRIDE كلها تنتقل كما هي — ما يتغيّر هو قائمة الحالات التي تعلّقها على كل فئة. الانتحال (Spoofing) يصبح هوية الوكيل والأداة: هل تستطيع إثبات أي نسخة من الوكيل، تعمل لحساب أي مستخدم، أجرت هذا الاستدعاء؟ والعبث (Tampering) يصبح تسميم مجموعة مستندات الاسترجاع أو مخزن الذاكرة أو تعريف أداة. والإنكار (Repudiation) يصبح غياب أثر كامل بما يكفي لإعادة بناء سبب تصرّف النموذج. والإفصاح عن المعلومات (Information disclosure) يصبح تسريب البيانات (Exfiltration) عبر المخرجات والآثار الجانبية للأدوات. وحجب الخدمة (Denial of service) يصبح استهلاكًا غير محدود، لأن حلقة بلا سقف هي هجوم على الميزانية. ورفع الصلاحيات (Elevation of privilege) يصبح «النائب المرتبك» (Confused deputy) والصلاحيات المفرطة (Excessive agency) — فالوكيل يملك الصلاحية أصلًا، ولا يحتاج المهاجم إلا إلى إعادة توجيهها. المرور على STRIDE بهذه الحالات في يدك هو ساعة أولى مثمرة مع أي فريق.
- الانتحال ← هوية الوكيل والأداة؛ من أجرى هذا الاستدعاء فعلًا، ونيابةً عن مَن؟
- العبث ← مجموعة مستندات مسمومة، وذاكرة مسمومة، وتعريفات أدوات معدّلة
- الإفصاح عن المعلومات ← تسريب البيانات عبر عرض المخرجات والآثار الجانبية للأدوات
- رفع الصلاحيات ← النائب المرتبك والصلاحيات المفرطة، لا تجاوز سعة المخزن المؤقت
العنصر الجديد: تأثير بلا وصول
العنصر الجديد حقًا هو مهاجم لا يصادق على نظامك إطلاقًا. يكتب فقرة في صفحة ويب، أو تذكرة دعم، أو مستند مشترك، أو ملف في مستودع، أو دعوة تقويم، أو مراجعة منتج — أي مكان سيستوعبه خط المعالجة لديك لاحقًا — ثم ينتظر أن يقرأها نظامك نيابةً عن مستخدم شرعي. لا توجد جلسة لإلغائها ولا بيانات اعتماد لتدويرها، لأنه لم يُستخدم أي منها أصلًا. وهذا يفرض تغييرًا في طريقة تعداد الخصوم. لم يعد السؤال من يستطيع استدعاء الـ API فحسب، بل من يستطيع وضع نص أمام النموذج، مباشرة أو في نهاية المطاف، وماذا يستطيع النموذج أن يفعل بمجرد إقناعه. عدِّد المواقع لا الهويات: المستخدم النهائي، وكاتب أي محتوى يُستوعَب، ومورّد أي أداة أو خادم، ومستأجر آخر تتشارك بياناته الفهرس نفسه، والشخص من الداخل الذي يستطيع الكتابة في مجموعة المستندات دون مراجعة.
- قد لا يملك المهاجم حسابًا ولا رمز وصول ولا مسارًا شبكيًا إليك
- عدِّد كل طرف يستطيع التأثير في محتوى سيقرؤه نظامك في نهاية المطاف
- مواقع يجب نمذجتها: المستخدم، وكاتب المحتوى، ومورّد الأداة، والمستأجر المشارك، ومن يكتب في المستندات
- اسأل ماذا يستطيع النموذج الوصول إليه بعد إقناعه — القدرة لا الهوية هي ما يحدّد الخطورة
حدّد نطاق ميزة واحدة، لا الاستراتيجية
أكثر ما تفشل فيه جلسات نمذجة التهديدات أن النطاق وُضع على ارتفاع خاطئ. نمذجة «برنامجنا للذكاء الاصطناعي» تنتج قائمة مخاوف؛ أما نمذجة ميزة واحدة فتنتج قرارات. اختر قدرة واحدة منشورة أو مخطّطًا لها، لها مالك مسمّى، وفئة مستخدمين محددة، ومجموعة بيانات معيّنة، وقائمة أدوات يمكن تعدادها — مساعد الدعم، أو روبوت مراجعة الكود، أو أداة تلخيص المستندات — وحدّد للتمرين سقفًا زمنيًا. يجب أن تخرج من القاعة أربعة مخرجات: مخطط تدفق بيانات موضّح عليه حدود الثقة، وقائمة مرتّبة بالأولوية للتقنيات التي تعتبرها ضمن النطاق، وقائمة ضوابط بمالكين مسمّين وتواريخ، وبيان صريح بما قرّرت ألّا تدافع ضده. وسجّل أيضًا المحفّزات التي تستدعي إعادة النظر — أداة جديدة، أو صلاحية موسّعة، أو مصدر محتوى جديد، أو تغيّر في هوية المستخدمين. وكل ما عدا ذلك ورشة عمل، لا ضابط أمني.
- ميزة واحدة، ومالك واحد، ومجموعة بيانات واحدة، وقائمة أدوات واحدة — وسقف زمني
- اخرج بأربعة مخرجات: المخطط، وقائمة التقنيات، وخطة الضوابط، والمخاطر المقبولة
- سجّل محفّزات إعادة النظر: أدوات جديدة، وصلاحيات أوسع، ومصادر استيعاب جديدة، ومستخدمون جدد
- نموذج التهديدات الذي لا يرتبط به مالكون وتواريخ هو مستند، لا قرار
كيف ينطبق هذا عليّ؟
نمذجة التهديدات لميزة ذكاء اصطناعي تعني أن تسأل قبل إطلاقها: ما الذي يمكن أن يسوء عن قصد؟ من يستطيع التأثير فيما يقرؤه النظام، وما المسموح للنظام أن يفعله، وإلى أي مدى يمكن أن يمتد أثر قرار سيئ. إنها محادثة منظّمة، لا أداة متخصصة.
- كل من يستطيع وضع نص في مكان يقرؤه النظام هو مهاجم محتمل
- السؤال المفيد هو ماذا يستطيع النظام أن يفعل، لا ماذا يستطيع أن يقول فقط
- الهدف ليس نموذجًا لا يخطئ أبدًا — بل نظامًا يحدّ من الضرر
نفّذ هذا امتدادًا لممارسة النمذجة القائمة لديك لا عملية موازية. أعد استخدام رموز المخططات نفسها، وسلّم الخطورة نفسه، ونظام التتبّع نفسه، حتى تصل نتائج الذكاء الاصطناعي إلى قائمة العمل التي يعمل عليها المهندسون أصلًا، لا إلى مستند منفصل لا يقرؤه أحد.
- وسّع قائمة STRIDE الحالية بحالات الذكاء الاصطناعي بدل اختراع منهجية جديدة
- اشترط قائمة معدّدة بالأدوات والصلاحيات قبل الجلسة — معظم الفرق لا تستطيع تقديمها، وهذه الفجوة بحد ذاتها هي النتيجة الأولى
- حدّد الخطورة بما يستطيع الوكيل الوصول إليه وما يمكن التراجع عنه، لا بمدى حداثة التقنية
- أدخل قائمة التقنيات مباشرة في خطة الاختبار حتى تتشارك النمذجة والاختبار قائمة عمل واحدة
أنت تملك الحقائق التي تحتاجها النمذجة: مخططات الأدوات الفعلية، وبيانات الاعتماد المستخدمة فعلًا، وكل مصدر محتوى يصل إلى السياق، وما ستنفّذه بيئة التشغيل دون تحقق. أنتج هذا الجرد من الكود والإعدادات، لا من الذاكرة أو مستندات التصميم.
- ولّد جرد الأدوات والصلاحيات من الإعدادات الفعلية قيد التشغيل، لا من ملف README
- اذكر كل حقل يصل إلى التعليمات، بما في ذلك البيانات الوصفية وأسماء الملفات ونصوص الأخطاء
- حدّد الأفعال التي لا رجعة فيها — فهذه القائمة توجّه معظم عمل الضوابط لاحقًا
- احفظ المخطط في المستودع بجانب الكود حتى يتغيّر حين يتغيّر النظام
عادةً ما يطلب العملاء تقييمًا لمخاطر الذكاء الاصطناعي على مستوى محفظة كاملة، فينتج عن ذلك نتائج عامة. فاوِض لتقليص النطاق إلى ميزتين أو ثلاث ميزات حقيقية، وانمذجها كما يجب، واستخدم النتيجة قالبًا يستطيع العميل تكراره دونك.
- العمق في بضع ميزات حقيقية أفضل من الاتساع عبر جرد النظام كله
- ابنِ قائمة تحقق بالتقنيات قابلة لإعادة الاستخدام، مفصّلة على بنية العميل، وسلّمها له
- اشترط تسجيل المخاطر المقبولة وتوقيعها، وإلا أصبحت مشكلتك أنت بصمت
- اترك خلفك محفّزات إعادة النظر حتى يصمد النموذج أمام التغيير المعماري التالي