الثلاثي القاتل اختبارًا للتصميم
ثلاث خصائص، تُطبَّق على كل مكوّن
هذه أنفع قاعدة تصميم في هذا المجال: يتحوّل المكوّن إلى محرّك لتسريب البيانات (Exfiltration) حين يجمع بين الوصول إلى بيانات خاصة، والتعرّض لمحتوى غير موثوق، وقناة للتواصل مع الخارج. وقيمة الثلاثي القاتل (Lethal trifecta) أنه يحوّل قلقًا غير محدود إلى خاصية قابلة للتحقق. طبّقه على كل عملية في مخططك، واحدةً تلو الأخرى، وأجب عن ثلاثة أسئلة بنعم أو لا بالأدلة لا بالحدس. هل يقرأ هذا المكوّن أي شيء لا ينبغي أن يراه المستخدم أو العالم — سجلات العملاء، أو بيانات الاعتماد، أو مستندات مستأجرين آخرين، أو السياسات الداخلية؟ هل ينشأ أي شيء يقرؤه خارج حدّ الثقة لديك، بما في ذلك عبر مسارات الغسل في الدرس السابق؟ وهل يستطيع أن يجعل بايتات تصل إلى مكان يستطيع المهاجم رؤيته؟ المكوّنات التي تجتمع فيها الثلاثة تتصدّر قائمة المعالجة، والحل هو إزالة ضلع لا الدفاع عن المزيج.
- بيانات خاصة، ومحتوى غير موثوق، وقناة خارجية — تُفحص لكل مكوّن، لا للنظام ككل
- أجب عن كل سؤال بأدلة من الإعدادات، لا من النية المعمارية
- اجتماع الثلاثة يعني أن الحل بنيوي، لا تعليمات أفضل
- إزالة ضلع واحد أرخص وأكثر ديمومة من الدفاع عن الثلاثة
كسر ضلع عمليًا
لكل ضلع وسائل تخفيف حقيقية وتكاليف حقيقية، والاختيار بينها قرار يخص المنتج بقدر ما يخص الأمن. إزالة الوصول إلى البيانات الخاصة تعني تقسيم سير العمل: الوكيل الذي يتصفّح محتوى خارجيًا لا يحصل على سجلات العملاء، وخطوة منفصلة ذات صلاحيات تعمل فقط على محتوى سبق تحويله إلى حقول منظّمة متحقَّق منها. وإزالة المحتوى غير الموثوق نادرًا ما تكون ممكنة في ميزة قيمتها قراءة مواد خارجية، لكن يمكن تضييقه — مجموعة مستندات مُراجَعة بدل التصفّح المفتوح، أو خطوة جلب تستخرج البيانات وفق مخطط بدل تمرير نص حرّ إلى السياق. أما إزالة القناة الخارجية فهي عادةً الخطوة الأعلى أثرًا، لأنها قابلة للفرض في البنية التحتية: منع الاتصال الخارجي (Egress) افتراضيًا، ولا بناء لعناوين URL اعتباطية، ولا عرض تلقائي لمحتوى بعيد، ولا صلاحية كتابة في وجهات مشتركة. اختر الضلع الذي تستطيع فرضه خارج النموذج.
- قسّم سير العمل بحيث تعمل الخطوات ذات الصلاحيات على حقول متحقَّق منها، لا على نص خام
- ضيّق التعرّض للمحتوى غير الموثوق حيث لا يمكنك إزالته: مجموعات مستندات مُراجَعة، واستخراج وفق مخطط
- إزالة الاتصال الخارجي هي الأسهل فرضًا عادةً لأن البنية التحتية، لا النموذج، هي التي تتحكم فيها
- فضّل الضلع الذي يقع ضابطه خارج عملية اتخاذ القرار في النموذج
أين تتوقف هذه القاعدة
الثلاثي القاتل اختبار تصميم لتسريب البيانات، ومعاملته نموذجًا كاملًا للمخاطر هو الخطأ الذي يجب تجنّبه. الضرر الجسيم لا يحتاج إلى أي من الأضلاع الثلاثة مجتمعة. وكيل لا يصل إلى بيانات خاصة ولا يملك اتصالًا خارجيًا يستطيع مع ذلك حذف سجلات، أو إرسال تعليمات دفع خاطئة، أو دمج كود معطوب، أو إغلاق التذاكر الخطأ، أو نشر رسالة مسيئة — فالفعل التدميري محور منفصل عن تسرّب البيانات. والوكيل الذي يقرأ فقط يستطيع أن يضلّل مستخدمًا فيتصرّف بناءً على استنتاج مختلق، ونظام دعم قرار يعيد بصمت إجابات أهلية خاطئة قد يسبّب ضررًا أكبر مما يسبّبه تسريب. لذا أجرِ اختبار الثلاثي، ثم مرورًا ثانيًا تسأل فيه ما الذي يستطيع المكوّن تدميره أو إنفاقه أو إرساله، وثالثًا تسأل فيه كم ستكلّف إجابة خاطئة واثقة في هذا المجال. ثلاثة مرورات، وثلاث قوائم مختلفة.
- تسريب البيانات فئة ضرر واحدة؛ والتدمير والإنفاق والمراسلة فئات منفصلة
- الوكلاء الذين يقرؤون فقط يسبّبون ضررًا أيضًا بإنتاج استنتاجات خاطئة واثقة
- أجرِ ثلاثة مرورات: التسريب، والفعل، والتضليل — كل منها ينتج نتائج مختلفة
- نتيجة نظيفة في الثلاثي لا تعني نموذج تهديدات نظيفًا
جرّب بنفسك
لا يؤدي الاختبار غرضه إلا حين تأتي الإجابات الثلاث من الإعدادات لا مما قصده التصميم. مكوّن واحد، ونصف ساعة، والنتيجة إما ضلع تستطيع إزالته أو مخاطرة دوّنتها كتابةً.
خذ مكوّنًا واحدًا من ميزة ذكاء اصطناعي تشغّلها مؤسستك أو تصمّمها — عملية واحدة على المخطط، لا النظام كله — وأجب عن الأسئلة الثلاثة بالأدلة. ما البيانات الخاصة التي يستطيع الوصول إليها، وفق الصلاحيات الفعلية المحسوبة لبيانات الاعتماد خلف كل أداة لا وفق اسم الدور؟ ما المحتوى غير الموثوق الذي يصل إليه، بما في ذلك المحتوى المغسول عبر ملخص سابق أو ملاحظة حالة؟ وما كل الطرق التي يمكن أن تصل بها البايتات التي ينتجها إلى مكان يستطيع المهاجم رؤيته: اتصالات الشبكة، والموارد البعيدة المعروضة، والكتابة في المخازن المشتركة، والرسائل، وسلاسل الاستعلام لدى أطراف ثالثة، والسجلات، ونصوص الأخطاء؟ ثم سمِّ الضلع الذي تستطيع إزالته فعلًا وما ستكلّفه إزالته للميزة. القسم 3 من لوحة نمذجة التهديدات لميزات الذكاء الاصطناعي (AI Feature Threat-Model Canvas) في /templates/threat-model-canvas.md هو هذا الفحص بعينه. إن لم تكن لدى مؤسستك ميزة كهذه، فطبّقه على ميزة ذكاء اصطناعي في منتج تستخدمه، انطلاقًا من وثائقه المنشورة، وضع على كل إجابة علامة «مدعومة بدليل» أو «مفترضة». كل ما هنا يمكن الإجابة عنه بقراءة الإعدادات؛ وإن أردت تأكيد إجابة الاتصال الخارجي بتمرير علامة غير ضارة، فلا تفعل ذلك إلا على نظام تملكه أو لديك تفويض مكتوب باختباره، في بيئة غير إنتاجية وببيانات اصطناعية.
المكوّن: [عملية واحدة، لا الميزة كلها] فحص الثلاثي القاتل — أدلة لا نوايا البيانات الخاصة التي يصل إليها: [مجموعة الصلاحيات الفعلية المحسوبة، لا اسم الدور] المحتوى غير الموثوق الذي يصل إليه: [القناة، بما فيها المحتوى المغسول عبر خطوة سابقة] المسارات الخارجية: [شبكة / مورد معروض / كتابة مشتركة / رسالة / سلسلة استعلام / سجل / نص خطأ] هل الثلاثة موجودة؟ [نعم/لا] الضلع الذي نستطيع إزالته: ما تكلّفه إزالته للميزة: المسؤول والتاريخ: المرور الثاني — ما الذي يستطيع هذا المكوّن تدميره أو إنفاقه أو إرساله: المرور الثالث — كم تكلّف إجابة خاطئة واثقة في هذا المجال:
- كل إجابة من الإجابات الثلاث تستند إلى مصدر في الإعدادات — مجموعة صلاحيات محسوبة، أو مسار إدخال، أو قاعدة اتصال خارجي — لا إلى نية تصميمية
- قائمة المسارات الخارجية لديك تتضمن مسارًا واحدًا على الأقل ليس اتصال شبكة مباشرًا
- ينتهي المكوّن إما بضلع قابل للإزالة مُسمّى مع تكلفته، أو — إن خرج نظيفًا — بملاحظة مكتوبة عمّا يستطيع مع ذلك تدميره أو إنفاقه أو إرساله
كيف ينطبق هذا عليّ؟
يصبح مساعد الذكاء الاصطناعي خطيرًا فعلًا حين يستطيع نظام واحد رؤية معلومات خاصة، وقراءة محتوى من مصادر خارجية، وإرسال معلومات إلى الخارج. أي اثنين من هذه يمكن عادةً التعامل معهما؛ أما الثلاثة معًا فهي حيث يمكن لتعليمة مخفية في مستند أن تتحوّل إلى تسريب بيانات.
- اسأل عن أي أداة ذكاء اصطناعي: ماذا ترى، وماذا تقرأ، وإلى أين تستطيع أن ترسل
- الأدوات التي تلخّص محتوى خارجيًا وتحتفظ أيضًا ببياناتك الخاصة تستحق التدقيق
- التسريب ليس الضرر الوحيد — فالوكيل الذي يتصرّف بناءً على تعليمة سيئة يستطيع أيضًا أن يدمّر أو يرسل
استخدم الثلاثي القاتل أداةً للفرز عبر كل أصول الذكاء الاصطناعي لديك. قيّم كل مكوّن منشور على الخصائص الثلاث من الإعدادات الفعلية، فتحصل على طابور معالجة مرتّب حسب الأولوية لا يعتمد على أن يتنبأ أحد بهجوم محدد.
- قيّم المكوّنات من الإعدادات الحيّة — النية المُعلنة تقلّل دائمًا من تقدير الوصول الفعلي
- ضبط الاتصال الخارجي هو الضلع الذي تستطيع فرضه والتحقق منه بمعزل عن فريق التطبيق
- أتبِع مرور الثلاثي بمرور للأفعال التدميرية ومرور لضرر الإجابات الخاطئة
- سجّل الضلع الذي أزلته لكل مكوّن؛ فذلك هو الضابط الذي يجب أن تُجري عليه اختبار انحدار
صمّم التقسيم قبل أن تحتاج إليه. النمط الذي يصمد هو مكوّن استرجاع أو تصفّح بلا بيانات اعتماد ولا اتصال خارجي، يسلّم حقولًا منظّمة متحقَّقًا منها إلى مكوّن ذي صلاحيات لا يرى أبدًا النص الخارجي الخام.
- مرّر حقولًا منظّمة بين المراحل، لا نصًا حرًّا يحمل كل ما استُرجع
- ابنِ عناوين URL الخارجية من قوالب في قائمة سماح — لا من نصوص يقدّمها النموذج أبدًا
- عطّل الجلب أو العرض التلقائي للموارد البعيدة في أي شيء يعرض المخرجات
- أثبت التقسيم في الاختبارات: إذا تلقّت خطوة ذات صلاحيات نصًا خارجيًا خامًا فيجب أن يفشل البناء
الثلاثي القاتل أسرع طريقة لجعل نقاش مخاطر الذكاء الاصطناعي ملموسًا مع فريق المعمارية لدى العميل، لأنه ينتج قائمة محددة من المكوّنات لا تحذيرًا عامًا، والمعالجة تغيير في التصميم يمكنهم جدولته.
- استعرض مخطط العميل نفسه خطوةً خطوة وضع علامات الخصائص الثلاث مباشرةً في الاجتماع
- ادفع نحو التقسيم البنيوي بدل شراء أداة ضوابط حماية — فهو يصمد أمام تغيّر النماذج
- نبّه صراحةً إلى أن نتيجة نظيفة في الثلاثي لا تغطي الأفعال التدميرية أو المضلِّلة
- اترك طريقة التقييم لدى العميل حتى يعيد تطبيقها على الميزة التالية