مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

تقرير ما لن تدافع ضده

⁧ما لن تدافع ضده، مكتوبًا وموقّعًا⁩⁧بعد الحادثة، لا يتميّز القبول غير المُعلَن عن السهو — والسجل هو الفارق⁩⁧تشريح بند واحد من المخاطر المقبولة⁩⁧السيناريو⁩⁧النتيجة التي يحققها المهاجم —⁩⁧لا التقنية التي يستخدمها⁩⁧السبب⁩⁧التكلفة · احتمال منخفض · المعالجة⁩⁧تعطّل الميزة · مغطّى في مكان آخر⁩⁧قَبِله⁩⁧شخص مُسمّى، مع تاريخ —⁩⁧غير الموقّع غير مقبول⁩⁧يُعاد فتحه عند⁩⁧فئة بيانات جديدة · أداة كتابة جديدة ·⁩⁧فئة مستخدمين جديدة · حادثة في القطاع⁩⁧ما يبقى قائمًا⁩⁧تدابير جزئية — الكشف دون⁩⁧المنع وضع أمني مختلف⁩⁧راجِع عند المحفّزات، لا حسب التقويم⁩⁧وصول أداة جديدة⁩⁧دخول فئة بيانات جديدة⁩⁧تغيّر فئة المستخدمين⁩⁧تغيّر نشر النموذج⁩⁧أعِد اشتقاق القبول⁩⁧قُبل لأن الأدوات للقراءة فقط؟⁩⁧يسقط لحظة وصول أداة كتابة⁩⁧حيث لا يتوفر المنع — صرّح بذلك، ثم احتوِ واكشف⁩⁧حقن التعليمات⁩⁧لا تقنية تمنعه بشكل موثوق⁩⁧الاحتواء⁩⁧أدوات أضيق · منع الاتصال الخارجي · بوابات⁩⁧الكشف⁩⁧تسلسل أدوات غريب · فخاخ كناري · تغيّر المعدّلات⁩⁧حقن متوقَّع ومحصور ومكشوف — أفضل من ادّعاء أن مرشّحًا يمنعه⁩⁧السجل الذي لم يُعَد فتح أي بند فيه لا أحد يقرؤه⁩
⁧اكتب السيناريو والسبب واسم من قَبِل مع التاريخ والمحفّزات التي تعيد فتح القرار — غير الموقّع غير مقبول.⁩

لكل نموذج تهديدات قائمة بما هو خارج النطاق

نموذج التهديدات (Threat model) الذي لا يتضمّن قائمة صريحة بما هو خارج النطاق ليس مكتملًا، بل متهرّبًا. كل نظام حقيقي يقبل مخاطر: قد تقرّر ألّا تدافع ضد مزوّد نموذج مخترَق بالكامل، أو شخص خبيث من الداخل يملك صلاحية الكتابة في مجموعة المستندات وسلطة المراجعة، أو مهاجم مصمّم يملك بيانات اعتماد المستخدم نفسه، أو خصم على مستوى دولة يستهدف ميزتك تحديدًا. قد تكون كلها قرارات صحيحة بالنظر إلى التكلفة والاحتمالية وقيمة الميزة. ما ليس مقبولًا هو تركها دون تصريح، لأن أحدًا عندئذٍ لا يستطيع أن يعرف هل قُيّمت المخاطرة وقُبلت أم لم تُؤخذ في الحسبان أصلًا — وبعد وقوع حادثة يصبح هذا الفرق هو النقاش كله. ولكتابة القائمة أيضًا أثر إلزامي مفيد أثناء التصميم: الفرق التي يتعيّن عليها تسمية ما لن تدافع ضده تكتشف عادةً بندًا واحدًا في القائمة لا تقبله فعلًا.

  • القبول غير المصرّح به لا يمكن تمييزه عن السهو بعد وقوع حادثة
  • مخاطر مقبولة شائعة: اختراق المزوّد، والأشخاص ذوو الصلاحيات من الداخل، والمستخدمون ذوو بيانات الاعتماد
  • تسمية الاستثناءات أثناء التصميم تكشف ما لا يقبله أحد فعلًا
  • قرارات النطاق قرارات عمل وتحتاج مالكًا من جهة العمل

كيف تكتب مخاطرة مقبولة

يحتاج بند المخاطرة المقبولة (Accepted risk) إلى بنية كافية ليكون قابلًا للمراجعة لاحقًا. صِف السيناريو بشكل ملموس، من حيث ما يحقّقه المهاجم لا التقنية التي يستخدمها. واذكر لماذا تقبله — تكلفة المعالجة، أو انخفاض الاحتمالية المقدّرة، أو أن المعالجة ستعطّل الميزة، أو أن الانكشاف مغطّى في مكان آخر. وسمِّ الشخص الذي يقبله، مع التاريخ؛ فقبول المخاطرة فعل ملكية، والبند غير الموقّع يعني أن أحدًا لم يقبل شيئًا. واذكر ما الذي سيغيّر القرار: فئة بيانات جديدة في مجموعة المستندات، أو أداة جديدة بصلاحية كتابة، أو تغيّر في فئة المستخدمين، أو حادثة في مكان آخر من القطاع بالشكل نفسه. وأخيرًا، اذكر أي إجراء جزئي يبقى قائمًا، لأن معظم المخاطر المقبولة ليست بلا دفاع — بل تُكتشف ولا تُمنع، وتسجيل هذا الفرق هو ما يجعل السجلّ قابلًا للاستخدام أثناء حادثة.

  • صِف النتيجة التي يحقّقها المهاجم، لا التقنية التي يستخدمها
  • سجّل السبب، واسم من قَبِل، والتاريخ — غير الموقّع غير مقبول
  • اذكر الظروف التي ستعيد فتح القرار
  • دوّن الإجراءات الجزئية: «يُكتشف ولا يُمنع» وضع أمني مختلف جوهريًا

الكشف بوصفه البديل الصادق

بالنسبة لنسبة كبيرة من مخاطر الذكاء الاصطناعي الخاصة، يكون المنع إما مستحيلًا أو مكلفًا إلى حدّ يُفقد الميزة قيمتها — وحقن التعليمات (Prompt injection) هو المثال الواضح، إذ لا توجد تقنية متاحة تمنعه بموثوقية. والاستجابة المهنية ليست التظاهر بغير ذلك، بل نقل الضابط من المنع إلى الاحتواء والكشف، وقول ذلك بوضوح في النموذج. الاحتواء يحدّ مما يصل إليه الهجوم الناجح: أدوات أضيق، ونطاقات أدق، ومنع الاتصال الخارجي، ووضع بوابات على الأفعال التي لا رجعة فيها. والكشف يعني أنك ستعرف — تسلسلات أدوات غير اعتيادية، ووجهات خارجية غير متوقعة، ومحتوى كناري (Canary) يظهر حيث لا ينبغي، وتغيّرات حادة في معدّلات الرفض أو الأخطاء. اكتب الاثنين في السجلّ بجانب المخاطرة المقبولة. النموذج الذي يدّعي أن الحقن مُعالَج بمرشّح أسوأ من نموذج يقول إن الحقن متوقّع، ومحصور في هذه الأفعال، ويُكتشف عبر هذه الإشارات.

  • حيث لا يتوفّر المنع، صرّح بالاحتواء والكشف بوصفهما الضوابط الفعلية
  • ادعاء منع الحقن بالتصفية هو أكثر أشكال الطمأنة الزائفة شيوعًا في هذا المجال
  • يُقاس الاحتواء بما يستطيع الهجوم الناجح الوصول إليه، لا بعدد المحاولات
  • التزامات الكشف مكانها نموذج التهديدات، لا دليل التشغيل وحده

إبقاء السجلّ حيًّا

السجلّات تموت بهدوء. ثلاث عادات تُبقي هذا السجلّ مفيدًا. راجِعه عند المحفّزات التي دوّنتها لا وفق التقويم — أداة جديدة، أو فئة بيانات جديدة، أو فئة مستخدمين جديدة، أو نشر نموذج مختلف جوهريًا — لأن المراجعة القائمة على المحفّزات تلتقط التغييرات التي تُبطل القرارات فعلًا، بينما المراجعة السنوية تلتقط ما يصادف أنه صحيح في شهر المراجعة. وأعِد اشتقاق القبول حين يتغيّر الافتراض الذي يقوم عليه: المخاطرة المقبولة لأن الوكيل لا يملك إلا أدوات قراءة تبطل لحظة حصوله على أداة كتابة، ويجب أن يكون هذا الارتباط صريحًا في البند. وأغلِق الحلقة من الحوادث، حوادثك وحوادث المؤسسات الأخرى، بأن تسأل: هل يظهر هذا السيناريو في سجلّنا، وهل لا يزال القبول قائمًا؟ السجلّ الذي لم يُعَد فتح أي بند فيه قط لا يقرؤه أحد.

  • المراجعة القائمة على المحفّزات أفضل من المراجعة الدورية لالتقاط الافتراضات التي بطلت
  • اربط كل قبول بالافتراض الذي يعتمد عليه، حتى ينكسر الارتباط بشكل مرئي
  • اختبر السجلّ مقابل حوادث حقيقية، بما فيها حوادث المؤسسات الأخرى
  • إن لم يُعَد فتح شيء أبدًا، فقد صار السجلّ توثيقًا لا ضابطًا
✎ أنهيت الوحدة!
اختبر نفسك في «نمذجة التهديدات لأنظمة الذكاء الاصطناعي» ←