مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

الهوية وسجلات التدقيق والدفاع متعدد الطبقات

⁧لكل طبقة ثغرة — والترتيب هو الدفاع⁩⁧الإسناد والتتبّع الكامل والرصد هي ما يحوّل ستة ضوابط قابلة للهزيمة إلى موقف دفاعي⁩⁧الهوية — هذا الوكيل، نيابةً عن هذا المستخدم، في هذا التشغيل⁩⁧هوية مستقلة لكل وكيل⁩⁧المالك · الغرض · تاريخ المراجعة · مسار الإيقاف⁩⁧نيابةً عن هذا المستخدم، بشكل صريح⁩⁧التفويض يطبّق نطاق المستخدم⁩⁧معرّف تشغيل في كل استدعاء لاحق⁩⁧الإسناد: أي تشغيل، أي مستخدم، أي إصدار⁩⁧التتبّع — ماذا فعل، ولماذا، وما الذي أثّر فيه⁩⁧التعليمات كما جُمعت، بعد تطبيق القالب⁩⁧العناصر المسترجعة مع معرّفات مصادرها⁩⁧استدعاءات الأدوات: المعاملات، الهوية، النتيجة⁩⁧قرارات السياسات + ضوابط الحماية — والسماح أيضًا⁩⁧أحداث الموافقة كما عُرضت⁩⁧الكتابة في الذاكرة مع سياقها⁩⁧مربوطة بمعرّف التشغيل — جنائية حين تُقرأ لاحقًا، وضابط حين تغذّي الرصد⁩⁧الإشارات هي التسلسل والوجهة: استدعاء بصلاحيات بعد استيعاب محتوى، اتصال خارجي جديد، سجلات كناري⁩⁧ثغرة كل ضابط، والضابط المتوقّع أن يغطيها⁩⁧الضابط⁩⁧ما لا يغطيه⁩⁧المتوقّع أن يلتقط ذلك⁩⁧أقل الصلاحيات [S]⁩⁧يبقى سوء الاستخدام ضمن النطاق الممنوح⁩⁧البوابات + فحوص سياسات حتمية⁩⁧البيئة المعزولة [S]⁩⁧استدعاءات الأدوات المشروعة تقع خارجها⁩⁧أقل الصلاحيات · بوابات الموافقة⁩⁧رفض الاتصال الخارجي افتراضيًا [S]⁩⁧الحذف والإنفاق والإرسال لا تحتاج اتصالًا خارجيًا⁩⁧بوابات على الإجراءات التي لا رجعة فيها⁩⁧بوابات الموافقة [H]⁩⁧التجزئة، الإرهاق، التبرير المضلِّل⁩⁧فحوص السياسات · مراقبة مقاييس البوابات⁩⁧التوليد المقيَّد [S]⁩⁧يشكّل البنية، لا النية ولا القيم⁩⁧تحقّق + تفويض عند كل مستهلك⁩⁧مصنِّفات ضوابط الحماية [P]⁩⁧معدّلات خطأ؛ وسطح مدخلات يمكن مراوغته⁩⁧الطبقات البنيوية تحتها⁩⁧[S] بنيوي⁩ ⁧— يصمد بحكم البناء⁩⁧[P] احتمالي⁩ ⁧— معدّلات خطأ؛ يمكن مراوغته⁩⁧[H] بشري⁩ ⁧— يعتمد على الانتباه⁩⁧لا يكفي فشل واحد — دوّن كل ثغرة وسمِّ ما يغطيها⁩⁧لا تمنح ضابطًا احتماليًا وزن ضابط بنيوي — منظومة تُوصف بلا ثغراتها مجرد تسويق⁩
⁧امنح كل وكيل هوية وتتبّعًا كاملًا، ثم رتّب ضوابط يمكن هزيمة كل منها منفردًا بحيث لا يكفي فشل واحد — واعرف نوع كل ضابط قبل أن تعتمد عليه.⁩

الوكلاء يحتاجون إلى هويات خاصة لا مستعارة

الوكيل الذكي (Agent) الذي يعمل بهوية خدمة مشتركة لا يمكن نسبة أفعاله إليه بحكم البنية: لا تستطيع معرفة أي تشغيل أو أي مستخدم أو أي إصدار أنتج الفعل، ما يجعل تحديد نطاق الحوادث ومراجعة الوصول الروتينية مستحيلين. امنح كل وكيل هوية مميّزة، واجعل كل تشغيل قابلًا للتمييز — معرّف تشغيل يظهر في كل استدعاء لاحق، وفي كل سجل، وفي كل قيد ينشئه الوكيل. وحين يعمل استدعاء نيابةً عن مستخدم، يجب أن تعبّر الهوية عن الحقيقتين معًا: هذا الوكيل، نيابةً عن هذا المستخدم، بحيث يطبّق التفويض نطاق المستخدم بينما تسجّل النسبة الوكيل. وعامل هذه الهويات بانضباط دورة الحياة نفسه الذي تعامل به الحسابات البشرية: مالك، وغرض، وتاريخ مراجعة، ومسار للإيقاف. هويات الوكلاء التي تعيش أطول من الميزة التي أُنشئت لها هي النسخة الخاصة بعصر الذكاء الاصطناعي من حساب الخدمة اليتيم.

  • هوية مميّزة لكل وكيل، ومعرّف مميّز قابل للربط لكل تشغيل
  • عبّر عن الطرفين: هذا الوكيل يعمل نيابةً عن هذا المستخدم
  • التفويض يستخدم نطاق المستخدم؛ والنسبة تسجّل الوكيل
  • مالك وغرض وتاريخ مراجعة ومسار إيقاف — كأي حساب آخر

ما الذي يحتويه التتبّع القابل للاستخدام

بعد أي حادثة تحتاج إلى الإجابة عن ثلاثة أسئلة: ماذا فعل النظام، ولماذا قرّر ذلك، وما الذي أثّر في ذلك القرار. وهذا يحدد ما يجب التقاطه. كل استدعاء للنموذج مع التعليمات (Prompt) كما جُمعت فعلًا، بعد القوالب والاسترجاع وأي إدارة للسياق، لأن إعادة البناء من القوالب لن تطابق ما رآه النموذج. وكل عنصر مسترجع مع مصدره ومعرّفه، كي يمكن تحديد موقع أي مستند مسموم. وكل استدعاء أداة مع معاملاته الكاملة والهوية الفاعلة والنتيجة. وكل قرار سياسة أو ضابط حماية، بما في ذلك قرارات السماح لا الحجب فقط. وأحداث الموافقة مع ما عُرض على صاحب الموافقة. وعمليات الكتابة في الذاكرة مع سياقها. وكل ذلك مربوط بمعرّف التشغيل ومؤرَّخ بشكل متّسق. ثم تعامل مع التتبّع كبيانات حساسة: فهو يحتوي كل ما رآه النموذج، وهذا يعني عادةً بيانات المستخدمين، فطبّق ضبط الوصول، وحدود الاحتفاظ، وحجب الأسرار لحظة الكتابة.

  • التقط التعليمات بعد تجميعها، لا القالب — فالفجوة بينهما هي حيث تختبئ الحوادث
  • سجّل العناصر المسترجعة مع معرّفات مصادرها كي يمكن تحديد موقع المحتوى المسموم
  • سجّل قرارات السماح كما تسجّل الحجب؛ فقرار السياسة دليل في الحالتين
  • التتبّعات تحتوي كل ما رآه النموذج — احمِها واحتفظ بها وفق ذلك

كشف مبني على التتبّع

التتبّع الذي لا يُقرأ إلا بعد الحادثة أصل جنائي؛ أما التتبّع الذي يغذّي الكشف فهو ضابط أمني. والإشارات التي تستحق البناء تتعلّق في الغالب بالتسلسل والوجهة لا بالمحتوى. تسلسل أدوات غير معتاد لميزة معيّنة، لا سيما استدعاء ذو صلاحيات يلي استيعاب محتوى خارجي في التشغيل نفسه. طلبات صادرة إلى وجهات لم يسبق رؤيتها لهذا الوكيل. استرجاع مستندات لا علاقة لها بسؤال المستخدم. تغيّرات حادة في معدّلات الرفض أو الأخطاء أو الموافقة على البوابات، وهي كثيرًا ما تتحرّك قبل أن يُلاحظ أي شيء آخر. سجلات أو مستندات كناري (Canary) لا ينبغي أبدًا استرجاعها أو إرسالها بشكل مشروع، وهي رخيصة الزرع وقاطعة الدلالة حين تنطلق. وشذوذ في الحجم في طول التشغيل أو استهلاك الرموز. وكل واحدة من هذه تحتاج إلى مالك محدد واستجابة محددة، وإلا أصبحت لوحة مراقبة أخرى لا يقرؤها أحد.

  • استدعاء أداة ذات صلاحيات بعد استيعاب محتوى غير موثوق في التشغيل نفسه هو الإشارة الأعلى قيمة
  • نبّه عند ظهور وجهات صادرة جديدة لكل وكيل، لا عند المحجوبة فقط
  • سجلات ومستندات الكناري تنطلق بدلالة قاطعة ولا تكلّف شيئًا يُذكر
  • تغيّرات المعدّلات في الرفض والأخطاء والموافقات كثيرًا ما تتحرّك أولًا

الدفاع متعدد الطبقات بصراحة

لا يصمد أي ضابط في هذه الوحدة وحده، وقول ذلك بوضوح هو ما يمنح الموقف الأمني مصداقيته. التصفية يمكن التهرّب منها. ونماذج ضوابط الحماية لها معدّلات خطأ. وبوابات الموافقة يمكن تجزئتها أو تضليلها أو إنهاكها. والتوليد المقيّد يشكّل البنية لا النية. والبيئات المعزولة تحتوي الكود لا استدعاءات الأدوات المشروعة. ومبدأ أقل الصلاحيات يقلّص النطاق لكنه لا يمنع إساءة الاستخدام داخل النطاق الممنوح. لذا فهدف التصميم ليس ضابطًا لا يمكن أن يفشل، بل ترتيب لا يكفي فيه أي إخفاق منفرد: قدرات محدودة كي لا يستطيع نموذج مُقنَع فعل الكثير، واتصال خارجي مرفوض كي لا يغادر ما يستطيع الوصول إليه، وبوابات على الأفعال المهمة، وبنية مفروضة حيث تُستهلك المخرجات، وتتبّع جيد بما يكفي لكشف ما يمرّ رغم ذلك وتحديد نطاقه. دوّن لكل ضابط ما لا يغطيه، وأي ضابط آخر يُفترض أن يلتقط ذلك.

  • كل ضابط هنا يمكن هزيمته منفردًا — والترتيب هو الدفاع
  • استهدف ألا يكفي أي إخفاق منفرد، لا ضابطًا لا يمكن أن يفشل
  • وثّق فجوة كل ضابط وسمِّ الضابط الذي يغطيها
  • منظومة توصف دون فجواتها تسويق، لا موقف أمني
✎ أنهيت الوحدة!
اختبر نفسك في «التحصين والضوابط» ←