مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

اكتشاف حادثة ذكاء اصطناعي في بيئة التشغيل الفعلي

⁧لم يفشل شيء، وهذه هي المشكلة⁩⁧الآلية إقناع لا اختراق — كل استدعاء مُصادَق عليه ومصرَّح به وناجح⁩⁧مؤشرات الاختراق (IOC) التقليدية — غائبة⁩⁧✕ لا برمجيات خبيثة ولا عمليات شاذة⁩⁧✕ لا تخمين قسري لبيانات الاعتماد⁩⁧✕ لا طلبات فاشلة أو مرفوضة⁩⁧✕ لا شيء ترصده قياسات المضيف أو الشبكة⁩⁧الوكيل كان مسموحًا له بما فعله⁩⁧ما يظهر فعلًا — السلوك⁩⁧· إجابة تحتوي بيانات لا ينبغي للمستخدم رؤيتها⁩⁧· سجل معدَّل لا يعرف أحد سببه⁩⁧· رسالة أُرسلت لم يكتبها أحد⁩⁧· وجهة تم الاتصال بها بلا سبب⁩⁧أعراض دلالية، لا تظهر إلا في سجلاتك⁩⁧إشارات تستحق البناء — التسلسل والوجهة، لا المحتوى⁩⁧استدعاء عالي الصلاحية بعد إدخال⁩⁧خارجي في التشغيل نفسه — الأعلى قيمة⁩⁧وجهة خارجية تظهر⁩⁧لأول مرة، لكل وكيل⁩⁧سجلات كناري لا ينبغي⁩⁧أن تتحرك — رخيصة وواضحة⁩⁧استرجاع لا علاقة له⁩⁧بطلب المستخدم⁩⁧تغيّر المعدّلات: الرفض والأخطاء⁩⁧والموافقات وطول التشغيل⁩⁧محتوى مستخدم آخر⁩⁧يظهر في جلسة⁩⁧كل إشارة تحتاج مالكًا واستجابة موثّقة وعتبة مضبوطة — وإلا فهي لوحة أخرى لا يقرؤها أحد⁩⁧خطّط لأن تكون الإشارة الأولى شخصًا⁩⁧مستخدم أو عميل أو شريك⁩⁧أو باحث يبلّغ⁩⁧عن سلوك غريب⁩⁧طابور دعم المنتج — يُسجَّل⁩⁧شكوى جودة؛ وتضيع الحادثة⁩⁧الفرز الأمني — مدرَّب على تمييز⁩⁧الإجابة الضعيفة عن علامات التلاعب⁩⁧الطريقة الأكثر شيوعًا⁩⁧لضياع الحوادث الحقيقية⁩⁧انشر قناة الباحثين⁩⁧قبل أن تحتاجها⁩⁧الكشف يعتمد على سجلاتك — واكتمالها يحدد إن كان ممكنًا⁩⁧وجّه البلاغات السلوكية عن ميزات الذكاء الاصطناعي إلى الأمن، لا إلى طابور الدعم⁩
⁧تظهر حوادث الذكاء الاصطناعي كإجراءات مسموحة وناجحة ذات أعراض سلوكية، لذا يقع الكشف في سجلاتك — والإشارة الأولى عادةً شخص، يجب أن يصل إلى الأمن لا إلى طابور الدعم.⁩

كيف تبدو حادثة الذكاء الاصطناعي

كثيرًا ما تظهر حوادث الذكاء الاصطناعي (AI) دون أي من الإشارات التي بُني حولها الكشف التقليدي. لا برمجيات خبيثة، ولا عملية شاذة، ولا تخمين قسري لبيانات الاعتماد، وكثيرًا لا يوجد طلب فاشل واحد — فكل استدعاء مُصادَق عليه ومُصرَّح به وناجح، لأن الوكيل الذكي (Agent) كان مسموحًا له بفعل ما فعله. العَرَض الظاهر عادةً سلوكي: مستخدم يُبلغ عن إجابة تحتوي بيانات ما كان يجب أن يراها؛ أو سجل عُدّل ولا أحد يستطيع تفسيره؛ أو رسالة أُرسلت لم يكتبها أحد؛ أو وكيل اتصل بوجهة لا سبب لديه للاتصال بها. ولأن الآلية إقناع لا اختراق، يجب أن يقوم الكشف على دلالة ما فعله النظام، أي أنه يُبنى على سجلات التتبع الخاصة بك لا على بيانات قياس الخوادم أو الشبكة. وهذا هو السبب العملي في أن جودة سجلات التتبع متطلب أمني لا كمالية هندسية.

  • لا برمجيات خبيثة ولا فشل في المصادقة — الأفعال مسموح بها وناجحة
  • الأعراض سلوكية: بيانات خاطئة تُعاد، وتغييرات غير مفسّرة، ورسائل غير متوقعة
  • الكشف يقوم على سجلات تتبع التطبيق، لا على بيانات قياس الخوادم أو الشبكة
  • اكتمال سجلات التتبع هو العامل الحاسم في إمكانية الكشف أصلًا

إشارات تستحق البناء

مجموعة صغيرة من الإشارات تغطي معظم المساحة. استدعاء أداة عالية الصلاحية أو لا رجعة فيها في التشغيل نفسه الذي استوعب محتوى من مصدر خارجي هو أعلى كشف منفرد قيمةً، لأنه يجسّد التسلسل الخطِر مباشرة. الوجهات الخارجية الجديدة لكل وكيل، مع التنبيه عند ظهورها لأول مرة لا عند ارتفاع حجمها. سجلات ومستندات كناري لا يجب أن يسترجعها أو يرسلها أي استعلام مشروع، وهي تنتج تنبيهات واضحة شبه مجانية. أنماط استرجاع لا علاقة لها بطلب المستخدم، تدلّ على أن مجموعة المستندات توجّه الجلسة. تحرّكات حادة في معدّل الرفض أو معدّل الأخطاء أو معدّل الموافقة في البوابات أو طول التشغيل، وهي كثيرًا ما تتحرك قبل أن يلاحظ أحد مشكلة سلوكية. والشذوذ بين المستخدمين، مثل ظهور محتوى مستخدم في جلسة مستخدم آخر. كل إشارة تحتاج مالكًا، واستجابة موثّقة، وعتبة مضبوطة، وإلا أصبحت لوحة معلومات أخرى يتجاهلها الجميع.

  • فعل عالي الصلاحية بعد استيعاب محتوى خارجي في التشغيل نفسه — الإشارة الأعلى قيمة
  • نبّه عند الظهور الأول لوجهة خارجية جديدة لكل وكيل
  • سجلات الكناري رخيصة وواضحة ونادرًا ما تُنشر
  • تحوّلات معدّلات الرفض والأخطاء والموافقات وطول التشغيل كثيرًا ما تتحرك أولًا
  • تكتيكات التسريب والأثر في MITRE ATLAS قائمة تحقق مفيدة عند تعداد هذه الإشارات السلوكية

من أين يأتي البلاغ

خطّط للاحتمال الأرجح، وهو أن أول مؤشر سيأتي من شخص لا من أداة مراقبة. مستخدم يلاحظ إجابة غريبة، أو عميل يسأل لماذا وصلته رسالة، أو شريك يُبلغ عن محتوى ما كان يجب أن يصله، أو باحث يتواصل معك بشأن سلوك اكتشفه. وهذا يعني أن شيئين يجب أن يكونا موجودين مسبقًا. الأول مسار تصل عبره البلاغات السلوكية عن مزايا الذكاء الاصطناعي إلى فريق الأمن بدلًا من أن تنتهي في طابور دعم المنتج كشكوى جودة — وهذه أكثر طريقة شائعة تضيع بها الحوادث الحقيقية. والثاني معيار فرز (Triage) يميّز بين نموذج يعطي إجابة رديئة ونموذج يعطي إجابة تدلّ على تأثير خارجي أو وصول غير مصرّح به، لأن معظم البلاغات من النوع الأول، والبلاغات التي ليست كذلك تبدو متطابقة معها للوهلة الأولى. اكتب أمثلة على النوعين في إرشادات الفرز.

  • افترض أن الإشارة الأولى بلاغ من إنسان، لا تنبيه
  • وجّه البلاغات السلوكية عن مزايا الذكاء الاصطناعي إلى الأمن، لا إلى الدعم فقط
  • ميّز بين المخرجات الرديئة الجودة والأدلة على تأثير خارجي أو وصول غير مصرّح به
  • انشر قناة للباحثين الخارجيين قبل أن تحتاج إليها