مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

الموثوقية وقابلية المراقبة في التشغيل الفعلي

⁧الحدث⁩⁧مدخلات المستخدم · استدعاء أداة · رد النموذج⁩⁧طبقة الخطافات⁩⁧before_input⁩⁧before_tool_call · after_model⁩⁧فحص السياسات⁩⁧DLP · مصادقة · حد المعدل⁩⁧حقن السياق · سجل التدقيق⁩⁧سماح⁩⁧حظر⁩⁧تنقية المدخلات⁩⁧إزالة أنماط الحقن⁩⁧بوابة الموافقة⁩⁧إشراف بشري للإجراءات عالية الخطورة⁩⁧البوابة (مثل Google Agent Gateway) تطبّق الخطافات على مستوى البنية التحتية — مستوى تحكم واحد لكل الوكلاء⁩
⁧الخطافات هي مستوى التحكم في الوكيل — اعتراض وفحص وإنفاذ في كل خطوة⁩

التتبّع: الأساس غير القابل للتفاوض

الوكيل الذي يعمل في العرض التوضيحي ويفشل في التشغيل الفعلي يفشل بصمت ما لم تستطع إعادة تشغيل قراراته. التتبّع (Tracing) هو الأساس الذي يُبنى عليه كل شيء آخر: كل استدعاء للنموذج مع التعليمات الدقيقة المرسلة والاستجابة المستلمة، وكل استدعاء أداة مع معاملاته ونتائجه، وكل إعادة محاولة وخطأ — منظّمة كشجرة، لأن تشغيلات الوكلاء أشجار. التشغيل يمتد عبر خطوات؛ والخطوات تمتد عبر استدعاءات النموذج وتنفيذ الأدوات؛ والوكلاء الفرعيون يتفرعون من منسّقهم. المقاييس المجمّعة تخبرك أن شيئًا ما تراجع؛ أما التتبّع وحده فيخبرك لماذا — أي نتيجة أداة أخرجت الخطة عن مسارها، وأي تعديل للتعليمات غيّر سلوك اختيار الأدوات، وأين تحوّل التشغيل ذو السبع عشرة خطوة من المعقول إلى العبثي. والانضباط الأكثر مردودًا: التقط التعليمات كما جُمعت فعلًا — بعد القوالب والاقتطاع وإدارة السياق — لا القالب الذي تظن أنك أرسلته. والفجوة بين الاثنين هي حيث تعيش نسبة كبيرة من أخطاء التشغيل الفعلي.

  • تتبّع الشجرة: التشغيل ← الخطوات ← استدعاءات النموذج والأدوات، مع امتدادات الوكلاء الفرعيين متداخلة تحت آبائها
  • سجّل التعليمات المجمّعة الدقيقة ونتائج الأدوات الخام — إعادة البناء تكذب
  • أرفق عدد الرموز وزمن الاستجابة والتكلفة بكل امتداد، لا بإجمالي التشغيل فقط
  • اصطلاحات GenAI المبنية على OpenTelemetry ومنصات التتبّع المخصصة للنماذج اللغوية كلاهما يعمل — اختر واحدًا قبل الإطلاق لا بعد الحادثة

اللاحتمية واختبار الانحدار

يفترض الاختبار التقليدي أن المدخلات نفسها تعطي المخرجات نفسها. والوكلاء تكسر هذا الافتراض مرتين: أخذ العينات يجعل التشغيلات المفردة عشوائية، والمهام متعددة الخطوات تراكم الاختلافات الصغيرة إلى مسارات متباعدة. ودرجة الحرارة صفر لا تنقذك — فالمزوّدون لا يضمنون حتمية مطابقة على مستوى البت، وأي تغيير في التعليمات أو النموذج يعيد خلط السلوك بشكل مشروع. والاستجابة إحصائية: شغّل كل سيناريو عدة مرات وتحقّق من التوزيع — معدل النجاح عند N تشغيلًا — لا من نص محظوظ واحد. تحقّق من النتائج والثوابت لا من الصياغة الدقيقة: هل صدر الاسترداد، هل يُترجَم الكود بنجاح، هل لم تُستدعَ أي أداة غير مصرّح بها. وكل إخفاق في التشغيل الفعلي يصبح حالة اختبار انحدار دائمة. وراقب اتجاهات معدل النجاح، لا الحالة الثنائية فقط — فالسيناريو الذي ينزلق من 95% إلى 70% تراجعٌ حتى لو كان ما زال «ينجح أحيانًا».

  • شغّل السيناريوهات N مرة؛ وتحقّق من معدلات النجاح والعتبات، لا من نصوص مفردة
  • اختبر النتائج والثوابت — التحقق من المخرجات الدقيقة متذبذب بطبيعته
  • حوّل الحوادث إلى سيناريوهات انحدار: يجب أن تجسّد المجموعة ندوب تجربتك
  • اربط النشر بنتائج التقييم كما تربطه باختبارات الوحدات — فالتعليمات كود

الميزانيات وتصنيفات الإخفاق

حلقة وكيل بلا ميزانية التزامٌ غير محدود: فالوكيل العالق يمكنه أن يعيد المحاولة ويعيد القراءة ويعيد الاستدلال حتى يصل إلى فواتير رموز مذهلة. وتحتاج وكلاء التشغيل الفعلي إلى سقوف صارمة تفرضها بيئة التشغيل — حد أقصى للخطوات، وللرموز، وللوقت الفعلي، وللإنفاق في كل تشغيل — مع تدهور سلس عند الحد: لخّص التقدّم، واحفظ الحالة، وصعّد؛ ولا تقتطع بصمت أبدًا. وميزانيات زمن الاستجابة تشكّل البنية بالطريقة نفسها: المنتج التفاعلي لا يستطيع إخفاء حلقة متسلسلة من اثنتي عشرة خطوة، وهذا يدفعك نحو بث التقدّم، واستدعاءات الأدوات المتوازية، والنماذج الأصغر للخطوات الروتينية. ومن المهم بالقدر نفسه تصنيف الإخفاقات حين تقع، لأن الإصلاحات تختلف. وتصنيف ناجح عمليًا: إخفاقات الاستدلال (خطة سيئة)، وإخفاقات الأدوات (أخطاء الأنظمة الخارجية)، وإخفاقات الارتكاز (التصرف بناءً على حالة متوهَّمة)، وإخفاقات السياق (معلومات مفقودة أو مقتطعة)، وإخفاقات الإنهاء (الحلقات والخروج المبكر). صنّف كل تتبّع فاشل — والمدرّج التكراري يخبرك أين تستثمر.

  • سقوف صارمة في بيئة التشغيل للخطوات والرموز والوقت والإنفاق — ضبط النموذج لنفسه ليس ضابطًا
  • تدهور بسلاسة عند الحدود: احفظ الحالة وصعّد، ولا تختفِ في منتصف المهمة
  • صنّف الإخفاقات حسب الفئة — استدلال، أداة، ارتكاز، سياق، إنهاء — وأصلح الفئة الأكبر أولًا
  • ميّز أخطاء الأدوات العابرة (أعد المحاولة مع تراجع تدريجي) عن المنهجية (إعادة المحاولة تحرق المال لتفشل بشكل أبطأ)

الإشراف البشري كجزء من البنية

يفشل الإشراف البشري (Human-in-the-loop) حين يُلصق كمربع حوار تأكيد؛ وينجح حين يُصمَّم كجزء من مسار التحكم. والآلية القابلة للتعميم هي الخطاف أو البوابة: نقاط تفتيش محددة — عادةً قبل تنفيذ الأدوات ذات العواقب — حيث تتوقف بيئة التشغيل، وتحفظ الحالة، وتحيل القرار إلى شخص لديه سياق كافٍ ليقرر فعلًا: ما الذي ينوي الوكيل فعله، ولماذا، وما الذي سيمسّه. وثلاث قواعد تصميم تحمل معظم الثقل. ضع البوابات وفق العواقب، كي تبقى الموافقات نادرة بما يكفي لتُقرأ — فالإنسان الذي يوافق على أربعين فعلًا في الساعة ختمٌ مطاطي، والمهاجمون يعرفون ذلك. واجعل المقاطعة من الدرجة الأولى: الإيقاف المؤقت والاستئناف وإعادة التوجيه والإلغاء حالاتٌ في نموذج التشغيل لديك، لا استثناءات. وابنِ قدرة مراجعة لمنتصف منحدر الاستقلالية — فالمراجعة اللاحقة بالعيّنات للتشغيلات المكتملة هي الطريقة التي تُكتسب بها الثقة قبل توسيع البوابات، والطريقة التي يُكتشف بها الانحراف بعد ذلك.

  • الخطافات عند حدود تنفيذ الأدوات هي نقاط البوابات الطبيعية — توقّف، قرّر، استأنف
  • تجربة مستخدم الموافقة ضابط أمني: النية والمبرر ونطاق الضرر على شاشة واحدة
  • التصعيد ميزة: الوكيل الذي يقول «أنا عالق، وهذه حالتي» أفضل من الذي يرتجل
  • المراجعة بالعيّنات للتشغيلات المستقلة تغلق الحلقة بين التشغيل الفعلي ومجموعة التقييم لديك
  • تخصص دورة «هندسة الوكلاء» لهذا وحدتين — تتبّعات قابلة لإعادة البناء، وتدهور سلس، وتصميم البوابات، ومنحنى الثقة لتوسيع الاستقلالية