قابلية المراقبة وإغلاق الحلقة
آثار التتبّع هي الأساس
التقييمات غير المتصلة (Offline evals) تخبرك كيف يؤدي النظام على الحالات التي جمعتها؛ أما التشغيل الفعلي (Production) فيخبرك بما يحدث فعلًا، والصلة بينهما هي التتبّع (Tracing). تشغيل الوكيل شجرة — تشغيل، وخطوات، واستدعاءات نموذج، واستدعاءات أدوات، ونطاقات وكلاء فرعيين — ويجب أن يلتقط أثر التتبّع (Trace) التعليمات كما جُمعت بعد تطبيق القوالب والاقتطاع وإدارة السياق، لا القالب الذي تظن أنك أرسلته، لأن الفجوة بين الاثنين هي حيث تعيش نسبة كبيرة من أخطاء التشغيل الفعلي. أرفق الرموز وزمن الاستجابة والتكلفة بكل نطاق، مع المعرّفات اللازمة للتقسيم إلى شرائح لاحقًا. وسواء استخدمت اصطلاحات GenAI في OpenTelemetry أو منصة تتبّع مصممة للنماذج اللغوية الكبيرة، فهذا أقل أهمية بكثير من اختيار إحداهما قبل الإطلاق، لأن إضافة التتبّع لاحقًا في أثناء حادثة تجربة سيئة على نحو فريد.
- تتبّع الشجرة: التشغيل، والخطوات، واستدعاءات النموذج والأدوات، ونطاقات الوكلاء الفرعيين المتداخلة
- التقط التعليمات المجمّعة ونتائج الأدوات الخام — فإعادة البناء تضلّل
- أرفق التكلفة والرموز وزمن الاستجابة لكل نطاق، لا لكل تشغيل فقط
- اختر نهج التتبّع قبل الإطلاق؛ فإضافته في أثناء حادثة مؤلمة
الإشارات الحية وتقييمات ضوابط الحماية
التشغيل الفعلي يحمل إشارات جودة إن جهّزت النظام لالتقاطها. الإشارات الضمنية هي الأوفر والأصدق: إعادة المحاولة، وإعادة صياغة السؤال نفسه، والتخلي عن المحادثة، والتصعيد إلى إنسان، ونسخ المستخدمين لجزء فقط من الإجابة، والتعديلات على المحتوى المولَّد قبل استخدامه. أما الملاحظات الصريحة فشحيحة ومنحازة نحو الأطراف، ومفيدة أساسًا كمؤشر إلى آثار تستحق القراءة. وفوق ذلك، شغّل فحوصًا آلية خفيفة على الحركة الحية — صلاحية المخطط، والاستناد إلى المصادر المسترجعة، ومعدّل الرفض، وفحوص السياسات — بعيّنات بمعدّل تستطيع تحمّله، لتحصل على إشارة جودة مستمرة بين التشغيلات غير المتصلة. أطلق التنبيهات عند تحرك تلك الإشارات لا عند الأخطاء فقط، لأن الفشل المميز للتشغيل الفعلي هنا هو انزلاق في الجودة مع معدّل أخطاء سليم تمامًا.
- الإشارات الضمنية — إعادة المحاولة، وإعادة الصياغة، والتخلي، والتصعيد، والتعديل — أكثر عددًا وأدق من الإعجاب وعدم الإعجاب
- الفحوص الحية بالعيّنات تعطي إشارة جودة مستمرة بين التشغيلات غير المتصلة
- نبّه عند انحراف الجودة لا عند الأخطاء فقط؛ فالتدهور صامت بطبيعته
- قسّم المقاييس الحية بالطريقة نفسها التي تقسّم بها التقييمات غير المتصلة
الحلقة التي تُغلق
الغاية من قابلية المراقبة (Observability) في التشغيل الفعلي ليست لوحة المؤشرات، بل المسار من الفشل إلى اختبار دائم. اجعله سير عمل محددًا له مالك: شخص يراجع الآثار المعلَّمة والمختارة بالعيّنات بوتيرة ثابتة، ويصنّف كل فشل حسب نمطه، ويحوّل المفيد منها إلى حالات تقييم بنتائج متوقعة وأدوات تصحيح. تدخل الحالات الجديدة مجموعة التطوير، ويُتأكد من أنها تفشل حاليًا، ثم تبقى في المجموعة إلى الأبد بعد الإصلاح. عادتان تبقيان هذا حيًا. الأولى: حدّد هدفًا لسرعة تحوّل فشل التشغيل الفعلي إلى حالة — فالحادثة التي لم تنتج اختبار انحدار خلال الأسبوع غالبًا لن تنتجه أبدًا. والثانية: تتبّع توزيع أنماط الفشل عبر الزمن، لأن شكل ذلك المدرّج التكراري هو ما يخبرك إن كان عمل الربع الأخير قد حرّك شيئًا فعلًا.
- مالك مسمّى ووتيرة ثابتة لمراجعة الآثار — وإلا فلن تحدث
- كل حادثة تصبح حالة دائمة؛ فالمجموعة هي الذاكرة المؤسسية
- ضع هدفًا زمنيًا من فشل التشغيل الفعلي إلى حالة التقييم
- تتبّع توزيع أنماط الفشل عبر الزمن كمقياس التقدم الحقيقي
حراسة الفجوة بين غير المتصل والحي
الدرجات غير المتصلة وجودة التشغيل الفعلي تبتعدان عن بعضهما، والتباعد نفسه مقياس يستحق المراقبة. الأسباب الشائعة: توزيع المدخلات تحرّك ولم تعد مجموعة التقييم تشبه الحركة الفعلية، أو بيئة التقييم ابتعدت عن إعدادات التشغيل الفعلي، أو جرى الضبط على المجموعة حتى صارت تجامل النظام. افحص العلاقة عن قصد — خذ عيّنة من آثار التشغيل الفعلي الحديثة، وقيّمها بمعايير التقييم نفسها التي تستخدمها دون اتصال، وقارنها بما تتنبأ به المجموعة. الفجوة المستمرة تعني أن المجموعة لم تعد ممثِّلة وتحتاج إلى تحديث من الحركة الحالية لا إلى الدفاع عنها. هذا الفحص رخيص، ومعظم الفرق لا تجريه أبدًا، وهو الفرق بين مجموعة تعكس المنتج ومجموعة تعكس المنتج كما كان حين اهتم به أحد آخر مرة.
- قيّم عيّنات من حركة التشغيل الفعلي بمعايير التقييم غير المتصلة وقارن
- الفجوة المستمرة بين غير المتصل والحي تعني أن مزيج الحالات قد تقادم
- تحقّق من أن بيئة التقييم تطابق إعدادات التشغيل الفعلي، لا نسخة مثالية منها
- حدّث من الحركة الحالية وفق جدول، لا حين يشتكي أحد
كيف ينطبق هذا عليّ؟
فرق الذكاء الاصطناعي الجيدة تراقب كيف يتصرف نظامها في الواقع، وتعيد كل فشل حقيقي إلى اختباراتها. إن أبلغت عن مشكلة في منتج ما ولم يبدُ أنه يصلح هذه الفئة من المشكلات أبدًا، فهذه الحلقة مفقودة.
- اسأل المورّدين عمّا يحدث للفشل المبلَّغ عنه بعد الإصلاح الفوري
- قد تنزلق الجودة دون أي رسالة خطأ — يجب أن يكون هناك من يقيس
- المنتجات التي تتحسن باطّراد لديها حلقة ملاحظات؛ والمنتجات التي تتغير فقط ليست لديها
التتبّع قدرة أمنية وتدقيقية بقدر ما هو قدرة هندسية. حين يحدث خطأ ما مع وكيل، يكون الأثر هو الدليل الوحيد على ما قيل له، وما قرّره، وما لمسه — وغيابه بحد ذاته ملاحظة تدقيق.
- اطلب رؤية أثر كامل لتشغيل وكيل، بما فيه التعليمات المجمّعة ومعاملات الأدوات
- لا أثر قابل لإعادة التشغيل يعني لا تحقيق في الحوادث ولا إجابة جنائية
- تنبيهات انحراف الجودة تعمل أيضًا ككشف لحملات حقن التعليمات (Prompt injection) وإساءة الاستخدام
- تأكد من أن الآثار التي تحتوي محتوى حساسًا خاضعة لضبط الوصول ومحدودة مدة الاحتفاظ
جهّز التتبّع قبل الإطلاق وأدخل مراجعة الآثار في الدورة التطويرية، وإلا فستكفّ مجموعة التقييم تدريجيًا عن مشابهة ما يفعله المستخدمون. يجب أن يكون المسار من فشل التشغيل الفعلي إلى حالة انحدار دائمة سير عمل عاديًا ومملًا.
- سجّل التعليمات المجمّعة، واستدعاءات الأدوات بمعاملاتها، والنتائج على مستوى النطاق
- شغّل أدوات تصحيح حية رخيصة بالعيّنات على الحركة الفعلية لإشارة جودة مستمرة
- مسار بنقرة واحدة من أثر في التشغيل الفعلي إلى حالة تقييم جديدة، وإلا فلن يحدث
- قيّم دوريًا عيّنات من التشغيل الفعلي بمعايير التقييم غير المتصلة لكشف تقادم المجموعة
معظم العملاء يشترون أدوات قابلية المراقبة ولا يخصصون أحدًا للمراجعة. والمُخرَج المهم هو إيقاع التشغيل: من يقرأ الآثار، وبأي وتيرة، وماذا يفعل بما يجده، وبأي سرعة يصبح فشل التشغيل الفعلي اختبارًا دائمًا.
- حدّد وتيرة مراجعة الآثار ومالكها ومسار التصعيد في نموذج التشغيل
- ضع هدفًا زمنيًا من فشل التشغيل الفعلي إلى حالة التقييم وأبلغ عن الأداء مقابله
- أدرج التتبّع ومدة الاحتفاظ وضوابط الوصول في مراجعة الحوكمة والخصوصية
- أبلغ الرعاة بتحولات توزيع أنماط الفشل — فهي أوضح دليل على التقدم