اختبار الوكلاء الذين ينفّذون عدة خطوات
النتيجة والمسار سؤالان مختلفان
في تشغيل الوكيل الذكي (Agent) أمران يستحقان التقييم، والفرق تقيّم عادةً واحدًا منهما فقط. النتيجة (Outcome) هي هل الحالة النهائية للعالم كما ينبغي — السجل محدَّث، والملف مكتوب، والتذكرة في الطابور الصحيح — وهي ما يهمّ المستخدم. والمسار (Trajectory) هو كيف وصل التشغيل إلى هناك: أي الأدوات استُدعيت، وبأي ترتيب، وبأي معاملات، وكم خطوة استغرق، وما الذي قرأه في الطريق. التقييم بالنتيجة وحدها يُنجح تشغيلًا وصل إلى الحالة النهائية الصحيحة عبر ستة استدعاءات غير ضرورية ومحاولتين فاشلتين وفعل مدمّر صادف أنه قابل للتراجع، وهذا التشغيل حادثة تنتظر الحالة التي ينفد فيها الحظ. والتقييم بالمسار وحده يفشل في الاتجاه المعاكس، فيعاقب الوكيل على إيجاد طريق أفضل من الذي تخيّلته. اجعل النتيجة شرط النجاح، واقرأ المسار لتفهم لماذا حدثت النتيجة.
- النتيجة: هل الحالة النهائية للعالم صحيحة؟ المسار: كيف وصل إليها؟
- التقييم بالنتيجة وحدها يُنجح تشغيلات محظوظة سلكت طرقًا مُهدِرة أو خطرة
- التقييم بالمسار وحده يعاقب الوكلاء على تحسين الطريق الذي تخيّلته
- اجعل النتيجة هي الحكم، واستخدم المسار للتشخيص لا للحكم
أعطال تظهر متأخرة
أصعب أعطال الوكلاء تشخيصًا هي تلك التي تفشل فيها الخطوة الثالثة لأن الخطوة الأولى كانت خاطئة بشكل خفي — معرّف أسيء تحليله، أو تاريخ قُرئ بصيغة خاطئة، أو بحث أعاد سجلات معقولة لكنها غير صحيحة — وكل خطوة بعدها تعمل بثقة على فرضية فاسدة. الخطأ الظاهر في النهاية والسبب في البداية، لذا فالمقيّم الذي يفحص المخرج النهائي فقط لا يخبرك بشيء يُذكر. العلاج هو التحقّقات عند كل خطوة: حدّد ما يجب أن يكون صحيحًا بعد كل خطوة وافحصه هناك، بحيث يفشل التشغيل عند النقطة التي انكسرت فيها الفرضية لا عند النقطة التي ظهرت فيها العاقبة. وصحة استدعاء الأدوات تنتمي إلى الطبقة نفسها — الأداة الصحيحة، ومعاملات صالحة، ومعاملات تطابق ما طلبه المستخدم فعلًا. كتابة هذا تتطلّب جهدًا حقيقيًا، وهو أعلى ما يمكن أن تضيفه قيمةً إلى تقييم الوكيل.
- الأعطال المتأخرة لها عادةً أسباب مبكرة؛ الخطأ الظاهر ليس هو العيب
- تحقّق من الشروط اللاحقة بعد كل خطوة كي يفشل التشغيل حيث انكسرت الفرضية
- افحص صحة استدعاء الأدوات: الأداة الصحيحة، ومعاملات صالحة، ومعاملات تطابق القصد
- التحقّقات عند كل خطوة تحوّل عصرًا كاملًا من قراءة سجلات التتبّع إلى عطل يسمّي نفسه
التكلفة وعدد الخطوات مؤشرات على الجودة
في نظام متعدد الخطوات، مقدار العمل المنجز معلومة عن مدى فهم العمل. التشغيل الذي يصل إلى النتيجة الصحيحة في خمس عشرة خطوة حيث تكفي أربع يخبرك بشيء عن الخطة، أو أوصاف الأدوات، أو وضوح تعريف المهمة — ويخبرك أيضًا بما ستكلّفه الميزة على نطاق واسع. تتبّع الخطوات واستدعاءات الأدوات والرموز والزمن الفعلي والتكلفة لكل تشغيل ناجح، وعامل أي زيادة كبيرة كتراجع (Regression) يحتاج إلى تفسير حتى لو تحسّن معدّل النجاح. راقب شكل التوزيع لا المتوسط، لأن التشغيلات في الذيل هي عادةً التي تدور في حلقات، أو تعيد المحاولة على الاستدعاء الفاشل نفسه، أو تتيه، وهي في الوقت نفسه الحالات الأغلى والأكثر دلالة. ميزانية الخطوات التي تنهي التشغيل ضابط حماية لا إصلاح؛ والتشغيلات التي تبلغها هي قائمة قراءتك.
- الخطوات والتكلفة لكل تشغيل ناجح مكانها في التقرير نفسه مع الجودة
- الزيادة الكبيرة في العمل تراجع حتى لو ارتفع معدّل النجاح
- اقرأ الذيل — التشغيلات التي تدور وتعيد المحاولة وتتيه كلها تعيش هناك
- ميزانيات الخطوات تحتوي الضرر؛ والتشغيلات التي تبلغها هي التشخيص
إعادة تشغيل تشغيلٍ فاشل
قيمة التشغيل الفاشل تكمن كلها في قدرتك على العودة إليه. وهذا يتطلّب أن يسجّل أثر التتبّع (Trace) التعليمات المجمّعة عند كل خطوة لا القالب، والمعاملات الدقيقة للأدوات والنتائج الخام التي أعادتها، وإصدارات النموذج والتعليمات المستخدمة، والحالة التي بدأت منها البيئة. إعادة بناء أي من ذلك من الذاكرة تنتج قصة معقولة لا سببًا. وحين تُلتقط كلها تصبح ثلاثة أمور ممكنة: إعادة تشغيل التشغيل مقابل إصلاح والتأكّد من أنه ينجح الآن، وإعادة تشغيله على عائلة نماذج مختلفة لمعرفة إن كان الفشل خاصًا بالنموذج، وتفريع أثر التتبّع عند الخطوة التي حاد فيها كي تختبر تغييرًا دون إعادة تشغيل كل ما قبلها. ثم ارفع الحالة إلى مجموعة التقييم. مجموعة تقييم الوكيل هي في معظمها مجموعة من الأعطال السابقة مرفقة بتحقّقات، والأعطال التي لم يستطع أحد إعادة بنائها لم تدخلها أبدًا.
- التقط التعليمات المجمّعة والمعاملات الدقيقة والنتائج الخام والإصدارات والحالة الأولية
- أعد التشغيل مقابل الإصلاح، ومقابل عائلة نماذج أخرى، لعزل السبب
- فرّع أثر التتبّع عند الخطوة الفاشلة بدل إعادة تشغيل المسار كله
- العطل الذي لا تستطيع إعادة إنتاجه لا يمكن أن يصبح حالة اختبار انحدار
كيف ينطبق هذا عليّ؟
المساعد الذكي الذي ينفّذ أفعالًا نيابةً عنك قد يصل إلى النتيجة الصحيحة عبر طريق مقلق. والسؤال عمّا إذا كان أحد قد فحص الطريق، لا النتيجة وحدها، سؤال معقول عن أي أداة تعمل نيابةً عنك.
- اسأل هل تُختبر الأداة على طريقة عملها، لا فقط على إتمامها للمهمة
- النتيجة الصحيحة التي جاءت عبر طريق خطر حظّ، لا موثوقية
- المنتجات التي تستطيع أن تريك ما فعله المساعد هي التي تستطيع إصلاحه
تقييم المسار والتحقّقات الأمنية هما الأدوات نفسها منظورًا إليها من اتجاهين. فبمجرد التقاط كل خطوة مع معاملاتها، يمكنك التحقّق من أن الوكيل أدّى عمله، ومن أنه لم يلمس شيئًا ما كان ينبغي أن يلمسه.
- تحقّقات المسار تحمل الثوابت الأمنية بالسهولة نفسها التي تحمل بها ثوابت الجودة
- تحقّق من إمكانية إعادة تشغيل تشغيل فاشل للوكيل خطوة بخطوة — واسأل المورّدين السؤال نفسه
- غياب أثر تتبّع قابل لإعادة الإنتاج يعني لا تحقيق في الحادثة ولا سببًا جذريًا
- الشذوذ في الخطوات والتكلفة مؤشر على إساءة الاستخدام أيضًا، لا على الجودة فقط
اكتب الشروط اللاحقة لكل خطوة من البداية؛ فإضافتها لاحقًا بعد عطل محيّر هي الطريقة التي يضيع بها يوم كامل. التقط التعليمات المجمّعة ونتائج الأدوات الخام على مستوى كل مقطع تتبّع (Span)، كي يمكن تفريع التشغيل الفاشل عند الخطوة التي انكسرت بدل إعادة تشغيله من البداية.
- تحقّق من الشروط اللاحقة في كل خطوة، لا على المخرج النهائي فقط
- سجّل التعليمات المجمّعة ونتيجة الأداة الخام، لا القالب وملخصًا أبدًا
- أعلن الخطوات والرموز والتكلفة لكل تشغيل ناجح إلى جانب معدّل النجاح
- ابنِ طريقًا بخطوة واحدة من التشغيل الفاشل إلى حالة اختبار انحدار محفوظة
يقيس العملاء الوكلاء دائمًا تقريبًا بإتمام المهمة وحده، وهذا يخفي التشغيلات التي نجحت بتكلفة باهظة أو بطريقة خطرة. وإدخال تقييم المسار يغيّر صورة التجربة الأولية عادةً أكثر مما يغيّرها أي تعديل في التعليمات.
- أضف تقارير المسار والتكلفة لكل نجاح قبل التوصية بالتوسّع
- اعرض ذيل توزيع عدد الخطوات — فهو يعيد تأطير نتائج التجربة الأولية بسرعة
- اشترط آثار تتبّع قابلة لإعادة التشغيل كمعيار قبول لأي تسليم يتضمّن وكلاء
- حوّل كل عطل في التجربة الأولية إلى حالة محفوظة، وإلا بدأ المورّد التالي من الصفر