التقييم بوصفه اختبار الوحدة للأنظمة الاحتمالية
من التأكيد الواحد إلى التوزيع
يؤكد اختبار الوحدة أن مدخلًا واحدًا يُنتج مخرجًا واحدًا. هذا العقد غير متاح هنا: فأخذ العيّنات يجعل المخرجات عشوائية، وللإجابات الصحيحة أشكال سطحية كثيرة، والأنظمة متعددة الخطوات تراكم الاختلافات الصغيرة حتى تتحوّل إلى مسارات مختلفة. التقييم (Eval) يحافظ على شكل الاختبار مع تغيير طبيعة التأكيد. فبدل تأكيد التطابق تؤكد خاصية: الإجابة تتضمن الرقم الصحيح، وملف JSON يطابق المخطط، والمبلغ أُعيد فعلًا، ولم تُستدعَ أي أداة محظورة. وبدل النجاح أو الفشل في تشغيل واحد، تؤكد على معدّل عبر تشغيلات كثيرة. والتحوّل الذهني الذي يفتح كل شيء: التقييم ليس اختبارًا ينجح، بل قياس له قيمة وتوزيع واتجاه. وتضع بوابات العبور على عتبات فوق هذا القياس كما تفعل مع ميزانيات زمن الاستجابة، لا كما تفعل مع نجاح الترجمة البرمجية.
- أكّد الخصائص والثوابت، ولا تؤكّد نصوصًا حرفية أبدًا
- نتيجة التقييم رقم مصحوب بعدم يقين، لا قيمة صحيح أو خطأ
- العتبات قرارات منتج — اخترها عن قصد، ثم التزم بها
سلّم المصحّحات
اختر أرخص مصحّح قادر فعلًا على حسم السؤال، ولا تصعد إلا مضطرًا. الفحوص الحتمية تأتي أولًا: التحقق من المخطط، والمطابقة التامة أو التقريبية مع مرجع، والتعابير النمطية (Regex) للمعرّفات المطلوبة، واختبارات الوحدة على الكود المولَّد، وحالة قاعدة البيانات بعد استدعاء أداة. هذه مجانية وفورية ولا تنحرف أبدًا. بعدها تأتي القواعد البرمجية التقريبية ومقاييس الاسترجاع — هل استُرجع المقطع الصحيح، وهل اختيرت الأداة الصحيحة، وهل بقي التشغيل ضمن الميزانية. وعندها فقط تلجأ إلى النموذج كحَكَم (LLM-as-judge)، وفقط للخصائص الذاتية حقًا: الأمانة للمصدر، والنبرة، وهل يُرضي الشرح السائل. معظم الفرق تقلب هذا السلّم، فترسل كل شيء إلى حَكَم لأنه سطر كود واحد، ثم تكتشف أن مقياسها نموذج غير متحقَّق منه يصحّح نموذجًا آخر، من دون إجابة مرجعية (Ground truth) في أي مكان من الحلقة.
- المصحّحات الحتمية: مجانية وسريعة ولا تنحرف — استخدمها حيثما كانت الإجابة قابلة للتحقق
- تنفيذ الكود هو أقوى مصحّح متاح حين يكون المخرج كودًا
- احتفظ برموز الحَكَم للخصائص التي لا يستطيع أي تأكيد التعبير عنها
- كل حَكَم تضيفه هو نموذج إضافي صار عليك التحقق منه
مستويات المنظومة
حاكِ هرم الاختبارات. تقييمات المكوّنات تستهدف وحدة واحدة — تعليمات تصنيف، أو خطوة استخراج، أو المسترجِع وحده — بحالات كثيرة ومصحّحات رخيصة وتغذية راجعة سريعة؛ وحين تنخفض الجودة تخبرك أي مرحلة تعطّلت. تقييمات المسار الكامل تشغّل النظام المجمَّع من أوله إلى آخره على مدخلات واقعية، فتلتقط أخطاء التفاعل التي لا يراها أي اختبار للمكوّنات. وتقييمات المسار التنفيذي تخص الوكلاء، فتصحّح الطريق والوجهة معًا: الأدوات المختارة، والخطوات المتّخذة، والميزانية المستهلكة، وبوابات الموافقة المحترمة. أبقِ قاعدة الهرم عريضة لأنها حيث يجري تتبّع الأخطاء، لكن لا تدعها تحل محل القمة أبدًا — فقد ينجح النظام في كل تقييمات المكوّنات ويخذل المستخدمين مع ذلك، لأن الإخفاق يكمن في طريقة تركيب الأجزاء معًا.
- تقييمات المكوّنات تحدّد موضع الخلل؛ وتقييمات المسار الكامل تثبت أن المنتج يعمل
- جودة الاسترجاع تستحق مقاييسها الخاصة — إخفاقات التوليد المعزّز بالاسترجاع (RAG) هي في الغالب إخفاقات استرجاع
- تقييمات الوكلاء تصحّح المسار والنتيجة، لأن الإجابة الصحيحة عبر طريق محظور خلل
التذبذب بيانات
في التكامل المستمر (CI) التقليدي، الاختبار المتذبذب خلل في الاختبار نفسه. أما في منظومات التقييم فالإخفاق المتقطّع كثيرًا ما يكون تقريرًا صادقًا عن نظامك: الحالة التي تنجح سبعين بالمئة من المرات تخبرك أن سبعين بالمئة من المستخدمين الذين يطرحون ذلك السؤال يحصلون على إجابة صحيحة. لا تطاردها حتى تخضرّ بتخفيف المصحّح. سجّل المعدّل، وقرّر إن كان مقبولًا لتلك الشريحة، وتعامل مع أي تحرّك فيه كإشارة. الحالات المعطوبة فعلًا هي تلك التي يكون فيها المصحّح هو المخطئ — إجابات متوقعة غامضة، ومعايير تقييم (Rubric) يقرؤها مراجعان بشكل مختلف، وبيئات تتسرّب حالتها بين التشغيلات. عالج تذبذب المصحّح بلا رحمة، واحفظ تذبذب النظام بأمانة؛ فالخلط بينهما هو ما يُفقد المنظومات الثقة التي تجعلها مفيدة.
- معدّلات النجاح المتقطّعة تصف الواقع — سجّلها بدل أن تخفيها
- عدم حتمية المصحّح خلل؛ وعدم حتمية النظام قياس
- أعد ضبط حالة البيئة بين التشغيلات، وإلا فأنت تقيس التلوّث