إنجاز المهمة مقابل جودة المخرجات
سؤالان مختلفان
تنقسم مقاييس التقييم (Eval) إلى عائلتين تجيبان عن سؤالين مختلفين، ويُخلط بينهما باستمرار. إنجاز المهمة يسأل: هل أُنجز العمل؟ هل صُرف المبلغ المسترد، وهل يُترجَم الكود المولَّد ويجتاز اختباراته، وهل التقط الاستخراج كل حقل مطلوب، وهل أصبحت التذكرة في الحالة الصحيحة. إنه مقياس موضوعي، يمكن فحصه بالكود عادةً، ويرتبط مباشرة بقيمة المستخدم. أما جودة المخرجات فتسأل: ما مدى جودة الناتج في أبعاد ليس لها تعريف حاسم: الوضوح، والنبرة، والأمانة للمصادر، والتحفّظ المناسب، والبنية. وهي تحتاج إلى معايير تقييم (Rubric) وحكّام. معظم الأنظمة تحتاج إلى الاثنين، لكن لا ينبغي دمجهما أبدًا في درجة واحدة — فالإجابة المكتوبة بإتقان التي تفشل في المهمة إخفاق، والإجابة المقتضبة التي تنجح نجاح مع ملاحظة على الأسلوب.
- إنجاز المهمة ثنائي وقابل للفحص؛ والجودة متدرّجة وذاتية
- أبلغ عنهما منفصلين — فالدرجة المدمجة تخفي أيهما تحرّك
- حين يتعارضان، يكون الإنجاز هو المقياس الأساسي
- كثير من الفرق تقيس الجودة وحدها لأن كتابة تعليمات لحَكَم أسهل
فكّك قبل أن تقيس
معدّل النجاح من البداية إلى النهاية يخبرك أن النظام فشل، لكنه لا يخبرك أين، مما يجعله وحده أداة ضعيفة لتصحيح الأخطاء. فكّك خط المعالجة وقِس كل مرحلة مقابل إجابتها المرجعية (Ground truth) الخاصة: هل أظهر الاسترجاع المستند الذي يحتوي الإجابة، وهل صنّف الموجِّه النية تصنيفًا صحيحًا، وهل اختار النموذج الأداة الصحيحة بمعاملات سليمة الصياغة، وهل فُسّرت نتيجة الأداة بشكل صحيح، وهل يحقّق المخرج النهائي المهمة. مقاييس المراحل تحدّد موضع العطل فورًا، وتمنع التشخيص الخاطئ الكلاسيكي حيث يُلام النموذج على إخفاق في الاسترجاع، فيُعالج بترقية مكلفة لا تغيّر شيئًا. أبقِ الرقم الشامل من البداية إلى النهاية عنوانًا رئيسيًا — فمقاييس المراحل التي تتحسّن بينما يبقى المعدّل الشامل ثابتًا تحذير بأنك تحسّن مرحلة لم تكن عنق الزجاجة أصلًا.
- إجابة مرجعية لكل مرحلة: إصابة الاسترجاع، وفئة النية، واختيار الأداة، وصحة المعاملات، والنتيجة النهائية
- معظم بلاغات «النموذج ليس جيدًا بما يكفي» هي إخفاقات في الاسترجاع أو السياق
- تحسّن المراحل مع ثبات النتيجة الشاملة يعني أنك أصلحت ما ليس عنق الزجاجة
الثنائي يتفوّق على الخماسي
حين تعرّف ما يُعدّ نجاحًا، فضّل عدة فحوص ثنائية مستقلة على مقياس متدرّج واحد. فالبشر والنماذج يطبّقون المعايير الثنائية باتساق أكبر بكثير — فالفرق بين ثلاثة وأربعة على مقياس من خمس نقاط هو بالضبط الموضع الذي ينهار فيه الاتفاق بين المقيّمين، ويتغيّر بتغيّر المقيّم ومزاجه وما صحّحه قبل لحظات. فكّك الجودة التي تهمّك إلى معايير ملموسة بنعم أو لا: هل يستشهد بمصدر لكل ادعاء واقعي، وهل يبقى ضمن النطاق، وهل يتجنّب تأكيد أي شيء غائب عن السياق المقدَّم، وهل يتبع الصيغة المطلوبة. تحصل على نسبة مئوية من المعايير الناجحة، وتفصيل تشخيصي بالمعيار الذي فشل، وتعريف للجودة يصمد حين يُسلَّم إلى مراجع جديد.
- عدة معايير ثنائية تتفوّق على مقياس ليكرت واحد في الاتساق والتشخيص
- الفروق في منتصف المقياس هي حيث ينهار اتفاق المقيّمين
- التفصيل بحسب المعيار يخبرك بما يجب إصلاحه؛ أما درجة 3.6 فلا
- احتفظ بالدرجات الجزئية للحالات التي تقبل المهمة فيها درجات حقًا
احتساب الدرجات الجزئية بأمانة
بعض المهام تقبل نجاحًا جزئيًا حقًا — استخراج سبعة حقول من تسعة، أو إتمام أربع خطوات من خمس — والإغراء هو حساب متوسط كل شيء في نسبة مئوية مرتّبة. احذر، لأن المتوسط يفترض أن المكوّنات قابلة للتبادل، وهي عادةً ليست كذلك. ففقدان حقل اختياري وفقدان المعرّف الذي يُفهرَس به السجل ليسا الحدث نفسه، والمتوسط يعاملهما بالتساوي. وحيث تختلف المكوّنات في عواقبها، أعطها أوزانًا، أو الأفضل من ذلك: عرّف مجموعة متطلبات إلزامية يجب أن تنجح كلها كي تُحسب الحالة منجزة، مع الإبلاغ عن الباقي كبُعد جودة منفصل. اكتب القاعدة صراحة في تعريف الحالة، لأن الأعراف الضمنية للدرجات الجزئية من أكثر الأسباب شيوعًا لحساب فريقين أرقامًا مختلفة من التشغيلات نفسها.
- حساب متوسط المكوّنات يفترض أنها متساوية الأهمية — ونادرًا ما تكون كذلك
- عرّف نواة إلزامية النجاح وقيّم الباقي منفصلًا
- اكتب قاعدة الدرجات الجزئية في الحالة؛ فالأعراف الضمنية تتباعد