معايير تقييم يطبّقها البشر والنماذج معًا
معايير التقييم هي المواصفات
كتابة معايير التقييم (Rubric) تبدو عملًا توثيقيًا، لكنها في الحقيقة كتابة مواصفات — فهي الموضع الذي يتحوّل فيه الطموح الغامض لإجابة جيدة إلى مجموعة عبارات قابلة للاختبار. ولهذا تكشف كتابة المعايير خلافات لم يكن الفريق يعلم بوجودها: شخصان يريدان كلاهما ملخصات دقيقة يتبيّن أنهما يقصدان شيئين مختلفين بكلمة دقيقة، والمعايير هي حيث يُحسم ذلك بدل أن يُعاد الجدل حوله في كل مراجعة. ولأن المعايير تؤدي دور مجموعة التعليمات للمراجعين البشريين وللنماذج الحَكَم معًا، يجب أن تُكتب لشخص لا يملك أي سياق إضافي: لا إشارات إلى أعراف داخلية، ولا معايير تعتمد على معرفة ما ناقشه الفريق الشهر الماضي، ولا كلمات مثل مناسب أو معقول تقف وحدها دون تعريف لما تعنيه هنا.
- كتابة المعايير هي حيث تصبح معايير الجودة الضمنية صريحة وقابلة للنقاش
- اكتب لغريب كفء — بلا سياق داخلي غير مشروح
- الكلمات غير المعرَّفة مثل مناسب وواضح ومعقول هي حيث يموت الاتساق
- المعايير نفسها تقود التصنيف البشري وتحكيم النماذج، لذا يجب أن تخدم الاثنين
تشريح المعيار
للمعيار الذي يصمد أمام تعدّد المقيّمين أربع خصائص. فهو ذرّي، يختبر شيئًا واحدًا بالضبط — فالمعايير المركّبة المربوطة بحرف «و» تنتج حكمًا واحدًا على سؤالين وتجعل تشخيص الخلاف مستحيلًا. وهو قابل للملاحظة من المخرج ومدخلاته، فلا يتطلّب معرفة لا يملكها المقيّم. وهو قابل للحسم، مصاغ بحيث يصل القارئ المتأنّي إلى نعم أو لا دون موازنة اعتبارات متنافسة. وهو مثبّت بأمثلة: على الأقل مثال نجاح واضح، ومثال فشل واضح، وحالة حدّية مع الحكم وسببه. أمثلة التثبيت تؤدي عملًا أكبر من أي قدر من الشرح الإضافي، لأنها تحوّل معيارًا مجرّدًا إلى حدّ مُبيَّن بالتطبيق — ويمكن إدراجها مباشرة في تعليمات الحَكَم كأمثلة توضيحية (Few-shot examples).
- ذرّي: قسّم كل معيار يحتوي على «و» إلى فحوص منفصلة
- قابل للملاحظة: المصحّحون لا يرون إلا المخرج والمدخل والسياق المقدَّم
- مثبّت: أمثلة نجاح وفشل وحالات حدّية مع التعليل مرفقًا
- أمثلة التثبيت تصلح أيضًا أمثلة توضيحية للنموذج الحَكَم
طوّر المعايير بناءً على الخلاف
النسخة الأولى من معايير التقييم ناقصة التحديد دائمًا، والطريقة لمعرفة أين هي أن يطبّقها شخصان باستقلال على العشرين حالة نفسها، ثم تفحص كل خلاف. كل خلاف عيب في المعايير لا في المقيّم: فهو يحدّد موضعًا تحتمل فيه الصياغة قراءتين. أصلح الصياغة، وأضف مثال تثبيت يغطي الموقف المختلف عليه، وأعد التشغيل حتى يصبح الاتفاق عاليًا بما يكفي ليكون مفيدًا. عندها فقط تصبح المعايير جاهزة للنموذج الحَكَم، لأن معايير لا يستطيع البشر تطبيقها باتساق ستنتج ضوضاء من النموذج أيضًا — مع خطر إضافي هو أن النموذج يُنتج ضوضاءه بطلاقة ومعها تفسير واثق. تطوير المعايير رخيص في هذه المرحلة، ومكلف بعد أن تكون قد صنّفت ألف حالة بنسخة غامضة.
- مقيّمان مستقلان على العيّنة الصغيرة نفسها، ثم فحص كل خلاف
- كل خلاف عيب في المعايير — أصلح الصياغة وأضف مثال تثبيت
- حقّق الاتساق البشري قبل الأتمتة؛ فالحَكَم يرث كل غموض
- جمّد المعايير وأعطها رقم إصدار حين يبدأ التصنيف؛ فتغييرها يُبطل التصنيفات السابقة