مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

معايير تقييم يطبّقها البشر والنماذج معًا

⁧معايير تقييم يطبّقها الإنسان والنموذج على المخرجات نفسها⁩⁧أبعاد مسمّاة، وأوصاف ملموسة للمستويات، ومثال محلول يثبّت كل مستوى⁩⁧الأبعاد عمودياً والمستويات أفقياً — كل خانة تقول ما يفعله النص، لا مدى جودته في الإحساس⁩⁧المستوى 1 — غير مقبول⁩⁧المستوى 2 — مقبول⁩⁧المستوى 3 — نموذجي⁩⁧الأمانة⁩⁧للمصدر⁩⁧يتضمن ادعاءً لا يدعمه⁩⁧المصدر.⁩⁧مثال: يذكر رقماً ليس في المصدر⁩⁧كل ادعاء يمكن تتبّعه إلى⁩⁧المصدر؛ لا شيء مختلَق.⁩⁧مثال: كل نقطة تقابل مقطعاً⁩⁧قابل للتتبّع، وينبّه حيث⁩⁧يسكت المصدر.⁩⁧مثال: يشير إلى ما سكت عنه المصدر⁩⁧الالتزام⁩⁧بالتعليمات⁩⁧يتجاهل قيداً مذكوراً⁩⁧في الصيغة أو الطول أو النطاق.⁩⁧مثال: طُلبت نقاط فجاء نص متصل⁩⁧يفي بكل القيود⁩⁧المذكورة.⁩⁧مثال: نقاط بالترتيب المطلوب⁩⁧يفي بها، ويسأل حين⁩⁧يتعارض قيدان.⁩⁧مثال: ينبّه إلى تعارض قيدين⁩⁧اكتمال⁩⁧التغطية⁩⁧يُسقط جزءاً من الطلب⁩⁧دون أن يذكر ذلك.⁩⁧مثال: يجيب عن سؤال من اثنين⁩⁧يغطي كل أجزاء⁩⁧الطلب.⁩⁧مثال: أُجيب عن السؤالين⁩⁧يغطيه، ويسمّي ما تركه⁩⁧عن قصد.⁩⁧مثال: يسمّي ما تركه⁩⁧لماذا يختلف النموذج الحَكَم والإنسان — السبب عادةً هو الصياغة⁩⁧معيار غامض — «هل الإجابة جيدة؟»⁩⁧يفهم مقيّمان «جيدة» بشكل مختلف، ولا شيء في معايير التقييم⁩⁧يحسم ذلك. والنموذج الحَكَم يرث الغموض⁩⁧نفسه — فاختلاف الحَكَم والإنسان عيب في المعايير.⁩⁧المخرجات نفسها، مقيّمان، نتيجتان مختلفتان — ولا سبيل للحسم.⁩⁧وصف ملموس — ما يفعله النص⁩⁧كل مستوى يسمّي خاصية ملحوظة في النص، فيفحص⁩⁧المقيّمان الشيء نفسه — وكذلك الحَكَم. وما يبقى⁩⁧غموض حقيقي في المخرجات، لا في الصياغة.⁩⁧المخرجات نفسها، مقيّمان، النتيجة نفسها، بالطريقة نفسها.⁩⁧اختبار معايير التقييم هو الاتفاق، لا الأناقة⁩⁧قيّم مرتين، باستقلال⁩⁧مقيّمان، دون نقاش،⁩⁧على المخرجات نفسها.⁩⁧اقرأ كل خلاف⁩⁧كل خلاف يحدّد موضعاً⁩⁧عجز فيه الوصف عن الحسم.⁩⁧أصلح المعايير، لا المقيّمين⁩⁧أعد كتابة المستوى حتى⁩⁧يُضطر الاثنان إلى الاتفاق.⁩⁧تنجح معايير التقييم حين يصل مقيّمان مستقلان إلى النتيجة نفسها دون تشاور⁩⁧المعايير الغامضة هي سبب اختلاف الحَكَم والإنسان — أصلح الكلمات، لا الحَكَم⁩⁧اكتب المستويات بحيث يقيّم غريب المخرجات نفسها فيصل إلى النتيجة نفسها⁩
⁧معايير التقييم هي المواصفة — إن لم تحسم الحالة فلن يحسمها إنسان ولا نموذج⁩

معايير التقييم هي المواصفات

كتابة معايير التقييم (Rubric) تبدو عملًا توثيقيًا، لكنها في الحقيقة كتابة مواصفات — فهي الموضع الذي يتحوّل فيه الطموح الغامض لإجابة جيدة إلى مجموعة عبارات قابلة للاختبار. ولهذا تكشف كتابة المعايير خلافات لم يكن الفريق يعلم بوجودها: شخصان يريدان كلاهما ملخصات دقيقة يتبيّن أنهما يقصدان شيئين مختلفين بكلمة دقيقة، والمعايير هي حيث يُحسم ذلك بدل أن يُعاد الجدل حوله في كل مراجعة. ولأن المعايير تؤدي دور مجموعة التعليمات للمراجعين البشريين وللنماذج الحَكَم معًا، يجب أن تُكتب لشخص لا يملك أي سياق إضافي: لا إشارات إلى أعراف داخلية، ولا معايير تعتمد على معرفة ما ناقشه الفريق الشهر الماضي، ولا كلمات مثل مناسب أو معقول تقف وحدها دون تعريف لما تعنيه هنا.

  • كتابة المعايير هي حيث تصبح معايير الجودة الضمنية صريحة وقابلة للنقاش
  • اكتب لغريب كفء — بلا سياق داخلي غير مشروح
  • الكلمات غير المعرَّفة مثل مناسب وواضح ومعقول هي حيث يموت الاتساق
  • المعايير نفسها تقود التصنيف البشري وتحكيم النماذج، لذا يجب أن تخدم الاثنين

تشريح المعيار

للمعيار الذي يصمد أمام تعدّد المقيّمين أربع خصائص. فهو ذرّي، يختبر شيئًا واحدًا بالضبط — فالمعايير المركّبة المربوطة بحرف «و» تنتج حكمًا واحدًا على سؤالين وتجعل تشخيص الخلاف مستحيلًا. وهو قابل للملاحظة من المخرج ومدخلاته، فلا يتطلّب معرفة لا يملكها المقيّم. وهو قابل للحسم، مصاغ بحيث يصل القارئ المتأنّي إلى نعم أو لا دون موازنة اعتبارات متنافسة. وهو مثبّت بأمثلة: على الأقل مثال نجاح واضح، ومثال فشل واضح، وحالة حدّية مع الحكم وسببه. أمثلة التثبيت تؤدي عملًا أكبر من أي قدر من الشرح الإضافي، لأنها تحوّل معيارًا مجرّدًا إلى حدّ مُبيَّن بالتطبيق — ويمكن إدراجها مباشرة في تعليمات الحَكَم كأمثلة توضيحية (Few-shot examples).

  • ذرّي: قسّم كل معيار يحتوي على «و» إلى فحوص منفصلة
  • قابل للملاحظة: المصحّحون لا يرون إلا المخرج والمدخل والسياق المقدَّم
  • مثبّت: أمثلة نجاح وفشل وحالات حدّية مع التعليل مرفقًا
  • أمثلة التثبيت تصلح أيضًا أمثلة توضيحية للنموذج الحَكَم

طوّر المعايير بناءً على الخلاف

النسخة الأولى من معايير التقييم ناقصة التحديد دائمًا، والطريقة لمعرفة أين هي أن يطبّقها شخصان باستقلال على العشرين حالة نفسها، ثم تفحص كل خلاف. كل خلاف عيب في المعايير لا في المقيّم: فهو يحدّد موضعًا تحتمل فيه الصياغة قراءتين. أصلح الصياغة، وأضف مثال تثبيت يغطي الموقف المختلف عليه، وأعد التشغيل حتى يصبح الاتفاق عاليًا بما يكفي ليكون مفيدًا. عندها فقط تصبح المعايير جاهزة للنموذج الحَكَم، لأن معايير لا يستطيع البشر تطبيقها باتساق ستنتج ضوضاء من النموذج أيضًا — مع خطر إضافي هو أن النموذج يُنتج ضوضاءه بطلاقة ومعها تفسير واثق. تطوير المعايير رخيص في هذه المرحلة، ومكلف بعد أن تكون قد صنّفت ألف حالة بنسخة غامضة.

  • مقيّمان مستقلان على العيّنة الصغيرة نفسها، ثم فحص كل خلاف
  • كل خلاف عيب في المعايير — أصلح الصياغة وأضف مثال تثبيت
  • حقّق الاتساق البشري قبل الأتمتة؛ فالحَكَم يرث كل غموض
  • جمّد المعايير وأعطها رقم إصدار حين يبدأ التصنيف؛ فتغييرها يُبطل التصنيفات السابقة