مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

النموذج كحَكَم كما ينبغي

⁧النموذج الحَكَم وأنماط إخفاقه المعروفة⁩⁧الإجابة A⁩⁧الإجابة B⁩⁧النموذج الحَكَم⁩⁧يقيّم إجابة، أو يختار الفائزة⁩⁧رخيص وسريع ويتّسع لكل تشغيل⁩⁧لكنه نموذج، بأنماط إخفاق النماذج⁩⁧الحكم⁩⁧تفوز A · 4 / 5⁩⁧تحيّز الموضع⁩⁧يفضّل الإجابة التي⁩⁧يقرؤها أولاً — أو أخيراً.⁩⁧التخفيف⁩⁧بدّل الترتيب، شغّل مرتين، خذ المتوسط.⁩⁧تحيّز الإسهاب⁩⁧يكافئ الطول والنبرة⁩⁧الواثقة على حساب الصحة.⁩⁧التخفيف⁩⁧قيّم وفق معايير تقييم صريحة.⁩⁧تفضيل الذات⁩⁧يرفع تقييم نصوص عائلته⁩⁧من النماذج فوق الجميع.⁩⁧التخفيف⁩⁧احكم بعائلة نماذج مختلفة.⁩⁧المعايرة — الخطوة التي تجعل الحَكَم أداة قياس⁩⁧1 · صنّف شريحة يدوياً⁩⁧نحو 100 حالة حقيقية،⁩⁧يصنّفها بشر⁩⁧2 · شغّل الحَكَم⁩⁧الشريحة نفسها،⁩⁧المعايير نفسها⁩⁧3 · قِس الاتفاق⁩⁧معامل كوهين كابا،⁩⁧لا الدقة الخام⁩⁧4 · أحكِم وكرّر⁩⁧أعد كتابة المعايير⁩⁧حتى تبلغ الحد المطلوب⁩⁧أعد المعايرة كلما تغيّرت المعايير أو النموذج الحَكَم أو المهمة — الاتفاق لا ينتقل تلقائياً⁩
⁧النموذج الحَكَم نموذج قيد الاختبار، لا أداة قياس — حتى تقيس اتفاقه مع البشر⁩

لماذا الحكّام، وما حقيقتهم

خصائص كثيرة تستحق القياس تستعصي على الكود — هل الملخص أمين لمصدره، وهل يُرضي الشرح من طرح السؤال، وهل كان الرفض مبرَّرًا. المراجعة البشرية تجيب عن هذه الأسئلة لكنها لا تتوسّع لتشمل كل تغيير في كل طلب دمج. النموذج كحَكَم (LLM-as-judge) يسدّ هذه الفجوة، وهو اليوم أساس معظم خطوط التقييم الجادة. والإطار الذي يُبقي الفرق صادقة هو معاملة الحَكَم كأداة قياس: جهاز له دقة تمييز، وملف تحيّز، وحالة معايرة. لن تثق بأداة غير معايَرة في أي تخصّص هندسي آخر، والحَكَم غير المعايَر أسوأ من غياب المقياس، لأنه ينتج رقمًا واثقًا ومعه تبرير بليغ، والتشكيك في ذلك أصعب بكثير من التشكيك في الصمت.

  • الحكّام موجودون للخصائص التي لا يعبّر عنها أي فحص بالكود — لا كمصحّح افتراضي
  • عامل الحَكَم كأداة لها تحيّز ومعايرة، لا كعرّاف
  • الدرجة الخاطئة البليغة أخطر من الدرجة الغائبة
  • كل حَكَم نظام ذكاء اصطناعي ثانٍ في منظومتك، بأنماط إخفاقه الخاصة

كتابة تعليمات جيدة للحَكَم

جودة الحَكَم هي في معظمها تصميم للتعليمات (Prompt)، وحفنة الخيارات نفسها تفسّر معظم الفرق بين حَكَم مفيد ومولّد أرقام عشوائية. أعطه معايير التقييم مع أمثلة التثبيت بدل تعليمة مجرّدة. اطلب معيارًا واحدًا في كل مرة؛ فالحَكَم المطلوب منه ستة أبعاد في استدعاء واحد يميل إلى إنتاج درجات مترابطة تعكس في معظمها انطباعًا عامًا. اشترط تبريرًا قصيرًا قبل الحكم لا بعده، كي يكون التصنيف مبنيًا على التفكير بدل أن يكون تبريرًا لقرار متسرّع. اطلب مخرجات منظّمة كي لا يصبح التحليل البرمجي للمخرجات (Parsing) مصدرًا ثانيًا للخطأ. قدّم إجابات مرجعية حيث توجد، فالتصحيح مقابل إجابة مرجعية مهمة أسهل بكثير من التصحيح المجرّد. وتجنّب المقاييس الرقمية المفتوحة — فطلب تقييم شيء من عشرة ينتج تكتّلًا وانجرافًا لا يزيلهما أي قدر من ضبط التعليمات.

  • معيار واحد في كل استدعاء، مع المعايير وأمثلة التثبيت
  • التفكير أولًا، ثم حكم منظّم — الترتيب مهم
  • الإجابات المرجعية تحوّل حكمًا مفتوحًا إلى مقارنة
  • ثنائي أو مستويات منفصلة قليلة؛ فمقاييس 1–10 المفتوحة تنجرف وتتكتّل

ملف التحيّز

تحيّزات الحكّام موثّقة وقابلة للتكرار، ويمكن تخفيفها إلى حد كبير إن صمّمت لها. تحيّز الموضع: في المقارنات الثنائية بين إجابتين، يفضّل الحكّام موضعًا واحدًا بشكل منهجي، لذا شغّل الترتيبين واعتبر الأحكام المعتمدة على الترتيب تعادلًا لا بيانات. تحيّز الإسهاب: الإجابات الأطول تحصل على درجات أعلى عند تساوي الجودة، لذا اضبط أثر الطول في المقارنات وراقب ما إذا كانت مخرجاتك تطول مع تحسّن الدرجات. التفضيل الذاتي: تفضّل النماذج النصوص التي تشبه أسلوب توليدها، لذا تجنّب تقييم عائلة نماذج بنفسها حيث استطعت. وإلى جانب ذلك، يكافئ الحكّام الصياغة الواثقة على الدقة المتحفّظة، ويتأثّرون بالتنسيق وبنية markdown، ويمكن أن تؤثّر فيهم ادعاءات داخل المحتوى الذي يجري تقييمه — مما يجعل الحَكَم مكوّنًا آخر له سطح معرّض لحقن التعليمات (Prompt injection).

  • تحيّز الموضع: بدّل الترتيب دائمًا؛ والخلاف بين الترتيبين يعني تعادلًا
  • تحيّز الإسهاب: اضبط أثر الطول، وراقب طول المخرجات كأثر جانبي للضبط
  • التفضيل الذاتي: احكم بعائلة نماذج مختلفة عن التي تولّد بها حيث أمكن
  • الحكّام يقرؤون محتوى قد يتحكّم فيه مهاجم — عامل النص المقيَّم كمدخلات غير موثوقة

المعايرة مقابل التصنيفات البشرية

لا يصبح الحَكَم مقياسًا إلا بعد أن تقيسه مقابل الإجابة المرجعية التي ينوب عنها. والإجراء غير لامع ولا يقبل التفاوض: خذ عيّنة من الحالات، واطلب من خبير المجال لديك تصنيفها بمعايير التقييم نفسها، ثم قارن — لا برقم دقة واحد، بل كمسألة تصنيف. أين ينتج الحَكَم نجاحات كاذبة، وأين إخفاقات كاذبة، وهل الخطأ منهجي في شريحة بعينها؟ قارن اتفاقه مع البشر بمدى اتفاق شخصين فيما بينهما، لأن هذا السقف البشري هو الحد الأعلى الواقعي، والحَكَم القريب منه يؤدي جيدًا. ثم أعد التحقق كلما تغيّر شيء: نموذج حَكَم جديد، أو تعديل في المعايير، أو تحوّل في توزيع المخرجات. تحديثات النماذج من جهة المزوّد قد تغيّر سلوك الحَكَم دون أي تغيير من جهتك، ولهذا يهمّ تثبيت إصدار الحَكَم وإعادة الفحص دوريًا.

  • قارن الحَكَم بالتصنيفات البشرية كمصفوفة التباس، لا كرقم دقة واحد
  • قِس اتفاق الحَكَم مع البشر مقابل اتفاق البشر فيما بينهم، وهو السقف الواقعي
  • أعد التحقق عند كل تغيير في الحَكَم، أو تعديل في المعايير، أو تحوّل كبير في المخرجات
  • ثبّت نموذج الحَكَم حيث تسمح المنصة؛ فالتحديثات الصامتة تحرّك مقياسك

جرّب بنفسك

تبدو المعايرة مشروعًا، وهي في الحقيقة فترة بعد ظهر واحدة مع عشرين حالة. وهي أيضًا الخطوة الوحيدة التي تحوّل درجة الحَكَم من رأي إلى قياس.

◆ جرّبها بنفسك

خذ عشرين مخرجًا من ميزة ذكاء اصطناعي تطلقها، أو تبنيها، أو تستخدمها يوميًا — وإن لم تكن لديك ميزة خاصة، فاجمع عشرين إجابة من منتج ذكاء اصطناعي تعتمد عليه. اختر معيارًا ثنائيًا واحدًا من معايير التقييم لديك، وصنّف العشرين كلها بنفسك أولًا، ثم شغّل تعليمات الحَكَم أدناه على العشرين نفسها وقارن. عُدّ الخلافات في اتجاهين: كم حالة أنجحها الحَكَم وأفشلتها أنت، وكم حالة أفشلها وأنجحتها أنت. ثم اقرأ كل خلاف وحدّد أي صياغة في المعيار سمحت بقراءتين صادقتين — فكلها تقريبًا خطأ في المعايير لا في الحَكَم.

أنت تقيّم معيارًا واحدًا فقط.

المعيار: [معيار واحد بنعم أو لا، بعبارات قابلة للملاحظة]
ينجح بوضوح: [مثال، والسبب]
يفشل بوضوح: [مثال، والسبب]
حالة حدّية: [حالة قريبة من الحد، مع الحكم والسبب]

المدخل الذي أُعطي للنظام:
[الصق هنا]

المخرج المطلوب تقييمه:
[الصق هنا]

اكتب جملتين من التفكير أولًا. ثم ضع الحكم في السطر الأخير، بكلمة PASS أو FAIL بالضبط.
كيف تعرف أنها نجحت
  • كل عنصر من العشرين يحمل تصنيفين مسجّلين — تصنيفك، مكتوبًا قبل أن ترى تصنيف الحَكَم
  • الخلافات مسجّلة كعددين لا عدد واحد: أنجحها الحَكَم وأفشلتها أنت، وأفشلها الحَكَم وأنجحتها أنت
  • خلاف واحد على الأقل أدّى إلى تعديل في صياغة المعيار أو إلى مثال تثبيت جديد

كيف ينطبق هذا عليّ؟

مستخدم عام

استخدام ذكاء اصطناعي لتقييم ذكاء اصطناعي آخر ممارسة معتادة وتنجح بشكل معقول — بشرط أن يكون أحدهم قد فحص المقيِّم مقابل الحكم البشري. وبدون فحص، ينتج درجات واثقة قد تكون خاطئة بشكل منهجي بطرق لا يلاحظها أحد.

  • للمقيِّمين الآليين خصوصيات معروفة: يفضّلون الإجابات الأطول والأكثر ثقة في نبرتها
  • السؤال الصحيح عن أي درجة جودة للذكاء الاصطناعي هو: هل تحقّق البشر من المقيِّم؟
  • الرقم الذي لا تقف خلفه معايرة بشرية رأي يرتدي ثوب الأرقام
متخصص أمن

حين يقدّم مورّد أرقامًا عن جودة الذكاء الاصطناعي أو دقة الكشف، فإن منهجية التحكيم هي الجزء الذي يستحق الاستجواب. تحيّز الموضع وتحيّز الإسهاب والتفضيل الذاتي أنماط إخفاق ملموسة يمكن الاستشهاد بها، تحوّل سؤال «كيف تعرفون؟» الغامض إلى سؤال تقني محدد قلّة من المورّدين تستطيع الإجابة عنه.

  • اسأل: من أو ما الذي أنتج هذه الدرجات، وهل جرى التحقق من الحَكَم مقابل تصنيفات بشرية؟
  • المورّد الذي يقيّم عائلة نماذجه بنموذجه نفسه يقع في مشكلة التفضيل الذاتي — نبّه إليها
  • الحكّام يستهلكون محتوى غير موثوق، فاسأل كيف يتعامل خط التقييم لديهم مع الحقن
  • اتفق على معايير تقييم مع المورّد مسبقًا، ثم اطلب من فريقك تقييم مخرجات التجربة الأولية نفسها
مطوّر

ابنِ الحَكَم كأي مكوّن آخر تعتمد عليه: تعليمات بإصدارات، ومخرجات منظّمة، ونموذج مثبَّت، واختبار معايرة يعمل مقابل عيّنة صنّفها البشر. الحَكَم غير المتحقَّق منه يحوّل مجموعة اختبارات التقييم لديك إلى مسرحية بصمت.

  • معيار واحد في كل استدعاء للحَكَم، والمعايير مع أمثلة التثبيت في التعليمات، والتفكير قبل الحكم
  • شغّل الترتيبين في المقارنات الثنائية وسجّل النتائج المعتمدة على الترتيب كتعادل
  • احتفظ بمجموعة معايرة مصنّفة بشريًا في CI كي يُفشل انجراف الحَكَم اختبارًا لا إطلاقًا
  • سجّل كل مدخل ومخرج للحَكَم — فستحتاج إليها حين يُعترض على درجة
مستشار ذكاء اصطناعي

التحكيم الآلي هو ما يجعل التقييم ميسور الكلفة على نطاق العملاء، وهو أيضًا الموضع الذي يفقد فيه البرنامج مصداقيته بهدوء. اشترط أن تكون عيّنة المعايرة المصنّفة بشريًا من المخرجات المسلَّمة لا إضافة اختيارية، وأن يُعاد التحقق من الحَكَم كلما تغيّرت المعايير أو النموذج.

  • خصّص وقتًا لخبراء المجال لتصنيف عيّنات المعايرة في كل خطة مشروع
  • أبلغ عن اتفاق الحَكَم مع البشر إلى جانب كل مقياس مستمد من الحَكَم
  • احذر مؤشرات الأداء المستمدة من الحَكَم في العقود ما لم تكن المعايرة ملزمة تعاقديًا
  • تحديثات النماذج قد تحرّك الحَكَم دون إشعار — جدوِل إعادة تحقق دورية