هل يعمل ذكاؤك الاصطناعي فعلاً؟‹بناء مجموعات التقييماختبر نفسك8 أسئلة عن «بناء مجموعات التقييم». اختر إجابة لكل سؤال، ثم اضغط «تحقّق من إجاباتي».1. لماذا يكون أخذ عيّنات مرجَّحة بالإخفاق من حركة التشغيل الفعلي قيّمًا بشكل خاص عند بناء مجموعة تقييم؟أ. لأنه أرخص أساليب أخذ العيّنات تنفيذًا على مخزن تتبّع موجودب. لأنه يعطي تقديرًا غير متحيّز لجودة النظام الإجمالية عبر مزيج الحركة الفعليةج. لأن الجلسات التي فيها إعادة محاولة أو إعادة صياغة أو تصعيد تتركّز فيها الحالات الأعلى قيمةد. لأنه يلغي الحاجة إلى مراجعة الخصوصية، إذ تحمل الجلسات الفاشلة بيانات شخصية أقل2. ما القيد الرئيسي لمجموعة تقييم اصطناعية في معظمها؟أ. الحالات الاصطناعية مكلفة جدًا لتوليدها بالحجم الذي تحتاجه مجموعة حقيقيةب. ترث افتراضات من ولّدها، فلا تستطيع كشف ما يسأله المستخدمونج. لا يمكن تصحيح الحالات الاصطناعية آليًا، لأنها بلا مخرج مرجعي للفحصد. النماذج الحَكَم تعطي المدخلات الاصطناعية درجات أعلى من المدخلات الحقيقية بشكل منهجي3. لماذا تُبقي مجموعة تقييم محجوزة منفصلة عن المجموعة التي تكرّر عليها؟أ. لتقليل كلفة الحوسبة لتشغيل المجموعة كاملة مع كل تغييرب. للالتزام بقواعد الاحتفاظ بالبيانات التي تحدّ من مدة بقاء الحالاتج. لأن المجموعة المحجوزة يمكن تصحيحها دون كتابة معايير تقييم لهاد. لأن الفجوة بين الدرجتين تقيس مقدار التقدّم الأخير الذي كان فرط تكيّف4. الحالة التي يفشل فيها كل نظام مرشّح هي في الغالب علامة على ماذا؟أ. حالة مصنّفة خطأً أو معطوبة يجب إعادة التحقق منهاب. مهمة صعبة حقًا تستحق الأولوية في الإصدار التاليج. نموذج حَكَم أكثر صرامة من معايير التقييم المعطاة لهد. عدد تشغيلات قليل جدًا لكل حالة لرؤية النجاح العرضي5. لماذا تُفضَّل عادةً عدة معايير ثنائية مستقلة على مقياس جودة واحد من خمس نقاط؟أ. المعايير الثنائية لا تحتاج إلى معايير تقييم، لأن السؤال يجيب عن نفسهب. مقاييس النقاط الخمس لا يستطيع النموذج الحَكَم تطبيقها، فهو لا يُخرج إلا تصنيفات فئويةج. اتفاق المقيّمين ينهار في فروق منتصف المقياس، بينما تشخّص الفحوص الثنائية ما الذي فشلد. المعايير الثنائية تعطي دائمًا درجات أعلى، مما يسهّل إثبات التقدّم أمام القيادة6. ما التخفيف المعتاد لتحيّز الموضع في مقارنات النموذج كحَكَم (LLM-as-judge) الثنائية؟أ. رفع درجة الحرارة للحَكَم كي يصبح اختياره للموضع عشوائيًاب. تشغيل الترتيبين واعتبار الأحكام المعتمدة على الترتيب تعادلًاج. اقتطاع الإجابتين إلى الطول نفسه قبل عرضهماد. استخدام نموذج حَكَم أكبر أقل حساسية لآثار الترتيب7. ماذا تعني معايرة النموذج الحَكَم بشكل صحيح؟أ. ضبط درجة الحرارة حتى تستقر درجاته عبر التشغيلات المتكرّرةب. مطالبته بشرح كل درجة بالتفصيل قبل الالتزام برقمج. مقارنة تصنيفاته بالتصنيفات البشرية وقياس الاتفاق مقابل السقف البشريد. تشغيله ثلاث مرات على كل حالة واعتماد حكم الأغلبية تصنيفًا8. قِست 80% على 30 حالة، ثم غيّرت التعليمات وقِست 85%. ما الاستنتاج الصادق؟أ. تحسّن بخمس نقاط، كبير بما يكفي لتبرير إطلاق التغيير اليومب. النتيجة ضمن الضوضاء لعيّنة بهذا الصغر — أقرب من أن تُحسمج. تغيير التعليمات سبّب تراجعًا في شريحة لا تقيسهاد. مجموعة التقييم استُنفدت ويجب استبدالها بعيّنة جديدة من الحالاتتحقّق من إجاباتيالوحدة التالية: معايير القياس والتراجع والتشغيل الفعلي ←