هل يعمل ذكاؤك الاصطناعي فعلاً؟‹معايير القياس والتراجع والتشغيل الفعلياختبر نفسك9 أسئلة عن «معايير القياس والتراجع والتشغيل الفعلي». اختر إجابة لكل سؤال، ثم اضغط «تحقّق من إجاباتي».1. ما الاستخدام الأكثر قابلية للدفاع عنه لدرجات معايير القياس العامة؟أ. اختيار نموذج التشغيل الفعلي لعبء عمل محدد دون اختبار إضافيب. الاختيار المبدئي وتتبّع اتجاهات القدرات، مع ترك القرار للتقييمات الخاصةج. تحديد معايير القبول المكتوبة في عقد مع عميلد. تقدير التكلفة لكل مهمة بعد أن يعمل عبء العمل بحجم التشغيل الفعلي2. لماذا يضخّم تلوّث معايير القياس الدرجات حتى حين لا تكون مجموعة الاختبار قد أُدرجت مباشرة في التدريب؟أ. لأن معايير القياس تصحّحها نماذج حَكَم تكافئ الصياغة التي تدرّبت عليها أكثرب. لأن النماذج الأكبر تحفظ قدرًا أكبر من بيانات تدريبها بحكم تصميمهاج. لأن حلول معايير القياس الشائعة ونقاشاتها ومشتقاتها منتشرة في بيانات التدريبد. لأن التلوّث لا يؤثر إلا في صيغ الاختيار من متعدد، وهي ما تستخدمه معظم معايير القياس3. أي أسلوب تحقّق يجعل مجموعة اختبار الانحدار أكثر قدرة على الصمود أمام ترقية النموذج؟أ. التطابق النصي التام مع إجابة مرجعية مخزنة مع كل حالة في المجموعةب. التحقق من أن كل إجابة تقع ضمن نطاق ثابت لعدد الكلماتج. اشتراط ظهور عناصر القائمة بالترتيب نفسه الوارد في الإجابة المرجعيةد. التحقق من الحقائق المطلوبة وصلاحية المخطط والشروط اللاحقة على حالة العالم4. لماذا يُفصل عقد المهمة في التعليمات عن ضبطها الخاص بالنموذج؟أ. كي تختبر المجموعة السلوك الدائم بينما يُعاد ضبط الطبقة لكل نموذجب. لتقليل عدد رموز تعليمات النظام المجمّعة المرسلة مع كل استدعاءج. لأن المزوّدين يشترطون تقديم التعليمات في أقسام منظّمة ومعنونةد. لتمكين الحَكَم من تقييم عقد المهمة وطبقة الضبط بدرجتين منفصلتين5. ما الحجة ضد وضع بوابات صارمة على الدمج بسبب تحركات إجمالية صغيرة في التقييم؟أ. لا يمكن حساب الدرجات الإجمالية بشكل موثوق داخل مسار التكامل المستمرب. البوابات التي تنطلق بسبب الضوضاء الإحصائية تُعطَّل، وبعدها لا يبقى شيء محميًاج. التحركات الإجمالية الصغيرة يمكن دائمًا ردّها إلى بنية تحتية متذبذبةد. لا يمكن الجمع بين بوابات الدمج ومجموعة ليلية6. بميزانية تقييم ثابتة، ما الذي يعطي عمومًا معلومات أكثر؟أ. المزيد من التشغيلات لكل حالة موجودة، لأن التباين بين التشغيلات هو المشكلة الرئيسيةب. المزيد من الحالات، لأن تنوّع الحالات يأخذ عيّنات من توزيع المدخلاتج. نموذج حَكَم أكبر يُطبَّق على مجموعة الحالات نفسهاد. مهلات أطول لكل تشغيل كي تقل الحالات التي تفشل بسبب البنية التحتية7. درجات تقييمك غير المتصل ثابتة بينما تتزايد شكاوى الجودة في التشغيل الفعلي. ما التفسير الأرجح؟أ. ترك النموذج الحَكَم على درجة حرارة منخفضة جدًاب. التشغيل الفعلي يعمل ببذرة عشوائية مختلفة عن المجموعةج. مجموعة التقييم لم تعد تمثّل الحركة الحالية، أو جرى الضبط عليهاد. العبء الإضافي للتتبّع يضعف جودة إجابات التشغيل الفعلي8. لماذا تُعدّ التكلفة لكل مهمة ناجحة مقياسًا أفضل من التكلفة لكل استدعاء API في حالة الوكلاء؟أ. لأن المزوّدين يحاسبون أعباء الوكلاء بتعرفة مختلفة عن الاستدعاءات المنفردةب. لأنها تشمل إعادات المحاولة وكل دورة في الحلقة يخفيها رقم الاستدعاء الواحدج. لأن التسعير لكل استدعاء يتغير كثيرًا بحيث يصعب تتبّعه عبر مزوّدي النماذجد. لأن زمن الاستجابة والتكلفة لكل مهمة هما في النهاية قياس للشيء نفسه9. لماذا يُعدّ متوسط الدرجة طريقة خاطئة لعرض نتائج تقييم السلامة؟أ. لأن أدوات تصحيح السلامة لا تنتج درجات رقمية، بل تصنيفات نجاح وفشل فقطب. لأن مجموعات السلامة تحتوي حالات أقل من مجموعات الجودةج. لأن معايير تقييم الفائدة تلتقط المخرجات الضارة أصلًاد. لأن السلامة حدّ أدنى — فمخرج ضار واحد قد يكون الحادثة كلهاتحقّق من إجاباتيالوحدة التالية: تقييم ما تبنيه فعلًا ←