هل يعمل ذكاؤك الاصطناعي فعلاً؟‹تقييم ما تبنيه فعلًااختبر نفسك8 أسئلة عن «تقييم ما تبنيه فعلًا». اختر إجابة لكل سؤال، ثم اضغط «تحقّق من إجاباتي».1. لماذا يجب أن يعلن النظام المستند إلى المستندات جودة الاسترجاع وجودة التوليد كلًّا على حدة؟أ. لأن المرحلتين تبنيهما وتملكهما عادةً فرق مختلفة بمقاييس مختلفة تمامًاب. لأن حساب مقاييس الاسترجاع أرخص بكثير من حساب المقاييس الشاملةج. لأن الإجابة الخاطئة قد تعني أنه لم يُعثر على شيء ذي صلة، أو أنه عُثر عليه وأسيء استخدامهد. لأن الدقة الشاملة لا يمكن قياسها إطلاقًا حين توجد خطوة استرجاع في المسار2. ما الذي يقيسه recall@k في تقييم الاسترجاع؟أ. نسبة الحالات التي يظهر فيها مقطع يحتوي على الإجابة ضمن أفضل k تُمرَّر للنموذجب. نسبة المقاطع المسترجعة التي استشهد بها النموذج لاحقًا في إجابتهج. متوسط ترتيب المقطع الصحيح عبر كل حالات المجموعةد. عدد المقاطع التي تعيدها طبقة البحث لكل استعلام يُعطى لها3. إجابة مدعومة بالكامل بالمقطع الذي أُعطي للنموذج، لكن ذلك المقطع قديم. كيف يجب تسجيل ذلك؟أ. كفشل في الاسترجاع، لأن المقطع الخطأ هو الذي ظهر للسؤالب. كخطأ في معايرة الحَكَم، لأن المقيّم قبل إجابة خاطئةج. كرفض مفرط، لأن النظام كان يجب أن يمتنع عن الإجابةد. كإجابة مستندة إلى المصدر لكنها غير صحيحة — مشكلة في مجموعة المستندات لا في التوليد4. وكيل يصل إلى الحالة النهائية الصحيحة بعد عدة استدعاءات غير ضرورية للأدوات وفعل مدمّر واحد صادف أنه قابل للتراجع. ماذا يفعل التقييم بالنتيجة وحدها بهذا التشغيل؟أ. يُفشل التشغيل، لأن المسار تضمّن فعلًا ما كان يجب أن يُنفَّذ أبدًاب. يُنجحه، فيخفي مسارًا يصبح حادثة حين لا يكون الفعل قابلًا للتراجعج. يعلّم التشغيل بأنه غير حتمي ويعيد تشغيله ليرى إن كان المسار سيستقرد. لا يستطيع تقييم التشغيل إطلاقًا دون نموذج حَكَم يقرأ المسار كله خطوة بخطوة5. لماذا تُعدّ التحقّقات عند كل خطوة أعلى إضافة قيمةً إلى مجموعة تقييم الوكيل؟أ. لأنها تخفّض تكلفة الرموز في كل تشغيل بإيقافه حالما تخطئ خطوةب. لأنها تلغي الحاجة إلى تقييم النتيجة النهائية أصلًا، فالخطوات الصحيحة تعني نتيجة صحيحةج. لأن الأعطال المتأخرة لها أسباب مبكرة، فيفشل التشغيل حيث انكسرت الفرضية لا حيث ظهرتد. لأنها تجعل تشغيلات الوكيل حتمية بتقييد ما يُسمح لكل خطوة بفعله6. مراجعان يختلفان كثيرًا عند تقييم المخرجات نفسها مقابل المعيار نفسه. ما الاستجابة الصحيحة؟أ. أصلح معايير التقييم — استبدل الصفات المبهمة بشروط قابلة للملاحظة وأمثلة مثبّتةب. احسب متوسط الدرجتين وتابع، لأن الاختلاف المتماثل يلغي بعضه بعضًا عبر المجموعةج. زِد حجم العيّنة حتى يتلاشى الاختلاف عبر عدد كبير بما يكفي من الحالاتد. استبدل المراجعَين بنموذج حَكَم واحد يُطبَّق باتّساق7. إصدار جديد يُظهر ارتفاعًا قويًا في الأيام الأولى من اختبار مباشر، ثم يتلاشى الارتفاع خلال الأسابيع التالية. ما التفسير الأرجح؟أ. عتبات ضوابط الحماية ضُبطت بإحكام زائد للإصدار الجديدب. التوزيع العشوائي جرى على مستوى الجلسة لا على مستوى المستخدمج. تلوّث في بيانات تدريب النموذج الأساسي لتلك المهمةد. أثر الجِدّة — تفاعل يقوده كون التغيير جديدًا، ويتلاشى حين يفقد جِدّته8. لماذا يجب تقييم النظام الذي يوجّه الحالات السهلة إلى نموذج أرخص من البداية إلى النهاية لا مكوّنًا مكوّنًا؟أ. لأن النموذج الأرخص لا يمكن تقييمه على مجموعة التقييم نفسها التي يُقيَّم عليها النموذج الأكبر الذي يحلّ محلهب. لأن الموجِّه السيّئ يكلّف أكثر من أي من النموذجين وحده ويجيب أسوأ من كليهماج. لأن التوجيه يغيّر أداة التقسيم إلى رموز التي تُطبَّق على المدخلات في كل مرحلة من الطلبد. لأن معدّل التصعيد بين النموذجين لا يمكن حسابه إلا لكل مكوّن على حدةتحقّق من إجاباتيأنهيت الدورة كلها! العودة إلى صفحة الدورة ←