اختبار نظام يجيب من مستنداتك
فشلان بوجه واحد
حين تكون الإجابة المستندة إلى المستندات خاطئة، فهناك سببان مختلفان تمامًا وعَرَض واحد. إما أن خطوة الاسترجاع (Retrieval) لم تُظهر أصلًا المقطع الذي يحتوي على الإجابة، وعندها لن يفيد أي جهد في تعليمات خطوة التوليد، وإما أن المقطع الصحيح استُرجع لكن النموذج فشل في استخدامه — تجاهله، أو أساء فهمه، أو خلطه بشيء كان يعتقده أصلًا. والفرق التي تعلن رقم دقة واحدًا من البداية إلى النهاية لا تستطيع التمييز بين الحالتين، فتقضي أسابيع في ضبط المرحلة الخطأ. جهّز مسار المعالجة بحيث تسجّل كل حالة في التقييم (Eval) ما الذي استُرجع، وبأي ترتيب، وما الذي أُعطي للنموذج فعلًا، ثم قيّم المرحلتين كلًّا على حدة قبل تقييم الكل. الرقم الشامل هو ما يختبره المستخدم ويبقى العنوان الرئيسي؛ أما أرقام المراحل فهي التي تخبرك أين يجب أن تذهب الدورة التالية من العمل.
- إجابة خاطئة واحدة وسببان جذريان: لم يُعثر على شيء، أو عُثر عليه وأسيء استخدامه
- سجّل المقاطع المسترجعة وترتيبها في كل حالة تقييم
- قيّم الاسترجاع والتوليد كلًّا على حدة، ثم أعلن النتيجة الشاملة
- رقم الدقة الواحد يرسل الفرق لضبط المرحلة التي كانت سليمة أصلًا
هل وجد المصدر الصحيح أصلًا؟
سؤال الاسترجاع سهل الصياغة: في كل حالة، هل كان مقطع يحتوي فعلًا على الإجابة ضمن المقاطع التي أعادها النظام؟ صنّف كل حالة بالمقاطع الداعمة لها مرة واحدة، ثم قِس نسبة الحالات التي يظهر فيها مقطع صحيح واحد على الأقل ضمن أفضل k نتيجة. هذا هو معنى recall@k ببساطة، ويجب أن تكون k هي عدد المقاطع التي تتضمّنها تعليماتك فعلًا، لا عدد ما تعيده طبقة البحث. عادتان تجعلان هذا القياس مفيدًا. أعلنه عند عدة قيم لـ k، لأن الفجوة بين الاستدعاء عند ثلاثة والاستدعاء عند عشرين تخبرك إن كان المقطع غائبًا عن الفهرس كليًا أم مرتّبًا في مرتبة متأخرة فحسب، ولكل منهما إصلاح مختلف تمامًا. وتحقّق من موقع المقطع الصحيح، لأن النماذج لا توزّع انتباهها بالتساوي عبر سياق طويل، والمقطع الصحيح في الموقع الأخير ليس بالضرورة بجودة مقطع قرب البداية.
- صنّف المقاطع الداعمة لكل حالة مرة واحدة وأعد استخدامها في كل تشغيل
- recall@k: نسبة الحالات التي يقع فيها مقطع صحيح ضمن أفضل k تمرّرها للنموذج
- قِس عند عدة قيم لـ k — الغائب وسيّئ الترتيب مشكلتان مختلفتان
- الموقع مهم؛ المقطع الصحيح المدفون في العمق ليس كالمقطع القريب من القمة
هل الإجابة مستندة فعلًا إلى المصادر؟
نجاح الاسترجاع لا يعني أن الإجابة استخدمت ما استُرجع. الاستناد إلى المصادر (Groundedness) يطرح سؤالًا أضيق من الصحة: هل كل ادعاء في المخرجات مدعوم بالمقاطع التي قُدّمت؟ قيّمه ادعاءً ادعاءً لا كانطباع عام — قسّم الإجابة إلى تأكيداتها الواقعية وتحقّق من كل منها مقابل السياق المقدَّم، وهي مهمة يؤديها النموذج الحَكَم بشكل جيد حين يكون المعيار بهذه الدقة، وبشكل سيّئ حين يُسأل هل تبدو الإجابة مستندة إلى المصادر إجمالًا. تتبّع نوعين مختلفين من الفشل كلًّا على حدة. الادعاءات غير المدعومة محتوى أضافه النموذج من معرفته الداخلية؛ والإغفالات تترك شيئًا كان السياق يحتويه بوضوح. وافصل الاستناد عن الصحة، لأن الإجابة قد تكون مستندة بأمانة إلى مقطع مسترجع هو نفسه قديم أو خاطئ، وهذه مشكلة في مجموعة المستندات تُصلَح في مكان آخر تمامًا.
- قسّم الإجابة إلى ادعاءات وتحقّق من كل منها مقابل السياق المقدَّم
- الحَكَم يقيّم الدعم الملموس لكل ادعاء جيدًا، ويقيّم الاستناد الإجمالي بشكل سيّئ
- افصل الإضافات غير المدعومة عن إغفال ما كان السياق يحتويه
- الاستناد والصحة أمران مختلفان: الإجابة الأمينة لمصدر قديم تبقى خاطئة
الإجابة البليغة التي لا تستشهد بشيء
الفشل المميّز لهذه الأنظمة ليس خطأً واضحًا، بل إجابة محكمة الصياغة مبنية من المعرفة الداخلية للنموذج حين لم يُعِد الاسترجاع شيئًا مفيدًا — بليغة، معقولة، صحيحة التنسيق، وغير مدعومة. إنها تجتاز معايير التقييم (Rubric) الخاصة بالفائدة، وتُقرأ أفضل من إجابة متأنية متحفّظة، والمراجعون الذين يتصفّحون عيّنة سيوافقون عليها. ابنِ الحالات التي تكشفها عن قصد. أسئلة إجاباتها غائبة فعلًا عن مجموعة المستندات، والسلوك الصحيح الوحيد فيها هو قول ذلك. وأسئلة تحتوي فيها المستندات على موضوع قريب لكنه ليس المطلوب، مما يغري بخلط واثق. وأسئلة تغيّرت إجاباتها، بحيث تختلف إجابة المعرفة الداخلية عن إجابة المستندات فترى أيّهما استخدم النظام فعلًا. اشترط الاستشهادات ثم تحقّق منها آليًا، لأن الاستشهاد الذي لا يدعم الجملة المرفقة به أسوأ من غياب الاستشهاد تمامًا.
- أدرج حالات لا جواب لها، يكون المخرج الصحيح الوحيد فيها الاعتراف بالفجوة
- أضف حالات قريبة من الموضوع تغري بخلط محتوى المستندات بالمعرفة الداخلية
- الحالات التي تغيّرت إجابتها تكشف أي مصدر استخدمه النظام حقًا
- تحقّق من الاستشهادات آليًا — الاستشهاد غير الداعم يصنع ثقة زائفة