الاسترجاع يساعد، لكنه لا يعالج
كيف يغيّر البحث المدعوم بالاسترجاع الصورة
تعمل أدوات البحث المبنية على الاسترجاع — أو التوليد المعزّز بالاسترجاع (RAG) — بطريقة مختلفة عن روبوت المحادثة المجرد. فبدل أن تولّد الإجابة من أوزان النموذج وحدها، تبحث في مجموعة فعلية من المصادر الأولية والثانوية، وتسترجع المستندات ذات الصلة، وتوجّه النموذج إلى الإجابة باستخدام تلك المستندات فقط، عادةً مع روابط إلى ما استُرجع. وهذا تحسّن حقيقي، ويقلّل بدرجة كبيرة إخفاق القضايا المختلقة بالكامل، لأن الاستشهادات تأتي من فهرس حقيقي لا من الأنماط التي تعلّمها النموذج. وإن كان المكتب سيستخدم الذكاء الاصطناعي في البحث القانوني أصلًا، فالأداة المستندة إلى المصادر والمرتبطة بها نقطة انطلاق أكثر أمانًا بشكل ملموس من المساعد العام. وهذا تمييز حقيقي يستحق الإصرار عليه عند الشراء.
- الأدوات المستندة إلى المصادر تبحث في مجموعة حقيقية وتستشهد بما استرجعته، بدل التوليد من الأوزان
- هذا يقلّل بدرجة كبيرة الاستشهادات المختلقة بالكامل — فالاستشهاد يأتي من فهرس حقيقي
- الأداة المستندة إلى المصادر والمرتبطة بها أكثر أمانًا بشكل ملموس من المساعد العام في البحث
- أصرّ على روابط مصادر ظاهرة عند الشراء؛ فالأداة الخالية منها ليست مستندة إلى المصادر بأي معنى مفيد
أنماط الإخفاق التي لا يزيلها الاسترجاع
الاستناد إلى المصادر يضيّق مساحة الإخفاق دون أن يغلقها. فالنموذج لا يزال يلخّص ما استُرجع، وقد يخطئ في عرض المبدأ القضائي، أو يبالغ في مدى دعم القضية للنقطة، أو يُسقط تحفظًا جوهريًا. وقد يُظهر الاسترجاع قضية حقيقية ذات صلة مباشرة لكنها نُقضت لاحقًا، أو استُبعد تطبيقها لاختلاف الوقائع (Distinguished)، أو حلّ محلها تشريع، والتحقق من سريان المرجع وظيفة منفصلة لا تؤديها كل أداة. وفجوات التغطية غير مرئية: فإن خلت المجموعة من ولاية قضائية أو من درجة من درجات المحاكم، أجابت الأداة بثقة مما لديها. وقد يفصل الاسترجاع المجزّأ فقرةً عن تحفظ يرد في موضع آخر من الحكم. كما أن التركيب المولَّد قد ينحرف عن المصادر التي يقوم عليها وهو لا يزال يعرضها استشهاداتٍ.
- الوصف الخاطئ للمراجع المسترجعة يبقى رغم الاستناد إلى المصادر تمامًا — فالملخّص لا يزال مولَّدًا
- قد تُسترجع مراجع منقوضة أو مستبعَد تطبيقها لاختلاف الوقائع أو حلّ محلها تشريع، ويُستشهد بها على أنها سارية
- فجوات تغطية المجموعة صامتة؛ تجيب الأداة مما لديها دون أن تشير إلى ما ينقصها
- قد تفصل التجزئة فقرةً عن التحفظ الذي يغيّر معناها
- مقيس لا مُدّعى: وجدت دراسة لمختبر Stanford RegLab على أدوات البحث القانوني الرائدة بالذكاء الاصطناعي (Journal of Empirical Legal Studies، 2025) معدلات هلوسة (Hallucination) تتراوح تقريبًا بين واحد من كل ستة وواحد من كل ثلاثة من الاستعلامات المختبرة
قراءة الإجابة المستندة إلى المصادر قراءة صحيحة
النموذج الذهني الصحيح لأداة بحث مستندة إلى المصادر هو باحث سريع لا يكلّ، مهمل أحيانًا، لكنه يسلّمك المستندات دائمًا. القيمة في المستندات. أما الملخّص النثري فأداة للتنقل — مفيد لتقرر ماذا تقرأ، ولا يغني أبدًا عن قراءته. وعمليًا يعني هذا فتح كل مصدر قبل الاعتماد على الإجابة، وقراءة ما يكفي من كل مصدر للتأكد من أنه يقول ما يدّعيه الملخّص، والتحقق من السريان بشكل مستقل. ويعني أيضًا الانتباه حين تعيد الأداة إجابة واثقة تستند إلى مصادر هزيلة أو جانبية، فهذه إشارة إلى أن المجموعة لم تتضمن إجابة جيدة وأن النموذج ركّب إجابة حول الفجوة.
- المستندات المسترجعة هي المنتج؛ والملخّص أداة للتنقل إليها
- افتح كل مصدر واقرأ ما يكفي للتأكد من أن التوصيف صحيح
- تحقق من السريان بشكل منفصل، إلا إذا كانت الأداة تؤدي هذه الوظيفة صراحةً وتعرضها
- الإجابة الواثقة القائمة على مصادر هزيلة أو جانبية تعني أن المجموعة قصّرت