مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

معمارية التوليد المعزّز بالاسترجاع بعمق

⁧سؤال المستخدم⁩⁧التضمين⁩⁧بحث المتجهات⁩⁧إثراء التعليمات⁩⁧النموذج يولّد⁩⁧قاعدة متجهات⁩⁧قاعدة معرفتك الخاصة⁩⁧(أدلة تشغيل، مستندات، تذاكر، سجلات)⁩⁧النمط: أسند كل إجابة إلى أدلة مسترجعة — النموذج لا يخترع من الصفر⁩⁧الاستشهادات ميزة إضافية. التحديثات فورية. ولا حاجة لإعادة التدريب.⁩
⁧RAG: استرجع السياق المناسب أولًا ثم ولّد — فتبقى الإجابات مُسنَدة⁩

الخط الكامل، وأين تُكسب الجودة

التوليد المعزّز بالاسترجاع (RAG) في التشغيل الفعلي خط أنابيب، وجودة المخرجات حاصل ضرب كل مراحله: استيعاب الوثائق وتحليلها، وتقطيعها، وتضمين المقاطع، وفهرسة المتّجهات، واسترجاع المرشّحين للاستعلام، وإعادة ترتيبهم، وتجميع السياق الذي يراه النموذج في النهاية. خطوة التوليد هي التي تُلام حين تكون الإجابات خاطئة، لكن معظم الإخفاقات في الواقع إخفاقات استرجاع: المقطع الصحيح لم يصل إلى التعليمات قط. هذا الانقلاب هو جوهر بصيرة الممارس: نموذج متوسط مع استرجاع ممتاز يتفوّق على نموذج رائد يُغذّى بالمقاطع الخاطئة. ويعني أيضًا أن جودة RAG قابلة للقياس في كل مرحلة على حدة، وأن الفرق التي تعامله نظامًا واحدًا معتمًا يُسأل عنه «هل تبدو الإجابة صحيحة؟» تصحّح الأخطاء وهي عمياء. يمرّ هذا الدرس على المراحل التي تكمن فيها الرافعة فعلًا.

  • فشل الاسترجاع يتنكّر في هيئة فشل توليد؛ شخّص المراحل الأسبق أولًا
  • التحليل أهم مما يُتوقّع: الجداول وملفات PDF والوثائق كثيفة التنسيق تفقد معناها مع الاستخراج الساذج
  • عبارة «نستخدم RAG» تمتد من تشابه جيب التمام الساذج لأفضل k نتائج إلى استرجاع هجين متعدد المراحل؛ فالتسمية لا تخبرك بشيء

التقطيع: القرار المتواضع عالي الأثر

يقرّر التقطيع (Chunking) ما هي الوحدة المعرفية القابلة للاسترجاع، ويحدّ بهدوء سقف النظام كله. المقاطع الصغيرة جدًا تفقد السياق: جملة عن «الربع السابق» تُسترجع دون أن تقول أي ربع. والمقاطع الكبيرة جدًا تخفّف التضمين: يجب أن يمثّل متّجه واحد عدة مواضيع، فلا يطابق أيًا منها جيدًا. التقسيم بحجم ثابت مع تداخل هو خط الأساس الساذج؛ والتقطيع الواعي بالبنية (العناوين والفقرات وكتل الكود) يحترم الحدود الدلالية ويتفوّق عليه عادةً. وتفصل الأنماط الأقوى المطابقةَ عن القراءة: استرجاع الوثيقة الأم يضمّن مقاطع صغيرة دقيقة لكنه يسلّم النموذج القسم الأكبر الذي يحتويها؛ والإثراء السياقي يضيف قبل التضمين ملخصًا للوثيقة أو جملة تموضعٍ يولّدها نموذج لغوي في بداية كل مقطع، فتحمل الشظايا المعزولة سياقها معها. يستحق التقطيع الصرامة التجريبية نفسها التي يستحقها اختيار النموذج: يُقاس، ولا يُترك على الإعداد الافتراضي.

  • حجم المقطع يبادل دقة التضمين باكتمال السياق؛ ولا يوجد رقم عالمي
  • التقسيم الواعي بالبنية يتفوّق على الحجم الثابت؛ لا تقسم أبدًا في منتصف جدول أو منتصف دالة
  • نمط الوثيقة الأم: طابِق على المقاطع الصغيرة، وولّد من سياقها الأكبر

البحث الهجين وإعادة الترتيب

التضمينات الكثيفة والبحث المعجمي يفشلان بطرق متكاملة. تلتقط التضمينات إعادة الصياغة والمعنى لكنها تطمس المعرّفات الدقيقة: أرقام القطع ورموز الأخطاء وأسماء الدوال ومعرّفات CVE تُسترجع بشكل سيئ إذا عوملت دلاليًا. وتقييم الكلمات المفتاحية BM25 يصيب المصطلحات الدقيقة لكنه يفوّت المفاهيم المعاد صياغتها. يشغّل البحث الهجين الاثنين ويدمج النتائج، عادةً بدمج الرتب التبادلي (RRF)، وهو الخيار الافتراضي في التشغيل الفعلي لأن تدفّقات الاستعلامات الحقيقية تحتوي النوعين دائمًا. ثم تذهب المرشّحات المسترجعة إلى مُعيد ترتيب (Reranker): مُرمِّز متقاطع (Cross-encoder) يقرأ الاستعلام والمقطع معًا بدل مقارنة متّجهات محسوبة مسبقًا، وهو أدق بكثير وأبطأ بكثير من أن يُشغَّل على مجموعة النصوص كلها. والشكل المعياري: ارمِ شبكة واسعة باسترجاع هجين سريع (أفضل 50 إلى 100)، ثم دع مُعيد الترتيب يختار الحفنة التي تدخل التعليمات.

  • BM25 يلتقط ما تطمسه التضمينات: الرموز والأسماء والمعرّفات الدقيقة، والعكس صحيح
  • RRF يدمج القوائم المرتّبة بمتانة دون ضبط مقاييس الدرجات بعضها مقابل بعض
  • مُعيدات الترتيب من نوع المُرمِّز المتقاطع هي الترقية الأعلى أثرًا منفردةً لأي منظومة RAG ساذجة

قياس الاسترجاع: Recall@k وnDCG والمجموعات الذهبية

لا يمكنك ضبط ما لا تقيسه، وRAG يقدّم مقاييس استرجاع ملموسة تتخطاها معظم الفرق. ابنِ مجموعة ذهبية: استعلامات مستخدمين حقيقية مقرونة بالمقاطع التي تجيب عنها فعلًا، يحكم عليها بشر؛ فحتى 50 إلى 100 مثال تُحدث تحوّلًا في تصحيح الأخطاء. يسأل مقياس Recall@k: من بين المقاطع ذات الصلة، كم منها ظهر في أفضل k نتائج مسترجعة؟ إنه مقياس السقف: إن لم تُسترجع الإجابة، فلن تنقذ أي هندسة تعليمات عملية التوليد. ويكافئ nDCG إضافةً إلى ذلك وضع أكثر النتائج صلة في الأعلى، وهذا مهم لأن النماذج تعطي السياق المبكر وزنًا أكبر. تتبّع هذه المقاييس مع كل تغيير في الخط: حجم مقطع جديد، أو نموذج تضمين جديد، أو مُعيد ترتيب جديد يصبح قياس A/B لا انطباعًا. وتأتي فوقها تقييمات الإجابة من الطرف إلى الطرف (الأمانة للمصدر والصلة، وغالبًا يحكم عليها نموذج لغوي)، لكن مقاييس الاسترجاع هي التي تخبرك بأي طبقة تصلح.

  • المجموعة الذهبية من الاستعلامات أولًا؛ كل ما عداها في تقييم RAG يعتمد عليها
  • Recall@k يحدّ النظام كله: الاسترجاع الفائت لا يمكن تعويضه في المراحل اللاحقة
  • nDCG يقيس جودة الترتيب لا مجرد الوجود؛ فالموضع في السياق مهم

كيف ينطبق هذا عليّ؟

مستخدم عام

التوليد المعزّز بالاسترجاع (RAG) هو الطريقة التي تجيب بها أدوات الذكاء الاصطناعي عن أسئلة حول وثائق لم تُدرَّب عليها قط. وحين تخطئ تلك الإجابات، تكون خطوة البحث، لا ذكاء النموذج، هي المذنب عادةً.

  • الإجابات الخاطئة عن وثائقك تعني عادةً أن المقطع الصحيح لم يُعثر عليه أبدًا
  • الإحالات تتيح لك التحقق من المصدر؛ استخدمها، خاصة في كل ما هو مهم
  • إعادة صياغة سؤالك قد تنقذ بحثًا فاشلًا؛ فأنت تساعد خطوة الاسترجاع، لا النموذج
متخصص أمن

عمق RAG هو حيث يؤتي تقييم المورّدين ثماره: كل مورّد يدّعي RAG، وقليلون يستطيعون الدفاع عن منظومة الاسترجاع لديهم. والخط مرحلةً مرحلة يعطيك الأسئلة التي تفصل المنتجات المهندَسة عن العروض التجريبية.

  • اسأل: استرجاع هجين أم كثيف فقط؟ البيانات الأمنية كثيفة المعرّفات (CVE والبصمات وأسماء الأجهزة)، والاسترجاع الكثيف وحده يفوّت استعلامات المطابقة الدقيقة بشكل قابل للقياس
  • اطلب مقاييس الاسترجاع: المورّد الذي لا يملك أرقام Recall@k على مجموعة ذهبية لم يقس خطّه قط
  • وجود مُعيد ترتيب مؤشر نضج؛ وتشابه جيب التمام الساذج لأفضل k نتائج هو نمط فشل التجربة الأولية (Pilot) الذي يمكنك توقّعه مسبقًا
  • يُبقي RAG بياناتك خارج أوزان النموذج، وهي أنظف طريقة لتلبية متطلبات سيادة البيانات وإقامتها
مطوّر

ابنِ RAG خطًا مزوّدًا بأدوات القياس منذ اليوم الأول؛ فالفرق التي تسجّل كل مرحلة وتقيسها تُطلق منتجاتها، والفرق التي تعدّل التعليمات بناءً على انطباعات عامة عن النتيجة النهائية تتعثّر.

  • ابنِ مجموعة الاستعلامات الذهبية قبل ضبط أي شيء؛ 50 استعلامًا حقيقيًا بمقاطع محكوم عليها تتفوّق على أي حدس
  • المعمارية الافتراضية: تقطيع واعٍ بالبنية، واسترجاع هجين مع RRF، وإعادة ترتيب بمُرمِّز متقاطع لأفضل 50
  • سجّل المقاطع المسترجعة لكل طلب؛ لا يمكنك تصحيح ما لم تلتقطه
مستشار ذكاء اصطناعي

مشاريع RAG تفشل في الاسترجاع ثم يُلام النموذج. اجعل جودة الاسترجاع قابلة للقياس ومنصوصًا عليها في العقد، وتكون قد خفّضت مخاطر معظم المشروع.

  • ضع Recall@k على مجموعة ذهبية ضمن معايير قبول التجربة الأولية، قبل أن تبدأ التجربة
  • خصّص ميزانية لجودة بيانات المصدر وأعمال التحليل؛ فالعملاء يستهينون بكليهما باستمرار
  • دقّق المنظومة مرحلة مرحلة: استراتيجية التقطيع، والهجين مقابل الكثيف، ومُعيد الترتيب، وإطار التقييم؛ فالثغرات هنا تنبئ بالفشل
◆ شاهده بنفسك
افتح تشابه التضمينات في المكتبة ←

قارن الجمل وشاهد أيّها يعدّه النموذج متقارباً.