الذكاء الاصطناعي بعمق‹الذكاء الاصطناعي التوليدي والنماذج اللغوية الكبيرةاختبر نفسك8 أسئلة عن «الذكاء الاصطناعي التوليدي والنماذج اللغوية الكبيرة». اختر إجابة لكل سؤال، ثم اضغط «تحقّق من إجاباتي».1. لماذا يخفّض الانتباه المجمّع بالاستعلامات (GQA) تكلفة الاستدلال على السياق الطويل؟أ. يتخطى الانتباه إلى الرموز البعيدة، فيقصر كل استعلام على نافذة محلية ثابتةب. يكمّم أوزان الانتباه إلى 4 بت، فيقلّص البيانات المنقولة في كل خطوة إلى الربعج. تتشارك رؤوس استعلام متعددة عددًا أقل من رؤوس المفاتيح/القيم، فتتقلّص ذاكرة KV المؤقتةد. يزيل ترميز المواضع، فيخفض حمل البحث لكل رمز2. في نموذج خليط الخبراء، إلامَ يشير عدد «المعاملات النشطة»؟أ. المعاملات المستخدمة فعلًا لمعالجة كل رمز، والتي يختارها الموجّهب. العدد الإجمالي للمعاملات المقيمة في ذاكرة GPU عبر كل الخبراءج. مجموعة المعاملات التي تُترك دون تجميد وتُحدَّث أثناء الضبط الدقيقد. المعاملات في طبقات الانتباه المشتركة، باستثناء كتل الخبراء3. بدأ نموذج مدرَّب بـRLHF ينتج إجابات أطول وأكثر إطراءً يعطيها المقيّمون درجات عالية لكن المستخدمين يجدونها أقل دقة. أفضل وصف لذلك هو:أ. النسيان الكارثي: تدريب لاحق يمحو قدرات سابقةب. أثر جانبي للتقسيم إلى رموز ناتج عن طريقة تجزئة الاستجابةج. فشل الاسترجاع: وصول المقاطع الخاطئة إلى السياقد. التحايل على المكافأة: استغلال النموذج لعيوب البديل التقريبي للمكافأة4. كيف يبني ترميز أزواج البايتات (BPE) مفرداته؟أ. بتخزين كل كلمة في قاموس مرجعي كبير بوصفها رمزًا واحدًاب. بالدمج المتكرر للأزواج المتجاورة الأكثر تكرارًا، بدءًا من البايتات الخامج. بتقسيم النص عند المسافات وعلامات الترقيم، ثم الاحتفاظ بالكلمات الناتجةد. بتدريب شبكة عصبية صغيرة على توقّع مواضع حدود الكلمات5. ما المشكلة التي يحلّها PagedAttention (vLLM) في الأساس؟أ. تجزئة ذاكرة KV المؤقتة، عبر تخصيص الذاكرة المؤقتة في صفحات صغيرة عند الطلبب. بطء المعالجة المسبقة للتعليمات، عبر معالجة الوثائق الطويلة في أجزاء متوازيةج. تدهور الانتباه في منتصف السياقات الطويلة، عبر إعادة وزن المواضعد. خطأ التكميم في نماذج 4 بت، عبر إبقاء ذاكرة KV المؤقتة بدقة كاملة6. لماذا تتجمّع الهلوسات على الحقائق النادرة والمحدّدة كالمراجع وتواقيع واجهات API؟أ. عمليات إزالة التكرار تحذف السلاسل النادرة كالمراجع من مجموعة النصوص قبل التدريبب. نافذة السياق لا تتسع لما يكفي من الوثيقة المصدر كي ينسخ النموذج التفاصيل بدقةج. لدى النموذج إشارة محفوظة ضعيفة للحقائق النادرة، فيستوفي أنماطًا تبدو معقولة بدلًا منهاد. ترشيح السلامة يكبت المراجع المسمّاة، فيستبدلها النموذج ببدائل عامة7. مقياس Recall@10 لنظام RAG لديك على مجموعة استعلامات ذهبية هو 45%. ماذا يخبرك ذلك؟أ. النموذج اللغوي يهلوس في نحو نصف الإجابات التي يولّدها من السياق المسترجعب. أكثر من نصف المقاطع ذات الصلة لا يصل إلى النموذج أبدًا، ولا يمكن لأي تغيير في التعليمات استعادتهاج. مُعيد الترتيب يخطئ في ترتيب النتائج، فيدفع المقاطع الصحيحة إلى ما دون حد القطعد. نافذة السياق أصغر من أن تتسع للمقاطع العشرة التي يعيدها المسترجِع8. ما الذي يجعل تشغيل QLoRA أرخص من الضبط الدقيق القياسي بـLoRA؟أ. يربط المهايئات بطبقات أقل، فتكون المعاملات القابلة للتدريب أقلب. يتقارب على مجموعة تدريب أصغر بكثير، فيقلّل عدد خطوات التحسين المطلوبةج. يدمج أوزان المهايئ في النموذج الأساسي بعد كل حقبة تدريب لتحرير الذاكرةد. يكمّم النموذج الأساسي المجمّد إلى 4 بت بينما يدرّب المهايئات بدقة أعلىتحقّق من إجاباتيالوحدة التالية: الذكاء الاصطناعي الوكيلي ←