مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

ما بعد المحوّلات التقليدية: خليط الخبراء وما يشبهه

⁧خليط الخبراء (MoE) — تفعيل متناثر⁩⁧رمز⁩ 1⁧رمز⁩ 2⁧رمز⁩ 3⁧الرموز الداخلة⁩⁧الموجّه⁩⁧شبكة البوابة⁩⁧تختار أفضل k من N⁩⁧لكل رمز، لكل طبقة⁩⁧الخبير 1 — خامل، محمّل⁩⁧الخبير 2 — خامل، محمّل⁩⁧الخبير 3 — نشط⁩⁧الخبير 4 — خامل، محمّل⁩⁧الخبير 5 — خامل، محمّل⁩⁧الخبير 6 — نشط⁩⁧الخبير 7 — خامل، محمّل⁩⁧الخبير 8 — خامل، محمّل⁩⁧N خبير، جميعهم في الذاكرة⁩⁧مجموع مرجّح⁩⁧← الطبقة التالية⁩⁧المعاملات المحمّلة في الذاكرة مقابل المعاملات المستخدمة لرمز واحد⁩⁧النشطة لكل رمز⁩⁧إجمالي المعاملات — كل خبير يبقى محمّلًا في HBM⁩
⁧تكلفة الذاكرة تنمو مع كل خبير؛ وتكلفة الحوسبة تنمو فقط مع القلّة النشطة⁩

خليط الخبراء: متفرّق بالتصميم

يُفعّل المحوّل الكثيف كل معامل لكل رمز، وهذا مكلف ويزداد عدم ضرورته. يستبدل خليط الخبراء (MoE) كل كتلة تغذية أمامية بشبكات «خبراء» متوازية كثيرة وموجّه صغير يرسل كل رمز إلى عدد قليل منها فقط. والنتيجة نموذج بعدد معاملات إجمالي كبير جدًا، لكن بعدد معاملات نشطة لكل رمز أصغر بكثير. هذا الفصل هو سبب كون معظم النماذج الرائدة اليوم من نوع MoE: تحصل على السعة المعرفية لنموذج ضخم بتكلفة حوسبة استدلال نموذج أصغر بكثير. ويفسّر أيضًا لماذا أصبح سؤال «كم عدد المعاملات؟» شبه بلا معنى؛ فالمعاملات الإجمالية والنشطة قد تختلف بمرتبة عشرية كاملة، ونادرًا ما يفصح المورّدون عن أيّ منهما في النماذج المغلقة.

  • الموجّه (Router): بوابة متعلَّمة تختار أفضل k خبراء لكل رمز، في كل طبقة
  • المعاملات الإجمالية تحدّد السعة وحجم الذاكرة؛ والمعاملات النشطة تحدّد الحوسبة لكل رمز
  • تكلفة الرمز تتبع المعاملات النشطة، وهذا هو الاقتصاد وراء الفئات الرائدة الرخيصة والقادرة

حقائق هندسة خليط الخبراء

خليط الخبراء ليس وجبة مجانية. يجب أن يكون كل الخبراء مقيمين في الذاكرة رغم أن قلّة منهم تعمل لكل رمز، لذا يتطلّب تشغيل MoE ذاكرة GPU كبيرة أو توازي الخبراء (Expert parallelism)، أي توزيع الخبراء على الأجهزة وتوجيه الرموز عبر شبكة الربط بينها. وللتدريب نمط فشل خاص: من دون إجراءات مضادة ينهار الموجّه على عدد قليل من الخبراء المفضّلين بينما يبقى الباقون ضعيفي التدريب، ولذلك أصبحت خسائر موازنة الحمل وحدود السعة ممارسة معيارية. وتذهب التصاميم الحديثة أبعد بخبراء صغار كثيرين، وخبراء مشتركين يعملون دائمًا، وتوجيه دقيق. والدرس العملي للممارسين تشخيصي: يفسّر MoE لماذا تكون بعض النماذج رخيصة التشغيل لكنها مكلفة الاستضافة، ولماذا تتصرّف الإنتاجية (Throughput) وزمن الاستجابة (Latency) عند الدفعات بشكل مختلف عن النماذج الكثيفة ذات الجودة المماثلة.

  • تُجهَّز الذاكرة للمعاملات الإجمالية؛ وتُنفَق الحوسبة على النشطة منها
  • موازنة الحمل تمنع انهيار الموجّه، وهي هدف تدريب مساعد لا فكرة لاحقة
  • توازي الخبراء يضيف حركة شبكية؛ فيصبح عرض نطاق شبكة الربط عنق زجاجة في التشغيل

انتباه أرخص: النوافذ المنزلقة والأشكال الخطية

مركز التكلفة الثاني بعد شبكة التغذية الأمامية (FFN) هو الانتباه نفسه، وغريزة التفرّق نفسها تنطبق هنا: معظم الرموز لا تحتاج إلى الانتباه إلى كل شيء. يقصر الانتباه بالنافذة المنزلقة (Sliding-window attention) كل رمز على جوار محلي، فيخفض التكلفة من التربيعية نحو الخطية؛ وتظل المعلومات تنتقل بعيدًا لأن كل طبقة توسّع مجال الاستقبال الفعلي. وكثير من نماذج التشغيل الفعلي تتناوب بين طبقات انتباه محلي وعدد قليل من الطبقات الشاملة: معظم الطبقات رخيصة، وقلّة منها ذات مدى كامل. وتعيد عائلة بحثية منفصلة (الانتباه الخطي وما يشبهه) صياغة الانتباه لتتجنّب مقارنة كل الأزواج تمامًا، مقابل شيء من الجودة، لتحصل على فك ترميز بذاكرة ثابتة. والنمط الذي ينبغي استيعابه: انتباه كامل حيث يهم، وتقريبات أرخص في كل مكان آخر؛ هجائن لا نقاء مذهبي. هذه الخيارات غير مرئية في واجهة API لكنها مرئية في التسعير والسرعة وسلوك السياق الطويل.

نماذج فضاء الحالة وهندسة السياق الطويل

البديل الأكثر جذرية يتخلّى عن الانتباه كليًا. تعالج نماذج فضاء الحالة (State-space models) مثل Mamba التسلسلات بشكل تكراري عبر حالة متعلَّمة ثابتة الحجم: معالجة بزمن خطي، وذاكرة ثابتة أثناء التوليد، ولا ذاكرة KV مؤقتة على الإطلاق. وتتأخر نماذج SSM الخالصة عن المحوّلات في المهام التي تحتاج إلى استدعاء دقيق لرموز سابقة بعينها، لذا فالاتجاه العملي هو الهجائن: طبقات SSM أو انتباه محلي في الغالب، مع عدد قليل من طبقات الانتباه الكامل للاسترجاع الدقيق. وقد صدرت عدة نماذج هجينة مفتوحة جادة، ويبقى هذا النهج اتجاهًا بحثيًا نشطًا لا الخيار الافتراضي في النماذج الرائدة. وتربط هندسة السياق الطويل هذا الدرس معًا: توسيع RoPE والنوافذ المنزلقة وGQA وضغط الذاكرة المؤقتة والطبقات الهجينة كلها وجوه لسؤال واحد: كيف نجعل طول التسلسل رخيصًا دون أن نفقد القدرة على الاستدعاء. وعند تقييم أي ادعاء حول السياق الطويل، راقب السياق الفعّال (الاستدعاء المقيس عبر النافذة)، لا الطول المُعلَن فقط.