بنية المحوّل
الانتباه هو كل ما تحتاجه (Attention Is All You Need)
استبدل المحوّل (Transformer)، الذي قدّمه Vaswani وزملاؤه عام 2017، التكرارَ بالانتباه الذاتي (Self-attention): يستطيع كل رمز (Token) أن ينتبه إلى كل رمز آخر في التسلسل في عملية متوازية واحدة. هذا التغيير الواحد أزال عنق الزجاجة التسلسلي في الشبكات العصبية التكرارية (RNN)، وجعل التدريب على كمّ شبه غير محدود من النصوص باستخدام عناقيد ضخمة من وحدات GPU مجديًا اقتصاديًا. وبعد قرابة عقد، ما يزال كل نموذج لغوي رائد محوّلًا في جوهره، وإن كان معدّلًا بشدة: أنواع مختلفة من الانتباه، وترميزات مواضع مختلفة، وكتل تغذية أمامية مختلفة. أما الهيكل فلم يتغيّر: تضمين الرموز، ثم التناوب بين طبقات الانتباه وطبقات التغذية الأمامية مع الوصلات المتبقية (Residual connections)، ثم الإسقاط مجددًا إلى قيم المفردات اللوغاريتمية (Logits). فهم هذا الهيكل شرط مسبق لكل ما في هذه الوحدة، فتكلفة الاستدلال وحدود السياق والضبط الدقيق كلها ترجع إليه.
- كل كتلة: انتباه (تتبادل الرموز المعلومات) ثم شبكة تغذية أمامية (يُعالَج كل رمز على حدة)
- تُسقِط الطبقة الأخيرة إلى توزيع احتمالي على المفردات، رمزًا تاليًا واحدًا في كل مرة
آلية الانتباه: الاستعلامات والمفاتيح والقيم
الانتباه (Attention) بحث مرن. ينتج كل رمز ثلاثة متّجهات: استعلام (Query) «عمّ أبحث؟»، ومفتاح (Key) «ماذا أحتوي؟»، وقيمة (Value) «بماذا أساهم؟». يُقارَن كل استعلام بكل مفتاح عبر الضرب النقطي، ثم يُعاد تحجيم الدرجات وتمرّ عبر دالة softmax لتصبح أوزانًا، ويكون الناتج مجموعًا موزونًا للقيم. ويشغّل الانتباه متعدد الرؤوس (Multi-head attention) هذه العملية مرات كثيرة بالتوازي بإسقاطات متعلَّمة مختلفة، فيتيح لرؤوس مختلفة أن تتخصّص: بعضها يتتبّع النحو، وبعضها يتتبّع الإحالة المرجعية، وبعضها ينسخ حرفيًا. والمشكلة في التكلفة: مقارنة كل الأزواج تنمو تربيعيًا مع طول التسلسل، ولهذا يكون الانتباه الخام على المدخلات الطويلة جدًا مكلفًا، ولهذا يستهدف جهد هندسي كبير عنق الزجاجة هذا تحديدًا.
- Attention(Q, K, V) = softmax(QKᵀ/√d)V — سطر رياضي واحد يحرّك المجال بأكمله
- تعدد الرؤوس: انتباه متوازٍ بإسقاطات منفصلة، تُضمّ نتائجه ثم تُمزج
- النمو التربيعي: مضاعفة طول السياق تضاعف حوسبة الانتباه أربع مرات في مرحلة المعالجة المسبقة (Prefill)
الموضع: RoPE والطريق إلى السياق الطويل
الانتباه لا يعرف الترتيب بطبيعته: عبارتا «الكلب عضّ الرجل» و«الرجل عضّ الكلب» ستكونان متطابقتين من دون معلومات الموضع. أضافت المحوّلات المبكرة متّجهات مواضع مطلقة إلى كل تضمين (Embedding)، لكن ذلك يربط النموذج بالأطوال التي رآها في التدريب. أما النماذج اللغوية الكبيرة الحديثة فتستخدم كلها تقريبًا RoPE (تضمينات المواضع الدوّارة): تُرمَّز المواضع بتدوير متّجهات الاستعلام والمفتاح بزاوية تتناسب مع ترتيبها، فيصبح الانتباه معتمدًا بطبيعته على المسافة النسبية بين الرموز. ويمكن أيضًا توسيع RoPE: بإعادة ضبط ترددات الدوران (استيفاء المواضع وYaRN وما تلاهما) مع تدريب موجّه على السياق الطويل، تستطيع نماذج دُرّبت في الغالب على تسلسلات أقصر أن تعمل على مئات الآلاف من الرموز. وهذا هو السبب الرئيسي لنمو نوافذ السياق بهذه السرعة؛ فقد كانت مشكلة ترميز مواضع وبيانات بقدر ما كانت مشكلة حوسبة خام. ومع ذلك، يتأخر الاستخدام الفعلي للسياق الطويل عن حجم النافذة المُعلَن: إذ تتراجع جودة الاسترجاع داخل النافذة («الضياع في المنتصف» Lost in the middle).
ذاكرة KV المؤقتة: لماذا يعمل التوليد بهذه الطريقة
التوليد انحداري ذاتي (Autoregressive): ينتج النموذج رمزًا واحدًا، ويضيفه، ثم يعمل من جديد. ولو نُفّذ ذلك بسذاجة، لأعادت كل خطوة حساب الانتباه على التسلسل كاملًا. وتحلّ ذاكرة KV المؤقتة (KV cache) هذه المشكلة: تُحسب المفاتيح والقيم لكل الرموز السابقة مرة واحدة وتُخزَّن، فلا يحسب كل رمز جديد إلا استعلامه هو مقابل التاريخ المخزَّن. هذا يجعل فك الترميز (Decode) سريعًا لكنه ينقل التكلفة إلى ذاكرة GPU: فالذاكرة المؤقتة تنمو خطيًا مع طول السياق وقد تنافس أوزان النموذج نفسها في المحادثات الطويلة. وقد دفع ضغط الذاكرة هذا إلى حلول معمارية: الانتباه متعدد الاستعلامات والانتباه المجمّع بالاستعلامات (GQA) يشاركان رؤوس المفاتيح والقيم بين رؤوس الاستعلام، فيقلّصان الذاكرة المؤقتة أضعافًا مع خسارة طفيفة في الجودة، ومعظم النماذج المفتوحة والرائدة الحديثة تستخدم أحد أشكالهما. وحين يقدّم مزوّد خدمةٍ التخزين المؤقت للتعليمات (Prompt caching)، فهو حرفيًا يحتفظ بذاكرة KV هذه بين الطلبات.
- المعالجة المسبقة (معالجة التعليمات بالتوازي) وفك الترميز (رمزًا تلو رمز بالتتابع) مرحلتان مختلفتان باختناقات مختلفة
- ذاكرة KV تبادل الذاكرة بالحوسبة؛ السياقات الطويلة شرهة للذاكرة، لا بطيئة فحسب
- GQA: رؤوس استعلام كثيرة تتشارك عددًا أقل من رؤوس KV، وهو تقليص للذاكرة المؤقتة يكاد يكون مجانيًا
شاهد النموذج يختار الكلمة التالية، كلمةً كلمة.