تحسين الاستدلال وزمن الاستجابة
شكل المشكلة: المعالجة المسبقة مقابل فك الترميز
للاستدلال (Inference) في النماذج اللغوية الكبيرة مرحلتان بطبيعتين متعاكستين. تعالج المعالجة المسبقة (Prefill) التعليمات كاملة بالتوازي: محدودة بالحوسبة، وصديقة للإنتاجية، ومسؤولة عن زمن ظهور الرمز الأول. ثم يولّد فك الترميز (Decode) رمزًا واحدًا في كل مرة: يجب أن تقرأ كل خطوة أوزان النموذج كاملة وذاكرة KV المؤقتة من ذاكرة GPU لتنتج رمزًا واحدًا، ما يجعلها محدودة بعرض نطاق الذاكرة وتسلسلية بشكل مؤلم. هذا التباين يفسّر معظم سلوك زمن الاستجابة الذي تلاحظه: التعليمات الطويلة تؤخّر الرمز الأول، والمخرجات الطويلة تستغرق وقتًا يتناسب مع طولها، ووحدة GPU التي تخدم فك الترميز هي في الغالب سيليكون خامل ينتظر الذاكرة. كل تحسين في هذا الدرس يهاجم أحد طرفي هذا الانقسام: إنجاز عمل أكثر في كل قراءة من الذاكرة، أو تصغير البصمة في الذاكرة، أو الالتفاف على الطبيعة التسلسلية لفك الترميز نفسه.
- زمن ظهور الرمز الأول ≈ تكلفة المعالجة المسبقة؛ والرموز في الثانية ≈ تكلفة فك الترميز؛ قِسهما كلًا على حدة
- فك الترميز محدود بالذاكرة: عنق الزجاجة هو قراءة الأوزان وذاكرة KV، لا العمليات الحسابية
- البث (Streaming) يخفي زمن فك الترميز عن المستخدمين، لكنه لا يقلّله
التشغيل على نطاق واسع: التجميع المستمر وPagedAttention
التشغيل الساذج يجمّع الطلبات معًا وينتظر انتهاء أطولها، فتخمل وحدات GPU بينما تحجز الطلبات القصيرة أماكنها. أما التجميع المستمر (Continuous batching) فيجدول على مستوى الرمز: في كل خطوة فك ترميز، تغادر التسلسلات المنتهية الدفعة وتنضم الطلبات المنتظرة، فتبقى وحدة GPU مشبعة. والاختراق الثاني كان PagedAttention الذي قدّمه vLLM: بدل حجز منطقة ذاكرة متصلة واحدة لكل طلب بحجم أقصى سياق ممكن، تُقسَّم ذاكرة KV المؤقتة إلى صفحات صغيرة تُخصَّص عند الطلب، أي ذاكرة افتراضية للانتباه. ينخفض هدر التجزئة من معظم ذاكرة KV إلى نسبة مئوية قليلة، وهذا يترجم مباشرة إلى دفعات أكبر وإنتاجية مضاعفة عدة مرات. هاتان الفكرتان هما سبب تحوّل vLLM ومحركات التشغيل التي تلته إلى الخيار الافتراضي للاستدلال المستضاف ذاتيًا.
- التجميع المستمر: جدولة على مستوى الرمز، فلا ينتظر أي طلب انتهاء طلب غريب عنه
- PagedAttention: تخصيص KV مقسّم إلى صفحات عند الطلب، مع تجزئة للذاكرة تكاد تكون صفرًا
- ذاكرة KV المقسّمة إلى صفحات تتيح مشاركة البادئات: البادئات المتطابقة للتعليمات عبر الطلبات تشير إلى الصفحات نفسها
- المصدر الأساسي: «Efficient Memory Management for Large Language Model Serving with PagedAttention»، وهي ورقة vLLM
فك الترميز التخميني: الالتفاف على عنق الزجاجة التسلسلي
ينتج فك الترميز رمزًا واحدًا في كل تمريرة أمامية مكلفة، ما لم تخمّن مسبقًا. يستخدم فك الترميز التخميني (Speculative decoding) نموذج مسودة صغيرًا وسريعًا ليقترح عدة رموز، ثم يتحقق النموذج الكبير من المسودة كاملة في تمريرة متوازية واحدة. الرموز المقبولة مضمون تطابقها التام مع ما كان النموذج الكبير سينتجه وحده، فالرياضيات تحفظ توزيع المخرجات، ولذا لا تكلفة في الجودة، بل مكسب في السرعة يعتمد على عدد مرات صواب المسودة. النص المتوقَّع (الكود والنصوص الجاهزة والمخرجات المنظّمة) يقبل مسودات طويلة ويتسارع بشكل كبير؛ والنص المفاجئ يقبل القليل. وتستبدل بعض الأشكال نموذج المسودة المنفصل برؤوس تنبؤ إضافية على النموذج الرئيسي (على طريقة Medusa) أو ببحث n-gram. ومعظم المزوّدين الكبار يشغّلون شكلًا من هذا بصمت، وهو جزء من سبب تحسّن سرعات واجهات API باستمرار على نماذج لم تتغيّر.
التكميم: GPTQ وAWQ وGGUF
الأوزان المدرّبة بدقة 16 بت تحمل دقة أكثر مما يحتاجه الاستدلال. يخزّنها التكميم (Quantisation) بـ8 أو 4 بتات، فيقلّص البصمة في الذاكرة أضعافًا، ولأن فك الترميز محدود بالذاكرة، فإن الأوزان الأصغر تعني أيضًا رموزًا أسرع. والطرق السائدة تُطبَّق بعد التدريب: يكمّم GPTQ طبقة تلو طبقة مع تصحيح الخطأ الذي تُدخله كل طبقة؛ ويراقب AWQ التنشيطات ليجد الجزء الصغير من الأوزان الأكثر أهمية فيحميه، ويكمّم الباقي بقوة. أما GGUF فليس طريقة بل صيغة ملفات: حاوية منظومة llama.cpp التي تقدّم قائمة من مستويات التكميم للاستدلال على المعالج المركزي ووحدات GPU الاستهلاكية، وهي السبب في أن النماذج القادرة تعمل على الحواسيب المحمولة أصلًا. خسارة الجودة عند 8 بت لا تُذكر، وعند 4 بت المضبوط بعناية صغيرة عادةً، لكنها تعتمد على المهمة؛ لذا يجب تقييم النماذج المكمّمة على حمل عملك، لا افتراض أنها مكافئة.
- فك الترميز المحدود بالذاكرة يعني أن التكميم يشتري السرعة إلى جانب السعة
- GPTQ: تكميم طبقي يعوّض الخطأ؛ AWQ: حماية الأوزان الحرجة للتنشيطات؛ GGUF: صيغة التغليف وراء الاستدلال المحلي
- قيّم النماذج المكمّمة على مهامك أنت؛ فالتدهور يتركّز بشكل غير متوقع (غالبًا في الرياضيات والاستدلال في الحالات الحدّية)
جرّب بنفسك
سعة التشغيل تحدّدها عادةً ذاكرة KV المؤقتة، لا أوزان النموذج، والحساب بسيط بما يكفي لإجرائه على الورق. اعمله مرة واحدة ولن تفاجئك حدود التزامن مجددًا.
احسب حجم ذاكرة KV المؤقتة لنموذج افتراضي: 32 طبقة، و8 رؤوس مفاتيح/قيم، وبُعد رأس 128، والذاكرة المؤقتة محفوظة بصيغة FP16 (بايتان لكل عنصر)، بطول سياق 8,192 رمزًا. احسب البايتات لكل رمز أولًا، ثم لكل تسلسل، ثم لكل خادم عند 50 تسلسلًا متزامنًا. ثم أعد الحساب بإعدادات نموذج ستنشره فعلًا؛ فبطاقة نموذج مفتوح الأوزان تعطيك عدد الطبقات وعدد الرؤوس وبُعد الرأس. اقسم البايتات على 1,073,741,824 لتحصل على GiB.
لكل رمز = 2 × [layers] × [kv_heads] × [head_dim] × [bytes_per_element] لكل تسلسل = (قيمة كل رمز) × [context_tokens] لكل خادم = (قيمة كل تسلسل) × [concurrent_sequences] فحص الهامش: [ذاكرة المسرّع] − [أوزان النموذج] = الذاكرة المتبقية لـ KV أقصى تزامن ≈ الذاكرة المتبقية ÷ (قيمة كل تسلسل) تبسيطات: الرقم 2 يحسب K وV؛ يُفترض أن كل طبقة انتباه كامل بعدد رؤوس KV نفسه؛ ويُتجاهل حمل المُخصِّص والتقسيم إلى صفحات، وطبقات النافذة المنزلقة، وأي ضغط لـ KV أو تكميم للذاكرة المؤقتة.
- لكل رمز يجب أن تحصل على 131,072 بايت، أي 128 KiB، ولكل تسلسل عند 8,192 رمزًا 1 GiB بالضبط
- 50 تسلسلًا متزامنًا تعني 50 GiB لذاكرة KV وحدها؛ اطرح الأوزان من ذاكرة مسرّعك وانظر كم هو ضئيل الهامش المتبقي
- اجعل kv_heads تساوي 32 بدل 8 (حالة عدم استخدام GQA): تصبح الذاكرة المؤقتة أكبر 4 مرات، وهذه هي حجة الانتباه المجمّع بالاستعلامات كلها في رقم واحد
- مضاعفة السياق تضاعف الذاكرة المؤقتة لا أكثر؛ فذاكرة KV تنمو خطيًا مع الطول، وحوسبة المعالجة المسبقة، لا ذاكرة التخزين المؤقت، هي التي تنمو تربيعيًا
- تنصيف حجم العنصر (من FP16 إلى FP8) ينصّف الذاكرة المؤقتة؛ المقبض نفسه الذي في تكميم الأوزان، مطبّقًا على المستهلك الآخر للذاكرة
ارفع العشوائية واخفضها وشاهد الإجابة تتغيّر.