قوانين التوسّع
حقبة التوسّع الأولى: تدريب مسبق أكبر
قوانين التوسّع (Scaling laws) هي الملاحظة التجريبية بأن خسارة النموذج اللغوي (Loss) تنخفض وفق قانون قوى سلس ويمكن التنبؤ به كلما زدت المعاملات (Parameters) والبيانات والحوسبة. أرسى Kaplan وزملاؤه (2020) هذا النمط ومنحوا المختبرات شيئًا لم يملكه المجال من قبل: التنبؤ. صار بإمكانك إنفاق تشغيل تدريب صغير لتتوقع ما سيحققه تشغيل أكبر منه ألف مرة. هذه القابلية للتنبؤ، لا أي نموذج بعينه، هي ما أطلق رؤوس أموال الحقبة الحالية — فقد صار بإمكان المستثمرين والمختبرات ضمان تشغيلات تدريب هائلة لأن عائد الحوسبة لم يعد تخمينًا. عُرّفت حقبة التوسّع الأولى بوصفة بسيطة: وسّع التدريب المسبق (Pre-training) وستتبعه القدرات، بما فيها قدرات تظهر فجأة عند عتبات حجم معيّنة بدل أن تتحسّن تدريجيًا.
- تنخفض الخسارة وفق قانون قوى بدلالة المعاملات والبيانات والحوسبة — بسلاسة وقابلية للتنبؤ
- القابلية للتنبؤ هي ما جعل الاستثمار على نطاق النماذج الرائدة قابلًا للضمان
- بعض القدرات تنبثق عند عتبات بدل أن تتحسّن تدريجيًا
- المصدر الأساسي: «Scaling Laws for Neural Language Models» — ورقة Kaplan التي أرست ملاءمة قانون القوى
Chinchilla: تصحيح البيانات
صحّحت نتيجة Chinchilla (Hoffmann وزملاؤه، 2022) انحياز الحقبة الأولى نحو المعاملات. فبميزانية حوسبة ثابتة، كانت معظم نماذج ذلك الوقت ناقصة التدريب بشكل كبير: التدريب الأمثل حوسبيًا يستخدم نحو 20 رمزًا (Token) لكل معامل، أي بيانات لكل معامل أكثر بكثير مما كان المجال يستخدمه. نموذج أصغر دُرّب على بيانات أكثر تفوّق على نماذج أكبر شحيحة البيانات. والإرث العملي أدق من العنوان: تُدرَّب النماذج المستخدمة في التشغيل الفعلي اليوم روتينيًا إلى ما بعد النقطة المثلى وفق Chinchilla، لأن Chinchilla تحسّن حوسبة التدريب وحدها. فإذا كنت ستشغّل نموذجًا مليارات المرات، فالإفراط في تدريب نموذج أصغر هو المقايضة الاقتصادية الأفضل — إذ تتوسّع تكلفة الاستدلال (Inference) مع عدد المعاملات، وأنت تدفعها إلى الأبد. أعداد معاملات نماذج حقبة Chinchilla معروفة علنًا؛ لاحظ أن المختبرات الرائدة توقفت عن الإفصاح عن أعداد المعاملات بعد ذلك، فتعامل مع أي رقم تسمعه عن النماذج الاحتكارية الحالية على أنه تخمين.
- الأمثل وفق Chinchilla: نحو 20 رمز تدريب لكل معامل بميزانية حوسبة ثابتة
- نماذج التشغيل الفعلي تُدرَّب أكثر من الأمثل لأن تكلفة الاستدلال تُدفع مع كل طلب
- أعداد معاملات النماذج الرائدة غير معلنة — انتهى عصر الأعداد العلنية مع نماذج فئة Chinchilla
- المصدر الأساسي: «Training Compute-Optimal Large Language Models» — ورقة Chinchilla
حقبة التوسّع الثانية: حوسبة وقت الاستدلال
مع وصول النماذج الاستدلالية (Reasoning models) انفتح محور توسّع ثانٍ: أنفق مزيدًا من الحوسبة وقت الاستدلال تحصل على إجابات أفضل. فبدل الاكتفاء بتكبير النموذج قبل النشر، دعه يولّد مسارات استدلال داخلية طويلة، ويستكشف عدة مسارات للحل، ويتحقق من عمله قبل الإجابة. يتوسّع الأداء في المسائل الصعبة — الرياضيات والكود والتخطيط متعدد الخطوات — مع وقت التفكير بطريقة تحاكي منحنيات التدريب المسبق الأصلية. وهذا يعيد هيكلة اقتصاديات القدرة: يصبح الذكاء مقبضًا تديره لكل طلب بدل أن يكون خاصية ثابتة في الأوزان. كما أنه يتراكب مع توسّع التدريب المسبق ولا يحل محله — فالنموذج الأساسي الأقوى يستخرج أكثر من كل رمز تفكير. والنتيجة المباشرة للبُناة أن التكلفة وزمن الاستجابة (Latency) صارا معاملين للجودة تضبطهما لكل مهمة، لا ثوابت.
- حوسبة وقت الاختبار: مسارات استدلال أطول والبحث بين الحلول يحسّنان الدقة في المهام الصعبة
- تصبح القدرة قابلة للتعديل لكل طلب، لا ثابتة وقت التدريب
- الحقبتان تتراكبان: النماذج الأساسية الأفضل تحوّل رموز التفكير إلى قدرة بكفاءة أعلى
جدار البيانات
لتوسّع التدريب المسبق اعتماد واضح: إمداد متزايد باستمرار من النصوص عالية الجودة. ومخزون هذه البيانات على الإنترنت العام محدود، وتستهلك تشغيلات التدريب الرائدة جزءًا معتبرًا منه. هذه هي حجة جدار البيانات — أن البيانات، لا الحوسبة أو رأس المال، تصبح القيد الحاكم على حقبة التوسّع الأولى. والأفضل التعامل مع هذا الجدار كمنحدر اقتصادي لا كهاوية: كل رمز إضافي من البيانات الجيدة يصبح أغلى في إيجاده أو ترخيصه أو تنظيفه، ولهذا توقّع المختبرات صفقات محتوى، وتستخرج النصوص من التفريغ الصوتي والكود، وتستثمر بكثافة في تنقية البيانات. وتبيّن أن ترشيح الجودة لا يقل أهمية عن الحجم الخام — فإزالة التكرار والترشيح الصارمان قد يتفوقان على التوسّع الساذج. وجدار البيانات أحد الأسباب الرئيسية لتحوّل المجال نحو حقبة التوسّع الثانية: فحوسبة وقت الاستدلال تحسّن القدرة دون الحاجة إلى نصوص بشرية جديدة.
- النصوص العامة عالية الجودة محدودة؛ وتشغيلات التدريب الرائدة تستهلك كثيرًا منها بالفعل
- القيد العملي هو التكلفة الحدّية المتصاعدة للبيانات، لا نفادها المفاجئ
- التنقية وإزالة التكرار بديلان عن الحجم — البيانات الأنظف تدرّب نماذج أفضل
البيانات الاصطناعية والتقطير
ثمة استجابتان لجدار البيانات تقعان الآن في قلب خطوط التدريب. البيانات الاصطناعية (Synthetic data) تستخدم نماذج قوية لتوليد مواد تدريب — مسارات استدلال، وكود بحلول متحقَّق منها بالاختبارات، وأمثلة على اتباع التعليمات — وغالبًا ما ترشّحها أدوات فحص آلية فلا يبقى إلا ما ثبتت صحته. التدريب الساذج على مخرجاتك يُضعف الجودة؛ أما مع التحقق وضوابط التنوّع فهو الطريقة التي تُعلَّم بها القدرة على الاستدلال اليوم في معظمها. والتقطير (Distillation) ينقل القدرة من نموذج معلّم كبير إلى نموذج تلميذ أصغر، ولهذا تواصل النماذج المفتوحة الأوزان (Open-weight models) الصغيرة الاقتراب على نحو مفاجئ من أداء النماذج الرائدة: فهي تضغط قدرة دفع غيرها ثمن اكتشافها. ومعًا تعني هذه التقنيات أن القدرة تنتشر الآن من المختبرات الرائدة إلى المنظومة كلها أسرع مما يتوقعه التوسّع الخام وحده — وهي ديناميكية ذات عواقب واضحة على المنافسة والسياسات.
- البيانات الاصطناعية المتحقَّق منها (كود قابل للفحص، استدلال مُقيَّم) تتجنب خطر انهيار الجودة
- التقطير يضغط قدرة النماذج الرائدة في نماذج صغيرة رخيصة التشغيل
- المحصلة: فجوة القدرة بين النماذج الرائدة والنماذج المفتوحة الأوزان تضيق أسرع مما توحي به ميزانيات الحوسبة
جرّب بنفسك
يُقتبس رقم 20 رمزًا لكل معامل كأنه ثابت فيزيائي. أجرِ الحساب عليه، ثم قارنه بنموذج درّبه أحدهم فعلًا، وسترى بالضبط أي نوع من الادعاءات هو.
الخطوة الأولى: لنموذج كثيف من 7 مليارات معامل، احسب ميزانية التدريب المثلى حوسبيًا باستخدام قاعدة نحو 20 رمزًا لكل معامل، ثم قدّر حوسبة التدريب بالتقريب المعياري C ≈ 6ND (أي 6 عمليات FLOP لكل معامل لكل رمز — نحو 2 للتمرير الأمامي و4 للتمرير العكسي). الخطوة الثانية: ابحث عن نموذج مفتوح الأوزان تذكر بطاقته أو تقريره التقني عدد معاملاته وعدد رموز تدريبه معًا، واحسب نسبة الرموز إلى المعاملات الفعلية لديه. قارن الرقمين وفسّر الفجوة باستخدام حجة اقتصاديات الاستدلال من شريحة Chinchilla.
الميزانية وفق القاعدة: D = 20 × N N = 7,000,000,000 → D = [____] رمزًا حوسبة التدريب: C ≈ 6 × N × D = [____] FLOPs النموذج الحقيقي: N = [عدد المعاملات] ، D = [عدد رموز التدريب من بطاقته] النسبة الفعلية = D ÷ N = [____] رمزًا لكل معامل التبسيطات: يتجاهل 6ND عمليات FLOP الخاصة بالانتباه (التي تزداد مع طول السياق) ويحسب المعاملات الكثيفة — في نموذج خليط الخبراء (MoE) استبدلها بالمعاملات النشطة لكل رمز، ولاحظ هل تذكر البطاقة العدد الكلي أم النشط.
- D = 1.4 × 10^11 — أي 140 مليار رمز — و C ≈ 5.9 × 10^21 FLOPs. إن كان الأُس لديك خاطئًا فقد أسقطت عاملًا قدره 10 في مكان ما ضمن المليارات
- النموذج الذي بحثت عنه لديه على الأرجح نسبة أعلى بكثير من 20، وغالبًا بالمئات — وهذا إفراط متعمّد في التدريب، لا قاعدة معطوبة
- تستطيع أن تقول السبب: نسبة 20:1 تقلّل حوسبة التدريب، وحوسبة التدريب ليست ما يُحسَّن له نموذج سيُشغَّل مليارات المرات
- قلها بصوت عالٍ مرة واحدة: هذه ملاءمة تجريبية من عائلة واحدة من تشغيلات التدريب، لا قانون — وهي تتغيّر مع جودة البيانات والمعمارية والتكلفة التي تسعى إلى تقليلها