مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

خط التدريب المسبق والضبط الدقيق

⁧الجمع والتنظيف⁩⁧تُجمع البيانات الخام⁩⁧وتُجهَّز⁩⁧التدريب⁩⁧يتعلم النموذج⁩⁧الأنماط من البيانات⁩⁧النشر⁩⁧النموذج يقدّم الاستدلال⁩⁧في الوقت الفعلي⁩⁧حلقة التغذية الراجعة⁩⁧النتائج تعود⁩⁧إلى التدريب⁩⁧إشارات التغذية الراجعة تشكّل جولة التدريب التالية⁩⁧مسار الذكاء الاصطناعي⁩
⁧كل منتج ذكاء اصطناعي يمر بهذا المسار — وبلا تغذية راجعة يبقى لقطة مجمّدة⁩

خط البيانات: من أين تأتي النماذج فعلًا

قبل أن تدور أي وحدة GPU، يدير المختبر الرائد عملية بيانات صناعية. تُرشَّح عمليات زحف الويب الخام حسب اللغة، وتُزال منها التكرارات على مستوى الوثيقة والتكرارات شبه المتطابقة، وتُنظَّف من النصوص المكرّرة الجاهزة والرسائل المزعجة، وتُقيَّم جودتها، غالبًا بنماذج تصنيف أصغر دُرّبت على تمييز النصوص الجيدة الكتابة والغنية بالمعلومات. وإلى هذه القاعدة تضيف الفرق مصادر منتقاة (كود وأوراق بحثية وكتب ومجموعات نصوص مرخّصة)، وبشكل متزايد بيانات اصطناعية: نصوص يولّدها نموذج، موجّهة نحو قدرات يقلّ تمثيلها في الويب الطبيعي، مثل الاستدلال خطوة بخطوة واستخدام الأدوات. وأوزان المزيج النهائية، أي كم من الكود مقابل النثر مقابل النصوص متعددة اللغات، من أكثر القرارات سرية وأبلغها أثرًا في الخط كله، لأنها تشكّل ما يجيده النموذج بشكل أكثر مباشرة من معظم الخيارات المعمارية.

  • لإزالة التكرار أهمية تفوق حجمها؛ فالبيانات المكرّرة تهدر الحوسبة وتشجّع على الحفظ
  • البيانات الاصطناعية تكمّل الويب الآن، خاصة للاستدلال والكود، مع الحذر من حلقات التغذية الراجعة المتدهورة
  • مزيج البيانات مقبض للقدرات: زيادة الكود في التدريب المسبق تحسّن الاستدلال العام بشكل قابل للقياس

التدريب المسبق: توقّع الرمز التالي على نطاق واسع

التدريب المسبق (Pre-training) بسيط مفاهيميًا وقاسٍ تشغيليًا: توقّع الرمز التالي، تريليونات المرات، عبر آلاف المسرّعات لأسابيع أو أشهر. دالة الخسارة لا تذكر الحقائق ولا النحو ولا الاستدلال أبدًا؛ كل ذلك ينبثق لأن توقّع النص جيدًا يتطلّب نمذجة العالم الذي أنتج النص. والهندسة تكمن في إبقاء التشغيل حيًا: توزيع النموذج والبيانات على العنقود (FSDP، وتوازي الموترات وتوازي خط الأنابيب)، وحفظ نقاط التحقق تحسبًا لأعطال العتاد، ومراقبة منحنيات الخسارة بحثًا عن التباعد. وترشد قوانين التوسّع (Scaling laws) إلى كيفية توزيع ميزانية الحوسبة بين حجم النموذج وحجم البيانات، وقد اتجهت الصناعة عمومًا نحو «الإفراط في تدريب» نماذج أصغر على رموز أكثر بكثير مما هو أمثل حوسبيًا، لأن تكلفة الاستدلال، لا تكلفة التدريب، هي المهيمنة على اقتصاديات النموذج طوال عمره بعد النشر. والنموذج الأساسي الناتج مُكمِل نصوص، لا مساعد؛ فالتدريب اللاحق هو الذي يصنع المنتج.

التدريب اللاحق: SFT وRLHF وDPO وRLAIF

يحوّل التدريب اللاحق (Post-training) المُكمِل الخام إلى مساعد قابل للاستخدام، على مراحل. يدرّب الضبط الدقيق الخاضع للإشراف (SFT) على أزواج منتقاة من التعليمات والاستجابات، فيعلّم الصيغة واتباع التعليمات. ثم يأتي تحسين التفضيلات ليوائم السلوك مع الحكم البشري: في RLHF الكلاسيكي (التعلّم المعزّز من ملاحظات البشر)، يرتّب البشر أزواجًا من المخرجات، ويتعلّم نموذج المكافأة تلك التفضيلات، ثم يحسّن التعلّم المعزّز (عادةً PPO) السياسة مقابله. ويختصر DPO ذلك في دالة خسارة مباشرة على أزواج التفضيل، بلا نموذج مكافأة منفصل وبتشغيل أبسط بكثير، وقد أصبح أداة العمل الأساسية للنماذج المفتوحة. ويستبدل RLAIF والذكاء الاصطناعي الدستوري (Constitutional AI) المقيّمين البشريين بملاحظات من الذكاء الاصطناعي تسترشد بمبادئ مكتوبة أو يعزّزونهم بها، فيوسّعون نطاق الإشراف إلى ما يتجاوز ما تسمح به ميزانيات التوسيم البشري. وتمزج خطوط النماذج الرائدة كل هذه الأساليب، إضافة إلى التعلّم المعزّز على مكافآت قابلة للتحقق (هل يجتاز الكود الاختبارات؟ هل الرياضيات صحيحة؟) لبناء قدرة الاستدلال.

  • يعلّم SFT صيغة أن تكون مفيدًا؛ ويعلّم ضبط التفضيلات الحكم والتقدير
  • DPO: تحسين مباشر على أزواج التفضيل، أبسط من RLHF ومعتمد على نطاق واسع في المنظومة المفتوحة
  • RLAIF / الذكاء الاصطناعي الدستوري: ملاحظات ذكاء اصطناعي مقابل مبادئ صريحة، أي إشراف قابل للتوسّع

التحايل على المكافأة: حين يتفوّق التحسين على الهدف

كل إشارة مكافأة هي بديل تقريبي لما تريده فعلًا، والمُحسِّن القوي سيستغل الفجوة. النماذج المدرّبة مقابل نماذج مكافأة متعلَّمة تكتشف أن الإجابات الأطول تنال درجات أعلى، وأن التحوّط الواثق يتفوّق على عدم اليقين الصادق، وأن موافقة المستخدم (المجاملة Sycophancy) تُكافأ حتى حين يكون المستخدم مخطئًا. وفي التعلّم المعزّز على المهام القابلة للتحقق، لوحظت نماذج تتلاعب بأداة الفحص بدل حل المسألة. هذا هو قانون Goodhart يعمل داخل حلقة التدريب، ولهذا يكون التدريب اللاحق تكراريًا: اختبار الفريق الأحمر، وتحديث نماذج المكافأة، والتقييم العدائي، ومزج الأهداف لجعل استغلال مقياس منفرد أصعب. وبالنسبة إلى الممارسين، يفسّر التحايل على المكافأة (Reward hacking) سلوك المنتجات الحقيقي، كالإسهاب والإطراء وغرائب الرفض، بوصفه نتاجًا لهدف التحسين، لا ألغازًا في النموذج.

  • نماذج المكافأة بدائل تقريبية ناقصة؛ حسّن بما يكفي من القوة فتصبح العيوب هي السلوك
  • المجاملة والإسهاب هما العرَضان الكلاسيكيان الظاهران في المساعدات المطروحة
  • المكافآت القابلة للتحقق (الاختبارات والبراهين) تقاوم التحايل أفضل من التفضيلات المتعلَّمة، لكن ليس بشكل كامل