معمارية النماذج متعددة الوسائط
جانب الفهم: المرمِّزات والفضاء المشترك
كي «يرى» نموذج لغوي، يجب أن تتحول الصور إلى رموز (Tokens) يستطيع المحوّل (Transformer) أن يطبّق عليها الانتباه (Attention). الوصفة السائدة: مرمِّز رؤية (Vision encoder) — عادةً محوّل رؤية (Vision Transformer) — يقسّم الصورة إلى رقع، ويرمّز كل رقعة كمتّجه (Vector)، ثم تنقل طبقة إسقاط تلك المتّجهات إلى فضاء التضمين (Embedding) نفسه الذي تقع فيه رموز النص. ومن منظور النموذج الأساسي، الصورة مجرد سلسلة من الرموز غير المألوفة متداخلة مع النص. والصوت يتبع النمط نفسه — إطارات المخطط الطيفي أو مرمِّزات الصوت المتعلَّمة تصبح سلاسل رموز. وسقف الجودة تحدّده بيانات التدريب أكثر مما تحدّده معمارية المرمِّز: فالنماذج لا تتعلّم الربط بين ما تراه وما تقرؤه إلا حين تُدرَّب على بيانات صور ونصوص متداخلة فعلًا وبحجم كبير.
- رقع ViT ← تضمينات ← إسقاط إلى فضاء رموز النموذج اللغوي
- الدقة مهمة: المرمِّزات ثابتة الدقة المنخفضة تفوّت النصوص الصغيرة والتفاصيل الدقيقة؛ وأساليب التجزئة إلى بلاطات والدقة الأصلية تعالج ذلك
- الصوت: رموز المرمِّز أو سمات المخطط الطيفي، بنمط التداخل نفسه
- الانتباه لا يميّز بين الوسائط — فما إن يصبح كل شيء رموزًا حتى يعاملها النموذج الأساسي بالطريقة نفسها
التعدد الأصلي للوسائط مقابل الإضافة اللاحقة
ثمة طريقتان لبناء نموذج متعدد الوسائط (Multimodal)، والفرق يظهر في السلوك. نهج الإضافة اللاحقة يأخذ نموذجًا لغويًا نصيًا مدرَّبًا، فيجمّده أو يضبطه ضبطًا خفيفًا، ثم يلحق به مرمِّز رؤية مع طبقة إسقاط — رخيص، وسريع الإطلاق، وبه بُنيت معظم نماذج الرؤية واللغة المبكرة. أما التدريب الأصلي متعدد الوسائط فيغذّي النموذج ببيانات نصوص وصور وصوت متداخلة منذ مراحل مبكرة من التدريب المسبق (Pre-training)، فتُتعلَّم الروابط بين الوسائط بعمق بدل أن تُكيَّف متأخرًا. وتميل النماذج الأصلية إلى التفوّق بوضوح في الاستدلال البصري الدقيق — قراءة الرسوم البيانية، وتفسير المستندات، وفهم العلاقات المكانية — لأن الرؤية لم تكن قط مدخلًا من الدرجة الثانية. ومعظم النماذج الرائدة الحالية متعددة الوسائط أصليًا في جانب الفهم؛ بينما يبقى نهج الإضافة اللاحقة شائعًا في عالم النماذج مفتوحة الأوزان لأنه يتيح لنموذج نصي قوي أن يكتسب الرؤية بتكلفة زهيدة.
- الإضافة اللاحقة: نموذج لغوي مدرَّب مسبقًا + مرمِّز + إسقاط، تتم مواءمتها بجولة تدريب صغيرة نسبيًا
- الأصلي: بيانات متعددة الوسائط متداخلة طوال التدريب المسبق — أعلى تكلفة، وتكامل أعمق
- عَرَض حدود الإضافة اللاحقة: أوصاف صور سلسة، لكن استدلال دقيق هشّ (الرسوم البيانية، والمستندات الكثيفة، والتخطيط المكاني)
- تفضّل منظومات النماذج مفتوحة الأوزان الإضافة اللاحقة لأنها تعيد استخدام نماذج نصية قوية قائمة
جانب التوليد: الانتشار ومطابقة التدفق
توليد الصور مسألة مختلفة عن فهمها، وقد نشأ على معمارية مختلفة. الانتشار الكامن (Latent diffusion) — المحرّك وراء معظم مولّدات الصور — يعمل بضغط الصور إلى فضاء كامن أصغر عبر مرمِّز ذاتي (Autoencoder)، ثم تدريب شبكة على إزالة الضجيج تدريجيًا من متّجهات كامنة عشوائية، بتوجيه من تضمين نصي للتعليمات (Prompt). وعشرات خطوات إزالة الضجيج تنحت الضجيج شيئًا فشيئًا إلى صورة متماسكة، يرفع مفكِّك الترميز (Decoder) دقتها إلى بكسلات. ومطابقة التدفق (Flow matching) هي التقنية الخلف التي باتت قياسية في الأنظمة الأحدث: فبدل تعلّم عكس عملية إضافة الضجيج، يتعلّم النموذج حقل سرعة ينقل الضجيج إلى البيانات عبر مسارات شبه مستقيمة. وعمليًا يعني ذلك خطوات أخذ عينات أقل، وتدريبًا أكثر استقرارًا، وتوليدًا أسرع بجودة مماثلة — مكسب هندسي أكثر منه ثورة مفاهيمية.
- الفضاء الكامن: التوليد في تمثيل مضغوط ثم فكّه إلى بكسلات — أرخص بمراتب عشرية من الانتشار في فضاء البكسلات
- التكييف بالنص: تضمينات التعليمات توجّه كل خطوة إزالة ضجيج عبر الانتباه المتقاطع
- مطابقة التدفق: تعلّم نقل مستقيم من الضجيج إلى البيانات؛ خطوات أقل وهدف تدريب أبسط
- تحوّل في النموذج الأساسي: أفسحت شبكات U-Net المجال إلى حد بعيد لمحوّلات الانتشار (DiT) التي تتوسّع كما تتوسّع النماذج اللغوية الكبيرة
التوليد الانحداري الذاتي والفيديو
نهج منافس يولّد الصور كما تولّد النماذج اللغوية الكبيرة النص: تكميم الصورة إلى رموز منفصلة والتنبؤ بها واحدًا تلو الآخر بالمحوّل نفسه الذي يعالج اللغة. وقد ازدهر التوليد الانحداري الذاتي (Autoregressive) للصور لأنه يوحّد الفهم والتوليد في نموذج واحد — فالنموذج الذي يقرأ تعليماتك، ويحرّر صورة عبر المحادثة، ويرسم نصًا مقروءًا داخل الصورة، يستخدم مجموعة أوزان واحدة، ولا يستدعي نظام انتشار منفصلًا. أما توليد الفيديو فيدفع سلالة الانتشار إلى أقصاها: محوّلات الانتشار المدرَّبة على الفيديو تتعلّم الاتساق الزمني — الأجسام تبقى، والإضاءة تظل متماسكة، والفيزياء تصمد تقريبًا — ولهذا تُناقش نماذج الفيديو بشكل متزايد بوصفها نماذج عالم ناشئة لا مجرد مولّدات مقاطع. وتبقى تكلفة الحوسبة القيد الحاسم؛ فبضع ثوانٍ من فيديو عالي الدقة ما زالت مكلفة الإنتاج.
- الانحداري الذاتي: الصورة كسلسلة رموز — النماذج متعددة الوسائط الموحّدة تولّد وتفهم بأوزان مشتركة
- تتفوق النماذج الموحّدة في التحرير وفق التعليمات وفي رسم النصوص؛ ويظل الانتشار منافسًا في الدقة البصرية الخام
- محوّلات انتشار الفيديو: الانتباه الزمني عبر الإطارات يفرض اتساق الأجسام والحركة
- إطار نموذج العالم: التنبؤ بفيديو معقول يتطلب ضمنيًا نمذجة كيفية تطوّر المشاهد