التقسيم إلى رموز بعمق
BPE: كيف يتحوّل النص إلى أعداد صحيحة
لا ترى النماذج حروفًا ولا كلمات أبدًا؛ إنها ترى معرّفات عددية من مفردات ثابتة، وترميز أزواج البايتات (BPE) هو طريقة بناء تلك المفردات. ابدأ من البايتات الخام، واحسب أي الأزواج المتجاورة تتكرر معًا أكثر في مجموعة نصوص التدريب، وادمج الزوج الأكثر تكرارًا في رمز جديد، وكرّر ذلك عشرات الآلاف من المرات. تنتهي الكلمات الشائعة رموزًا مفردة، وتنقسم الكلمات النادرة إلى قطع يمكن تمييزها، ويبقى أي شيء على الإطلاق، أي لغة أو رمز تعبيري أو بيانات ثنائية عشوائية، قابلًا للتمثيل لأن البايتات الأساسية الـ256 موجودة دائمًا في المفردات. التقسيم إلى رموز (Tokenization) نظام ضغط له عواقب: فهو يحدّد كم من النص يتسع في نافذة السياق، وكم يكلّف الطلب، وأين تقع النقاط العمياء لدى النموذج، قبل أن يتدخّل أي معامل.
- BPE على مستوى البايت يضمن أن أي مدخل قابل للترميز؛ لا إخفاقات بسبب كلمات خارج المفردات
- تُتعلَّم عمليات الدمج من إحصاءات مجموعة النصوص: السلاسل الشائعة تصبح رخيصة، والنادرة مكلفة
- يُدرَّب المُقسِّم (Tokeniser) منفصلًا، قبل النموذج، ثم يُجمَّد إلى الأبد
المُقسِّمات الحديثة: مفردات أكبر وتغطية أعدل
تطوّر تصميم المُقسِّمات. فالمُقسِّمات ذات المفردات البالغة نحو 100 ألف في حقبة GPT-4 (cl100k) أفسحت المجال لمفردات تبلغ نحو 200 ألف وأكثر، أي مُقسِّمات من فئة o200k وتصاميم مماثلة من مختبرات أخرى، دُرّبت على مجموعات نصوص أكثر تعددًا للغات وأغنى بالكود. المفردات الأكبر تضغط النص في رموز أقل، ما يعني مباشرة محتوى أكثر في كل نافذة سياق وتكلفة أقل لكل وثيقة، وتكون أكبر المكاسب للغات غير الإنجليزية التي كانت المُقسِّمات الأقدم المتمحورة حول الإنجليزية تجزّئها بشدة. فجملة بالهندية أو التايلاندية كانت تكلّف أضعاف مقابلها الإنجليزي باتت تُقسَّم الآن بإنصاف أكبر بكثير، وإن لم يختفِ عدم التكافؤ. والكود أيضًا يُقسَّم بكفاءة، إذ تحصل سلاسل المسافات البيضاء والتعابير الشائعة على رموز مخصّصة. وعند مقارنة تكاليف النماذج، تذكّر أن الوحدة نفسها تختلف: «الرمز» ليس الكمية نفسها من النص لدى كل المورّدين.
- المفردات الحديثة البالغة نحو 200 ألف تضغط أفضل من الجيل الأقدم البالغ نحو 100 ألف؛ cl100k إرث قديم لا معيار حالي
- حجم المفردات يبادل ذاكرة جدول التضمين بطول التسلسل؛ ونحو 200 ألف هو النقطة المثلى الحالية
- مقارنات التكلفة بين المورّدين تحتاج إلى اختبارات عدد الرموز لكل وثيقة على بياناتك الفعلية، لا إلى قوائم الأسعار
أنماط فشل التقسيم إلى رموز
نسبة مفاجئة من حالات «النموذج يتصرّف بغرابة» ترجع إلى المُقسِّم. فأسئلة مستوى الحروف، مثل عدّ حرف r أو عكس سلسلة نصية، صعبة لأن النموذج حرفيًا لا يرى الحروف، بل قطعًا متعددة الحروف فقط (مشكلة strawberry الشهيرة). والأرقام تنقسم بشكل غير متسق، ما يعقّد الحساب. والرموز المعطوبة (Glitch tokens)، وهي مدخلات في المفردات حُذفت بيانات تدريبها بعد بناء المُقسِّم، قد تطلق إكمالات غريبة لأن تضميناتها لم تُدرَّب جيدًا قط. والمسافة البيضاء في النهاية أو محارف Unicode غير المعتادة قد تقلب مسار الدمج الذي تسلكه سلسلة ما، فتغيّر جودة المخرجات بشكل قابل للقياس. والعادة التشخيصية التي تستحق البناء: حين يبدو فشل ما غير قابل للتفسير، مرّر المدخل عبر أداة لعرض الرموز قبل أن تلوم النموذج؛ فكثيرًا ما ستجد حدّ الرمز واقعًا تمامًا حيث ينكسر السلوك.
- مهام مستوى الحروف تفشل بنيويًا: النموذج يرى قطعًا لا حروفًا
- الرموز المعطوبة: مدخلات مفردات ضعيفة التدريب ذات سلوك غير متوقع
- أدوات عرض الرموز أداة تصحيح أخطاء في الخط الأول، لا مجرد فضول
جرّب بنفسك
الجميع يردّد القاعدة التقريبية «الرمز الواحد نحو أربعة أحرف» ثم يضع ميزانيته كأن الرمز كلمة. قِس نسبتك الخاصة بدلًا من ذلك؛ يستغرق الأمر خمس دقائق ويغيّر نموذج تكلفتك.
خذ عيّنة حقيقية من 300 إلى 500 كلمة من النص الذي يرسله منتجك فعلًا: كتابتك أنت، أو تذكرة دعم، أو جزء من كودك، أو وثيقة باللغة التي يكتب بها مستخدموك (العربية مثلًا). مرّرها عبر ساحة تجربة المُقسِّم في هذا الدرس وسجّل رقمين: W (عدد الكلمات، من أي أداة عدّ كلمات) وT (عدد الرموز). احسب النسبة R = T ÷ W. ثم سعّر حمل العمل الحقيقي لديك بها، مستخدمًا الأسعار الحالية للمدخلات من صفحة تسعير مزوّدك؛ فالأسعار تتغيّر كثيرًا، لذا ابحث عنها بدل إعادة استخدام رقم تتذكره.
العيّنة: W = [عدد الكلمات] ، T = [عدد الرموز] النسبة R = T ÷ W = [____] حمل العمل: [N] طلب شهريًا × [P] كلمة مدخلات لكل طلب رموز المدخلات شهريًا = N × P × R = [____] التكلفة الشهرية = (رموز المدخلات ÷ 1,000,000) × [سعر كل مليون رمز مدخلات] = [____] الآن كرّر السطرين لرموز المخرجات؛ فالمخرجات تُسعَّر بشكل منفصل وعادةً أعلى.
- لديك رقم لـ R لا افتراض؛ النثر الإنجليزي العادي يقع قرب 1.3 رمز لكل كلمة، لكن الكود والأسماء النادرة والنصوص غير الإنجليزية تأتي أعلى
- أعد سطر التكلفة مع R = 1 (رمز واحد لكل كلمة). الفجوة بين ذلك ورقمك الحقيقي هي حجم الخطأ الموجود في معظم الميزانيات
- إجماليك يشمل رموز المخرجات مسعّرة بسعر المخرجات، لا بسعر المدخلات
- قسّم المحتوى نفسه بمُقسِّم مورّد ثانٍ؛ إن اختلف T فأسعار المليون رمز غير قابلة للمقارنة مباشرة
الصق نصّك وشاهده يُقسَّم إلى رموز.