يُدرَّب مرة واحدة، ويُستخدم ملايين المرات
مرحلتان مختلفتان تمامًا
هناك لحظة يُبنى فيها النموذج، ولحظة يُستخدم فيها، ولا يكاد يجمع بينهما شيء. التدريب (Training) يحدث مرة واحدة، ويستغرق أشهرًا من العمل، ويعمل على مجموعات ضخمة من الرقائق المتخصصة، ويكلف مبلغًا لا تقدر على إنفاقه إلا المؤسسات الكبيرة. وينتج عنه مجموعة ثابتة من الأرقام هي أوزان النموذج (Weights). بعد ذلك يكون استخدام النموذج عملية حسابية صغيرة نسبيًا تحدث في كل مرة يرسل فيها أي شخص رسالة. حين تتحدث معه فأنت لا تدرّب شيئًا، بل تشغّل منتجًا مكتملًا، المجموعة المجمّدة نفسها من الأرقام التي يشغّلها الجميع.
- التدريب: مرة واحدة، ضخم، وينتج الأوزان التي تحدد النموذج
- الاستدلال (Inference): ما يحدث مع كل رسالة، سريع ورخيص نسبيًا
- محادثتك لا تحدّث الأوزان، فالنموذج لا «يتعلم منك» في منتصف المحادثة
- الإصدارات الأحدث تأتي من جولات تدريب جديدة، لا من تحسّن النموذج بهدوء من تلقاء نفسه
ماذا يعني «التعلّم من البيانات» فعلًا
لا يعني أن النموذج خزّن الإنترنت في مكان ما ويبحث فيه. التدريب يضبط مليارات الأوزان الرقمية حتى يتحسّن النموذج في مهمة واحدة: التنبؤ بالرمز التالي في نصوص حقيقية. فتنضغط الانتظامات الإحصائية في اللغة داخل تلك الأوزان: القواعد النحوية، والحقائق التي تظهر بثبات، وشكل الحجة الجيدة، وطريقة بناء الكود البرمجي، وأيضًا كل تحيّز وخطأ يتكرر في المصادر. ما ينجو من هذا الضغط هو ما كان شائعًا وثابتًا. أما التفاصيل النادرة فتتشوش أو تضيع، وهذا بالضبط هو المكان الذي يتسلل منه الاختلاق الواثق لاحقًا.
- ناتج التدريب أوزان، أي أرقام، وليس نسخة مخزّنة من نصوص التدريب
- المعلومات المتكررة والثابتة تنجو من الضغط جيدًا؛ التفاصيل التي ظهرت مرة واحدة غالبًا لا تنجو
- الأنماط في البيانات تصبح أنماطًا في الناتج، بما فيها الأنماط غير العادلة
- مرحلة لاحقة تضبط النموذج بملاحظات بشرية حتى يجيب بطريقة مفيدة بدل أن يكتفي بإكمال النص
حدود المعرفة، ولماذا الذاكرة ميزة في المنتج
لأن الأوزان ثُبّتت عند نهاية التدريب، تتوقف معرفة النموذج المدمجة عند نقطة زمنية معينة. وكل ما بعدها غير مرئي له إلا إذا ذهب المنتج وجلبه، وهذا ما يحدث حين تبحث الأداة في الإنترنت، أو تقرأ ملفًا رفعته، أو تسحب معلومات من مستندات شركة ما. وبالمثل، حين «يتذكر» مساعدٌ اسمك من جلسة إلى أخرى، فهذا هو التطبيق يخزّن نصًّا ويعيد إدخاله بهدوء في نافذة السياق. الذاكرة والمعرفة المحدَّثة كلتاهما أشياء مبنية حول النموذج، لا خصائص في النموذج نفسه. ومعرفة هذا الفرق تخبرك بما يمكنك الوثوق به.
- حد المعرفة (Knowledge Cutoff): لا يملك النموذج وعيًا مدمجًا بالأحداث التي جرت بعد انتهاء التدريب
- البحث، ورفع الملفات، والاسترجاع تضيف معلومات جديدة بوضعها داخل نافذة السياق
- «الذاكرة» الدائمة نص مخزّن يُعاد عرضه على النموذج، لا النموذج وهو يتذكرك
- حين تهمك الدقة في أحداث حديثة، استخدم أداة تذكر مصادرها، وتحقق من تلك المصادر