تصميم يراعي التخزين المؤقت وما يحرّك الجودة فعلًا
بادئة ثابتة ولاحقة متغيّرة
يستطيع مزوّدو النماذج إعادة استخدام الحساب لبادئة تعليمات تطابق تمامًا طلبًا سابقًا، بخصم كبير وتوفير حقيقي في زمن الاستجابة (Latency). في تطبيق ذي طلب واحد، هذا تحسين لطيف. أما في حلقة الوكيل (Agent loop) فهو رافعة تكلفة بنيوية، لأن الحلقة تعيد إرسال البادئة نفسها في كل خطوة من كل تشغيل، فيختلف التصميم الذي يحافظ على البادئة عن الذي يكسرها بمضاعفات كبيرة في التكلفة وفي الزمن حتى أول رمز معًا. والقاعدة تنتج عن ذلك مباشرة: المحتوى الثابت أولًا، بترتيب ثابت، وكل ما هو متغيّر يُلحق بعده. تعليمات النظام وتعريفات الأدوات والمواد المرجعية الدائمة تشكّل البادئة. والمحادثة والملاحظات والمواد المسترجعة حديثًا تأتي بعدها. صمّم البنية على هذا الأساس من البداية، لأن تعديلها لاحقًا يعني نقل محتوى صارت أجزاء أخرى من النظام تعتمد على موضعه.
- إعادة استخدام البادئة تتضاعف عبر كل خطوة من كل تشغيل، بخلاف الاستخدام بطلب واحد
- بادئة ثابتة مرتّبة: التعليمات، وتعريفات الأدوات، والمراجع الدائمة
- لاحقة متغيّرة: الجولات، والملاحظات، والاسترجاع الحديث
- يؤثر ذلك في زمن الاستجابة كما في التكلفة، وهذا مهم لأي شيء تفاعلي
ما يكسر البادئة، عن غير قصد عادةً
إبطال البادئة يكون غير مقصود في الغالب الأعم، ويقع مبكرًا في التعليمات في الغالب الأعم. طابع زمني أو معرّف جلسة مُدرج في تعليمات النظام يُبطل كل ما بعده في كل استدعاء. وقائمة أدوات تُجمَّع بالمرور على مجموعة غير مرتّبة تنتج ترتيبًا مختلفًا في كل عملية تشغيل، فيخطئ التخزين المؤقت (Cache) عبر النسخ المختلفة بينما يبدو كل شيء سليمًا محليًا. وتفضيلات كل مستخدم المحقونة في الأعلى بدل وضعها بعد البادئة المشتركة تجزّئ التخزين المؤقت عبر قاعدة مستخدميك. والمستندات المسترجعة الموضوعة قبل تعريفات الأدوات تدفع المحتوى المتغيّر إلى المنطقة الثابتة. لا يظهر أي من ذلك في جودة المخرجات، ولهذا يستمر. اجعل معدّل الإصابة في التخزين المؤقت مؤشرًا مراقَبًا له مسؤول، وراجعه بعد أي تغيير في التعليمات، وتعامل مع أي هبوط مفاجئ فيه كما تتعامل مع تراجع في زمن الاستجابة.
- طابع زمني في تعليمات النظام يُبطل كل ما بعده، في كل استدعاء
- تسجيل الأدوات دون ترتيب يختلف بصمت بين العمليات ويُخطئ التخزين المؤقت عبر النسخ
- المحتوى الخاص بكل مستخدم في الأعلى يجزّئ التخزين المؤقت عبر قاعدة مستخدميك كلها
- راقب معدّل الإصابة في التخزين المؤقت وراجعه بعد كل تغيير في التعليمات
جودة السياق تتفوّق على اختيار النموذج أكثر مما يُتوقع
النتيجة المتكررة، التي أبلغت عنها فرق مستقلة بما يكفي لتُعامل كفرضية افتراضية، هي أن الوكلاء الذين يبدو أن أداءهم ضعيف لأسباب تتعلق بالاستدلال يكون ضعفهم عادةً لأسباب تتعلق بالسياق. الحقيقة الحاسمة كانت موجودة لكنها وُضعت حيث يضعف الانتباه. ووصف الأداة كان غامضًا فاختيرت الأداة الخاطئة وحُكم على المسار بالفشل منذ الخطوة الثانية. وقيدٌ أطاح به الضغط. ونتائج متقادمة زاحمت الملاحظة المهمة. ورد الفعل المعتاد حين تخيب الجودة هو ترقية النموذج، وهي مكلفة وبطيئة التقييم، وكثيرًا ما تنتج تحسنًا متواضعًا يُخفي العيب الحقيقي. شخّص أولًا، وشخّص بدقة: اقرأ السياق المجمَّع في الخطوة التي انحرف فيها التشغيل واسأل هل كان شخص متأنٍّ لا يملك إلا ذلك السياق سيرتكب الخطأ نفسه. وكثيرًا جدًا ما يكون الجواب نعم.
- اعتبر فشل السياق الفرضية الافتراضية قبل فشل الاستدلال
- اقرأ السياق المجمَّع في الخطوة التي انحرفت فيها الأمور، لا التتبّع كله
- اسأل هل كان شخص متأنٍّ لا يملك إلا ذلك السياق سيخطئ بالطريقة نفسها
- ترقيات النموذج كثيرًا ما تنتج تحسنًا صغيرًا يُخفي العيب الحقيقي
كيف ينطبق هذا عليّ؟
ما يُعرض على نظام الذكاء الاصطناعي (AI) في لحظة اتخاذ القرار أهم من النموذج الذي يقف خلفه. معظم سلوك الذكاء الاصطناعي المخيّب للآمال سببه أن النظام يسلّم النموذج المواد الخاطئة، لا أن النموذج عاجز.
- المحادثات الطويلة تتراجع لأن الجزء المهم صار مدفونًا، لا لأن النموذج ساء
- إعادة ذكر القيد الأساسي في أواخر محادثة طويلة تساعد فعلًا
- النموذج الأفضل نادرًا ما يصلح نظامًا يعرض عليه المعلومات الخاطئة
تجميع السياق هو حيث تُتخذ قرارات كثيرة تخص الجودة وقرارات كثيرة تخص التعرّض للمخاطر، وقلّة من الفرق تستطيع أن تريك طريقتها فيه. طلب رؤية السياق المجمَّع لخطوة محددة يميّز المنتجات التي هُندست عن المنتجات التي تراكمت.
- اسأل هل يستطيع الفريق طباعة السياق المجمَّع الدقيق لخطوة مخزّنة
- تحديد المحتوى الخارجي نظافة تشغيلية؛ والحد الأمني يجب أن يكون بنيويًا في مكان آخر
- كتابات الذاكرة تحتاج مصدرًا وسببًا، وإلا تعذّر تتبّع التلوّث أو التراجع عنه
- يجب أن تكون الذكريات المحقونة ظاهرة في التتبّع كي يُنسب أي فعل إلى ما أثّر فيه
اكتب دالة التجميع مبكرًا وحافظ على نقائها. حصص الأقسام، وتسجيل حصة الرموز لكل خطوة، وبادئة التخزين المؤقت الثابتة، كلها رخيصة في اليوم الأول ومؤلمة حقًا عند إضافتها لاحقًا بعد أن يعتمد كود آخر على البنية الحالية.
- التجميع دالة نقية لحالة التشغيل، مختبَرة باختبارات الوحدة ومُدارة بالإصدارات مع التعليمات
- سجّل الحصة الفعلية من الرموز لكل قسم في كل خطوة وراقب تعريفات الأدوات
- أعِد ذكر القيود الصارمة في الذيل، مولّدة من الحالة لا منسوخة نصًا
- راقب معدّل الإصابة في التخزين المؤقت كمؤشر أساسي واجعل تغييرات التعليمات مشروطة به
حين تقصر تجربة أولية (Pilot) لدى عميل عن التوقعات، يكون الطلب التالي عادةً نموذجًا أكبر. قراءة السياق المجمَّع في الخطوة الفاشلة أسرع وأرخص، وتحسم المسألة في أغلب الأحيان، وتعيد تأطير البرنامج حول شيء يستطيع العميل امتلاكه فعلًا.
- شخّص السياق قبل تأييد ترقية النموذج — فهو التجربة الأرخص
- اعرض الحصة الفعلية من الرموز حسب القسم؛ وتعريفات الأدوات تثبت الحجة عنك عادةً
- أدرج التصميم المراعي للتخزين المؤقت في معيار التصميم، فهو رافعة تكلفة يحتفظ بها العملاء
- اختبار الضغط مُخرَج ملموس تملكه فرق قليلة ويحتاجه كل وكيل يعمل لفترات طويلة