التكلفة وزمن الاستجابة كمتطلبات
اكتب الأرقام قبل أن تبني
التكلفة لكل مهمة ناجحة وزمن الاستجابة (Latency) في الأطراف القصوى متطلبات وظيفية للوكيل، لا تقارير تُنتجها لاحقًا، لأنها تحدّد المعمارية لا تصفها. ميزة تفاعلية لا تحتمل إلا ثوانيَ قليلة لا تتسع لحلقة متسلسلة من عشر خطوات، واكتشاف ذلك بعد بنائها يعني إعادة البناء. اشتقّ الأرقام من البديل: كم تكلّف المهمة حين يؤديها شخص، وكم سينتظر المستخدم أو الطابور فعلًا. ثم وزّع الميزانية على الحلقة — كم خطوة، وما حجم السياق في كل خطوة، وأي الخطوات يجوز لها استخدام نموذج أكبر — بحيث يدور نقاش التصميم حول ميزانية تخصّصها لا فاتورة تتلقاها. وتابع التكلفة لكل مهمة ناجحة لا لكل تشغيل، لأن التشغيلات الفاشلة والمعادة جزء مما يكلّفه النجاح.
- التكلفة لكل نجاح وزمن الاستجابة في الأطراف متطلبات تحدّد المعمارية
- اشتقّها من البديل البشري ومن قدرة الانتظار الحقيقية
- وزّع الميزانية على الخطوات وحجم السياق وفئة النموذج
- قِس لكل مهمة ناجحة؛ الإخفاقات وإعادات المحاولة جزء من ثمن النجاح
أين يذهب المال فعلًا
اقتصاديات الوكلاء تهيمن عليها رموز (Tokens) المدخلات لا المخرجات، لأن كل خطوة تعيد إرسال السياق المتراكم، فتنمو تكلفة التشغيل تقريبًا مع مربّع طوله في الحالة الساذجة. تترتب على ذلك ثلاث نتائج. انضباط السياق هو أقوى رافعة لخفض التكلفة متاحة، متقدّمًا بفارق كبير على اختيار النموذج. والتخزين المؤقت للتعليمات (Prompt caching) مهم هنا بشكل غير متناسب، لأن البادئة المعاد إرسالها هي بالضبط الجزء القابل للتخزين المؤقت. وذيل توزيع الخطوات يهيمن على الفاتورة — نسبة صغيرة من التشغيلات الطويلة المرتبكة تستحوذ كثيرًا على حصة كبيرة من الإنفاق، ولهذا فسقف الخطوات أداة لضبط التكلفة لا للأمان فقط. راقب التكلفة لكل خطوة ولكل أداة، لا لكل تشغيل فقط، لأن هذا ما يخبرك ما إذا كانت نتيجة أداة واحدة مسهبة تموّل بصمت مشكلة التكلفة كلها.
- رموز المدخلات تهيمن: كل خطوة تعيد إرسال السجل، فتنمو التكلفة أسرع من النمو الخطي
- انضباط السياق يتقدّم على اختيار النموذج كرافعة للتكلفة
- ذيل صغير من التشغيلات الطويلة المرتبكة يقود عادةً حصة كبيرة من الإنفاق
- وزّع التكلفة على كل خطوة وكل أداة، وإلا بقيت نتيجة الأداة المسهبة غير مرئية
زمن الاستجابة مسألة بنيوية
زمن الاستجابة الكلي هو تقريبًا عدد الخطوات المتسلسلة مضروبًا في زمن كل خطوة، ما يعني أن المكاسب الكبيرة الوحيدة بنيوية. قلّل الخطوات المتسلسلة بإعطاء النموذج أدوات بالدرجة المناسبة من التفصيل، بحيث يؤدي استدعاء واحد ما كانت تؤديه ثلاثة. ونفّذ استدعاءات الأدوات المستقلة على التوازي داخل الخطوة، وهذا يتطلب أدوات مصمّمة لتعمل بأمان بالتزامن وحلقة ترسلها معًا. واستخدم نموذجًا أصغر للخطوات الآلية التي لا تتطلب إلا قدرًا ضئيلًا من التقدير، واحتفظ بالنموذج الأكبر للقرارات التي تحتاجه فعلًا. وأدِر الإحساس بالانتظار حيث لا تستطيع إدارة مدته: بثّ التقدّم المرحلي يغيّر تجربة الانتظار كثيرًا في الميزات التفاعلية، أما في العمل الخلفي فحالة صادقة وإشعار يساويان عادةً أكثر من اختصار بضع ثوانٍ. حسّن عدد الخطوات أولًا؛ فضبط كل استدعاء على حدة نادرًا ما يحرّك تشغيلًا متعدد الخطوات بما يكفي ليُحدث فرقًا.
- زمن الاستجابة = الخطوات المتسلسلة × زمن كل خطوة — هاجم عدد الخطوات أولًا
- الأدوات بالحجم المناسب تُزيل خطوات؛ والإرسال المتوازي يُزيل الانتظار داخل الخطوة
- وجّه الخطوات الآلية إلى نموذج أصغر واحتفظ بالأكبر للقرارات
- بثّ التقدّم في العمل التفاعلي؛ وحالة وإشعار في العمل الخلفي