التكلفة وزمن الاستجابة كمقاييس أساسية
قِس لكل مهمة لا لكل استدعاء
تسعير الرموز لكل استدعاء هو الوحدة الخاطئة للتفكير في نظام ذكاء اصطناعي، لأن المستخدمين لا يشترون استدعاءات — بل ينجزون مهام. الرقم ذو المعنى هو التكلفة الإجمالية لإنجاز مهمة حقيقية واحدة بنجاح، بما في ذلك إعادات المحاولة، والمحاولات الفاشلة، واستدعاءات الحَكَم داخل الحلقة، وكل خطوة في مسار الوكيل. والوكلاء يضخّمون هذا الفرق كثيرًا: فالحلقة تعيد إرسال سياقها المتنامي في كل دورة، لذا قد تكون المهمة التي تبدو رخيصة لكل استدعاء مكلفة لكل إنجاز، والنموذج الأرخص الذي يحتاج إلى خطوات أو إعادات محاولة أكثر قد يكلّف إجمالًا أكثر من النموذج الغالي. اعرض التكلفة لكل مهمة ناجحة إلى جانب الجودة في كل تشغيل تقييم (Eval)، وسيتوقف نقاش اختيار النموذج عن أن يدور حول أسعار القوائم ويبدأ بالدوران حول الاقتصاديات.
- التكلفة لكل مهمة ناجحة، بما فيها إعادات المحاولة والإخفاقات — لا التكلفة لكل استدعاء
- حلقات الوكلاء تعيد إرسال السياق في كل خطوة؛ والحدس المبني على الاستدعاء الواحد ينهار
- النموذج الأرخص الذي يحتاج إلى خطوات أكثر ليس أرخص
- المحاولات الفاشلة جزء من تكلفة النجاحات
زمن الاستجابة توزيع لا متوسط
متوسط زمن الاستجابة (Latency) يصف تجربة لا يعيشها أحد. اعرض التوزيع، وانتبه إلى الذيل، لأن الذيل هو المهيمن في الوكيل متعدد الخطوات: التشغيل الذي يضم دزينة خطوات متتابعة يرث الذيل البطيء لكل خطوة منها، واحتمال أن تكون خطوة واحدة على الأقل بطيئة يرتفع بسرعة مع عدد الخطوات. والزمن حتى أول رمز مقياس مختلف عن الزمن حتى الاكتمال، وهو أهم للإحساس بالاستجابة في المنتجات التفاعلية، بينما في الأتمتة الخلفية لا يهم إلا زمن الاكتمال، فيتغير التحسين كله. وزمن الاستجابة أيضًا قيد معماري لا فكرة لاحقة — فهو ما يدفعك نحو استدعاءات الأدوات المتوازية، وبث التقدم، والنماذج الأصغر للخطوات الروتينية، والعمل الاستباقي الذي يُتخلَّص منه إن لم تكن له حاجة.
- اعرض p50 وp95 وp99 — فزمن الذيل هو ما يتذكره المستخدمون
- الوكلاء متعددو الخطوات يراكمون مخاطر الذيل مع كل خطوة متتابعة
- الزمن حتى أول رمز والزمن حتى الاكتمال منتجان مختلفان لتصميمين مختلفين
- ميزانيات زمن الاستجابة تقود المعمارية: التوازي، والتوجيه، والبث، والنماذج الأصغر
المنحنى الحدّي للجودة والتكلفة
الجودة والتكلفة وزمن الاستجابة تتقايض فيما بينها، والتظاهر بغير ذلك يؤدي إلى أنظمة ممتازة لا يمكن تحمّل تكلفتها. قيّم الإعدادات كنقاط على منحنى حدّي بدل ترتيبها حسب الجودة وحدها: لكل مرشّح — النموذج، واستراتيجية التعليمات، وعدد خطوات الاستدلال، وعمق الاسترجاع، واستخدام الحَكَم — ارسم الجودة مقابل التكلفة لكل مهمة ناجحة واختر عن وعي. والنتائج كثيرًا ما تخالف الحدس، لأن الجودة غالبًا تستوي قبل أن تستوي التكلفة بكثير، والإعداد المتأخر بنقطتين عن الأفضل قد يكلّف جزءًا يسيرًا منه. والتوجيه يستغل هذا مباشرة: أرسل المدخلات السهلة إلى نموذج صغير، وصعّد الصعبة، وقيّم النظام الموجَّه من طرفه إلى طرفه. لكن قيّم النظام بأكمله، لأن الموجّه الذي يخطئ في تصنيف الصعوبة قد يكون أسوأ وأغلى من كلا النموذجين منفردين.
- ارسم الجودة مقابل التكلفة لكل مهمة ناجحة؛ واختر نقطة عن قصد
- الجودة تستوي عادةً قبل التكلفة — فالإعداد الأعلى نادرًا ما يفوز من حيث القيمة
- التسلسلات والتوجيه تستغل المنحنى الحدّي؛ قيّم النظام الموجَّه من طرفه إلى طرفه
- ترتيب التعليمات بما يلائم التخزين المؤقت للتعليمات رافعة تكلفة حقيقية في حلقات الوكلاء
ارتفاع التكلفة تراجع أيضًا
تضع الفرق بوابات على الجودة وتترك التكلفة وزمن الاستجابة ينجرفان، وهكذا يصبح النظام بهدوء أغلى بمرتين خلال ربعين دون تغيير واحد يمكن لومه. ضع التكلفة وزمن الاستجابة في التقرير نفسه مع الجودة، بالطبقات نفسها والتنبيهات نفسها، وتعامل مع أي زيادة كبيرة كتراجع يتطلب تبريرًا حتى لو تحسنت الجودة. والمتسببون المعتادون تراكميون ومعقولون كلٌّ على حدة: تعليمات نظام أطول، وجزء مسترجع إضافي، واستدعاء حَكَم إضافي، وسياسة إعادة محاولة صارت أكثر سخاءً، ورمز يُبطل التخزين المؤقت أُضيف في بداية التعليمات. كل منها قابل للدفاع عنه منفردًا، أما المجموع فلا. مراجعة فروق التكلفة مع كل تغيير عادة تستغرق خمس دقائق وتمنع مفاجأة مكلفة يصعب التراجع عنها.
- اعرض التكلفة وزمن الاستجابة بجانب الجودة في كل تشغيل، بالبوابات نفسها
- زحف التكلفة تراكمي ومعقول في كل خطوة منفردة — راجع الفروق مع كل تغيير
- انتبه للتعديلات التي تبطل التخزين المؤقت في بداية التعليمات؛ فأثرها يتضاعف عبر خطوات الوكيل
- مكسب الجودة الذي يضاعف التكلفة ثلاث مرات قرار مقايضة، لا إطلاق تلقائي