التكامل المستمر للتعليمات والوكلاء
التعليمات كود
سلوك نظام الذكاء الاصطناعي تحدده تعليماته (Prompts) وأوصاف أدواته ومعايير التقييم (Rubric) بقدر ما يحدده كوده، ومع ذلك تعيش هذه العناصر عادةً خارج كل الضوابط الهندسية — تُعدَّل في لوحة تحكم، وتُخزَّن في صف بقاعدة بيانات، وتتغير بلا مراجعة. أدخلها تحت السيطرة. مكان التعليمات هو نظام التحكم بالإصدارات مع فروق ذات معنى، ومراجعة كود من شخص غير كاتبها، ومسار نشر قابل للتدقيق والتراجع. وأوصاف الأدوات تستحق اهتمامًا خاصًا لأنها تعليمات موجّهة إلى النموذج تشكّل سلوكه بقوة، وعادةً تُكتب مرة واحدة ولا تُراجَع أبدًا. والاختبار بسيط ويستحق أن يُطبَّق بصدق: هل تستطيع أن تحدد، لأي مخرج أنتجه نظامك يوم الثلاثاء الماضي، أي إصدار بالضبط من التعليمات ومخطط الأداة والنموذج ومعايير التقييم كان مستخدمًا؟ إن لم تستطع، فلا يمكن إعادة إنتاج تقييماتك ولا التحقيق في حوادثك.
- أدِر إصدارات التعليمات ومخططات الأدوات ومعايير التقييم وكود التصحيح مع كود التطبيق
- راجع فروق التعليمات كما تراجع فروق الكود؛ فالتعديلات الصغيرة لها آثار سلوكية بعيدة
- التعليمات المعدّلة من لوحة التحكم تكسر قابلية إعادة الإنتاج وتحليل ما بعد الحوادث
طبقتان وميزانية
تشغيلات التقييم (Eval) تكلّف مالًا ووقتًا، وهذا يجعل التقسيم إلى طبقات متطلبًا تصميميًا لا تحسينًا اختياريًا. الطبقة السابقة للدمج مجموعة فرعية صغيرة وسريعة وحتمية في معظمها — بضع دقائق، وتشغيل واحد لكل حالة، وتركيز على التقاط الأعطال الفادحة والتراجعات المحددة التي قد يسببها هذا التغيير على نحو معقول. والطبقة الليلية أو السابقة للإصدار هي المجموعة الكاملة: كل حالة، وعدة تشغيلات لكل منها، بما فيها تقييم النموذج كحَكَم (LLM-as-judge)، وتُتتبَّع النتائج كاتجاه. ضع سقف تكلفة صريحًا لتقييمات التكامل المستمر وراقبه، لأن استدعاءات الحَكَم مضروبة في عدد الحالات مضروبة في عدد التشغيلات مضروبة في عدد طلبات الدمج تنمو أسرع مما يتوقع أي أحد. استخدم التخزين المؤقت بكثافة حيث لا تتغير المدخلات والإصدارات، واجعل تكلفة التشغيل الكامل مرئية لكي تكون المقايضة بين التغطية والإنفاق قرارًا لا مصادفة.
- مجموعة فرعية سريعة وحتمية قبل الدمج؛ ومجموعة إحصائية كاملة ليلًا
- الحالات × التشغيلات × الحكّام × طلبات الدمج — احسب التكلفة قبل أن تفاجئك
- خزّن النتائج مؤقتًا بمفتاح يجمع المدخل وإصدار التعليمات وإصدار النموذج
- اجعل الإنفاق على التقييم بندًا ظاهرًا كي تكون قرارات التغطية مقصودة
بيئات محكمة العزل لتقييم الوكلاء
تقييمات الوكلاء اختبارات تكامل مقابل عالم ما، لذا يجب التحكم في ذلك العالم وإلا فلا معنى للنتائج. كل تشغيل يحتاج إلى حالة بداية معروفة وإعادة ضبط كاملة بعده، لأن تسرّب الحالة بين التشغيلات ينتج إخفاقات تعتمد على ترتيب التنفيذ — وهي أصعب فئة من أخطاء التقييم تشخيصًا. قرّر عن قصد بين الاعتماديات المحاكاة والحية: المحاكاة (Mocks) سريعة وحتمية ومجانية، لكنها ترمّز افتراضاتك عن سلوك النظام الخارجي، والوكلاء يفشلون في التشغيل الفعلي تحديدًا حيث تكون تلك الافتراضات خاطئة. والتفاعلات المسجّلة التي يُعاد تشغيلها حل وسط قوي. واحتفظ بطبقة تكامل حية صغيرة تعمل بوتيرة أقل على أنظمة حقيقية داخل حساب في بيئة معزولة، لأن التباعد بين محاكاتك والواقع هو نفسه نمط فشل يستحق القياس.
- حالة بداية معروفة وتفكيك مضمون، وإلا اعتمدت نتائجك على ترتيب التشغيل
- المحاكاة ترمّز الافتراضات؛ والتسجيل وإعادة التشغيل يحفظان الواقعية دون تذبذب
- احتفظ بطبقة حية أصغر على أنظمة حقيقية في بيئة معزولة لالتقاط انحراف المحاكاة
- لا توجّه تقييمات الوكلاء أبدًا إلى أنظمة التشغيل الفعلي أو حسابات عملاء حقيقيين
سياسة البوابات
تحديد ما يمنع الدمج مسألة سياسة تستحق إجابة صريحة لا قيمة افتراضية. البوابات الصارمة مكانها الأمور الواضحة وذات العواقب: معايير السلامة، وصلاحية المخطط، وحد أدنى للشريحة الحرجة، وأي حالة تحمي من حادثة سابقة. أما الإشارات اللينة — تحرك إجمالي صغير، أو تذبذب في درجة الحَكَم ضمن نطاق ضوضائه — فينبغي أن تُعرض في طلب الدمج دون أن تمنعه، لأن البوابات التي تنطلق بسبب الضوضاء تُعطَّل خلال شهر، وبعدها لا يبقى شيء محميًا ببوابة على الإطلاق. انشر الفروق حيث يوجد المراجع أصلًا: أي الحالات انقلبت وفي أي اتجاه، مع روابط إلى الآثار، كي يحكم إنسان إن كان التراجع مقبولًا. واكتب من يستطيع تجاوز البوابة وما الذي يجب أن يسجّله حين يفعل.
- بوابة صارمة: السلامة، وصلاحية المخطط، والحدود الدنيا للشرائح الحرجة، وحالات الانحدار المرتبطة بالحوادث
- للعرض فقط: التذبذب الإجمالي داخل نطاق الضوضاء — فالبوابة على الضوضاء تقتل البوابة
- انشر الحالات المنقلبة مع روابط الآثار في طلب الدمج؛ واجعل الفروق مقروءة
- حدّد مسار التجاوز صراحةً، بما في ذلك ما يجب تسجيله