مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

التكامل المستمر للتعليمات والوكلاء

⁧التكامل المستمر للتعليمات والأدوات والوكلاء⁩⁧يصل تغيير، تعمل المجموعة بمعزل تام، تُقارن النتائج بخط الأساس، وتقرّر البوابة⁩⁧نص التعليمات⁩⁧تغيير الصياغة هو⁩⁧تغيير في السلوك.⁩⁧تعريف الأداة⁩⁧أداة جديدة، مخطط جديد، أو⁩⁧وصف جديد.⁩⁧إصدار النموذج⁩⁧إصدار مثبّت تغيّر،⁩⁧أو أطلق المزوّد تحديثًا.⁩⁧إعدادات الاسترجاع⁩⁧التقطيع، محتوى الفهرس،⁩⁧top-k، أو مُعيد الترتيب.⁩⁧أيٌّ منها يغيّر السلوك، لذا أيٌّ منها يطلق التشغيل نفسه⁩⁧تشغيل معزول — بلا عالم خارجي⁩⁧المدخلات نفسها والبيانات الثابتة نفسها والإصدارات نفسها — فأي فرق في⁩⁧المخرجات يعني فرقًا في النظام، لا في الظروف.⁩⁧محاكاة الاستدعاءات الخارجية⁩⁧استدعاءات الأدوات تصل إلى بيانات مسجّلة، لا خدمات حية.⁩⁧تثبيت البيئة⁩⁧إصدار النموذج وإعدادات التوليد والبذور كلها ثابتة.⁩⁧إعادة التشغيل يجب أن تتطابق⁩⁧نظام لم يتغيّر ونتيجته تختلف هو نظام معطوب.⁩⁧المقارنة بخط الأساس المحفوظ⁩⁧الشريط = هذا التشغيل · العلامة = خط الأساس · كل مجموعة تُقارن، لا المتوسط⁩⁧مجموعة الاستناد⁩⁧كما هو⁩⁧حدود الرفض⁩⁧أفضل⁩⁧اختيار الأداة⁩⁧تراجع⁩⁧التعافي عبر عدة أدوار⁩⁧كما هو⁩⁧التعليمات كود — تُدار إصداراتها وتُراجع وتُقارن، ولا تُعدَّل مباشرة في التشغيل الفعلي⁩⁧البوابة — ماذا يحدث للدمج فعلًا⁩⁧لا تراجع ← دمج⁩⁧كل مجموعة عند خط الأساس⁩⁧أو فوقه، فيُدمج مع⁩⁧إرفاق التشغيل بالـPR.⁩⁧تراجع ← منع⁩⁧تراجعت مجموعة. يتوقّف⁩⁧الدمج حتى يُصلَح الخلل أو⁩⁧تتم الموافقة صراحةً.⁩⁧تغيير مقصود ← خط أساس جديد⁩⁧السلوك الجديد هو⁩⁧المطلوب، فينتقل خط⁩⁧الأساس — في commit مُراجَع.⁩⁧البوابة التي لا تمنع شيئًا ليست بوابة — بل تقرير لا يقرؤه أحد⁩⁧دون مجموعة معزولة وخط أساس محفوظ، «يبدو أفضل» هو دليلك الوحيد⁩⁧محاكاة العناصر الخارجية تجعل التشغيلين قابلين للمقارنة — والاعتماد الحي يحوّل المجموعة إلى ضجيج⁩
⁧انضباط هندسة البرمجيات المعتاد — الجديد فقط أن ما يُختبر هو التعليمات⁩

التعليمات كود

سلوك نظام الذكاء الاصطناعي تحدده تعليماته (Prompts) وأوصاف أدواته ومعايير التقييم (Rubric) بقدر ما يحدده كوده، ومع ذلك تعيش هذه العناصر عادةً خارج كل الضوابط الهندسية — تُعدَّل في لوحة تحكم، وتُخزَّن في صف بقاعدة بيانات، وتتغير بلا مراجعة. أدخلها تحت السيطرة. مكان التعليمات هو نظام التحكم بالإصدارات مع فروق ذات معنى، ومراجعة كود من شخص غير كاتبها، ومسار نشر قابل للتدقيق والتراجع. وأوصاف الأدوات تستحق اهتمامًا خاصًا لأنها تعليمات موجّهة إلى النموذج تشكّل سلوكه بقوة، وعادةً تُكتب مرة واحدة ولا تُراجَع أبدًا. والاختبار بسيط ويستحق أن يُطبَّق بصدق: هل تستطيع أن تحدد، لأي مخرج أنتجه نظامك يوم الثلاثاء الماضي، أي إصدار بالضبط من التعليمات ومخطط الأداة والنموذج ومعايير التقييم كان مستخدمًا؟ إن لم تستطع، فلا يمكن إعادة إنتاج تقييماتك ولا التحقيق في حوادثك.

  • أدِر إصدارات التعليمات ومخططات الأدوات ومعايير التقييم وكود التصحيح مع كود التطبيق
  • راجع فروق التعليمات كما تراجع فروق الكود؛ فالتعديلات الصغيرة لها آثار سلوكية بعيدة
  • التعليمات المعدّلة من لوحة التحكم تكسر قابلية إعادة الإنتاج وتحليل ما بعد الحوادث

طبقتان وميزانية

تشغيلات التقييم (Eval) تكلّف مالًا ووقتًا، وهذا يجعل التقسيم إلى طبقات متطلبًا تصميميًا لا تحسينًا اختياريًا. الطبقة السابقة للدمج مجموعة فرعية صغيرة وسريعة وحتمية في معظمها — بضع دقائق، وتشغيل واحد لكل حالة، وتركيز على التقاط الأعطال الفادحة والتراجعات المحددة التي قد يسببها هذا التغيير على نحو معقول. والطبقة الليلية أو السابقة للإصدار هي المجموعة الكاملة: كل حالة، وعدة تشغيلات لكل منها، بما فيها تقييم النموذج كحَكَم (LLM-as-judge)، وتُتتبَّع النتائج كاتجاه. ضع سقف تكلفة صريحًا لتقييمات التكامل المستمر وراقبه، لأن استدعاءات الحَكَم مضروبة في عدد الحالات مضروبة في عدد التشغيلات مضروبة في عدد طلبات الدمج تنمو أسرع مما يتوقع أي أحد. استخدم التخزين المؤقت بكثافة حيث لا تتغير المدخلات والإصدارات، واجعل تكلفة التشغيل الكامل مرئية لكي تكون المقايضة بين التغطية والإنفاق قرارًا لا مصادفة.

  • مجموعة فرعية سريعة وحتمية قبل الدمج؛ ومجموعة إحصائية كاملة ليلًا
  • الحالات × التشغيلات × الحكّام × طلبات الدمج — احسب التكلفة قبل أن تفاجئك
  • خزّن النتائج مؤقتًا بمفتاح يجمع المدخل وإصدار التعليمات وإصدار النموذج
  • اجعل الإنفاق على التقييم بندًا ظاهرًا كي تكون قرارات التغطية مقصودة

بيئات محكمة العزل لتقييم الوكلاء

تقييمات الوكلاء اختبارات تكامل مقابل عالم ما، لذا يجب التحكم في ذلك العالم وإلا فلا معنى للنتائج. كل تشغيل يحتاج إلى حالة بداية معروفة وإعادة ضبط كاملة بعده، لأن تسرّب الحالة بين التشغيلات ينتج إخفاقات تعتمد على ترتيب التنفيذ — وهي أصعب فئة من أخطاء التقييم تشخيصًا. قرّر عن قصد بين الاعتماديات المحاكاة والحية: المحاكاة (Mocks) سريعة وحتمية ومجانية، لكنها ترمّز افتراضاتك عن سلوك النظام الخارجي، والوكلاء يفشلون في التشغيل الفعلي تحديدًا حيث تكون تلك الافتراضات خاطئة. والتفاعلات المسجّلة التي يُعاد تشغيلها حل وسط قوي. واحتفظ بطبقة تكامل حية صغيرة تعمل بوتيرة أقل على أنظمة حقيقية داخل حساب في بيئة معزولة، لأن التباعد بين محاكاتك والواقع هو نفسه نمط فشل يستحق القياس.

  • حالة بداية معروفة وتفكيك مضمون، وإلا اعتمدت نتائجك على ترتيب التشغيل
  • المحاكاة ترمّز الافتراضات؛ والتسجيل وإعادة التشغيل يحفظان الواقعية دون تذبذب
  • احتفظ بطبقة حية أصغر على أنظمة حقيقية في بيئة معزولة لالتقاط انحراف المحاكاة
  • لا توجّه تقييمات الوكلاء أبدًا إلى أنظمة التشغيل الفعلي أو حسابات عملاء حقيقيين

سياسة البوابات

تحديد ما يمنع الدمج مسألة سياسة تستحق إجابة صريحة لا قيمة افتراضية. البوابات الصارمة مكانها الأمور الواضحة وذات العواقب: معايير السلامة، وصلاحية المخطط، وحد أدنى للشريحة الحرجة، وأي حالة تحمي من حادثة سابقة. أما الإشارات اللينة — تحرك إجمالي صغير، أو تذبذب في درجة الحَكَم ضمن نطاق ضوضائه — فينبغي أن تُعرض في طلب الدمج دون أن تمنعه، لأن البوابات التي تنطلق بسبب الضوضاء تُعطَّل خلال شهر، وبعدها لا يبقى شيء محميًا ببوابة على الإطلاق. انشر الفروق حيث يوجد المراجع أصلًا: أي الحالات انقلبت وفي أي اتجاه، مع روابط إلى الآثار، كي يحكم إنسان إن كان التراجع مقبولًا. واكتب من يستطيع تجاوز البوابة وما الذي يجب أن يسجّله حين يفعل.

  • بوابة صارمة: السلامة، وصلاحية المخطط، والحدود الدنيا للشرائح الحرجة، وحالات الانحدار المرتبطة بالحوادث
  • للعرض فقط: التذبذب الإجمالي داخل نطاق الضوضاء — فالبوابة على الضوضاء تقتل البوابة
  • انشر الحالات المنقلبة مع روابط الآثار في طلب الدمج؛ واجعل الفروق مقروءة
  • حدّد مسار التجاوز صراحةً، بما في ذلك ما يجب تسجيله