مجموعات اختبار الانحدار التي تصمد أمام ترقيات النماذج
تحقّق من النتائج لا من الصياغة
تثبت مجموعة اختبار الانحدار (Regression suite) قيمتها ببقائها صالحة عبر تغييرات النموذج، وأكبر تهديد لذلك هو التحققات المرتبطة بالشكل السطحي. فالتحقق من التطابق التام مع فقرة مرجعية، أو من ترتيب متوقع لعناصر قائمة، أو من صياغات محددة في شرح ما — كلها تفشل مع نموذج جديد يتصرف على نحو سليم تمامًا، فتولّد سيلًا من التراجعات الزائفة في اللحظة نفسها التي تحتاج فيها إلى قراءة الفروق بعناية. والانضباط المطلوب هو التحقق من الخصائص التي تعرّف الصحة لا أكثر: الحقائق المطلوبة موجودة، والمخطط صالح، والرقم المحسوب مطابق، والملف يُترجَم، والأداة الصحيحة استُدعيت بمعاملات صالحة، والفعل المحظور لم يقع قط. اكتب أدوات التصحيح كأن الصياغة ستتغير في كل تشغيل، لأنها ستتغير في النهاية.
- تحقّق من المحتوى المطلوب والبنية والشروط اللاحقة — لا من النص الحرفي أبدًا
- التحققات المرتبطة بالسطح تنتج تراجعات زائفة تحديدًا حين يكون الوضوح أهم ما يكون
- فضّل الشروط اللاحقة على حالة العالم على فحص النص الذي يصفها
افصل العقد عن الضبط
تتراكم في التعليمات تعديلات خاصة بالنموذج — صياغات التفّت على غرائب عائلة نماذج بعينها، وحيل تنسيق، وأمثلة توضيحية اختيرت لعادات أداة تقسيم إلى رموز (Tokenizer) معيّنة. هذه هندسة مشروعة، لكنها تتحول أيضًا إلى دَين عند الانتقال، لأنه لا يمكن تمييزها عن السلوك الأساسي حين يصبح كل شيء كتلة نصية واحدة. نظّم التعليمات بحيث يكون الجزآن منفصلين بوضوح: العقد — تعريف المهمة، ومخطط المخرجات المطلوب، والقيود الصارمة، وقواعد المجال — بمعزل عن الطبقة الخاصة بالنموذج من صياغات وأمثلة. يجب أن تختبر مجموعتك العقد. وحين تقيّم نموذجًا جديدًا، تعيد ضبط الطبقة الخاصة بالنموذج وتثبّت العقد، فتتحول إعادة الكتابة إلى مجرد تبديل، ويتضح إن كان الفشل فجوة حقيقية في القدرة أم أثرًا جانبيًا لضبط موجّه إلى نموذج آخر.
- أبقِ عقد المهمة والضبط الخاص بالنموذج في أجزاء منفصلة قابلة للتركيب
- التقييمات (Evals) تستهدف العقد؛ وطبقة الضبط متوقع أن تتغير مع كل نموذج
- الفشل في العقد فجوة في القدرة؛ والفشل في الضبط مهمة إعدادات
- شغّل المجموعة على عائلتين من النماذج على الأقل ليبقى الارتباط الخفي ظاهرًا
تمرين الترقية
تعامل مع الانتقال إلى نموذج جديد كإجراء مُتدرَّب عليه لا كحالة طوارئ. شغّل المجموعة الكاملة على النموذج المرشّح واقرأ النتائج حسب الشرائح لا بشكل إجمالي. توقّع مزيجًا: تحسينات حقيقية، وتراجعات حقيقية، وتراجعات زائفة من حالات كانت هشة دائمًا — وافحص عيّنة من كل نوع بدل الافتراض. وحيث يتصرف النموذج الجديد بشكل مختلف لكنه أفضل على الأرجح، فقد تكون الحالة نفسها خاطئة؛ والاستجابة الصحيحة هي إصلاح الحالة، مع ملاحظة أن الحالة التي تتغير إجابتها المتوقعة لأن نموذجًا أفضل ظهر كانت على الأرجح مفرطة في التحديد. ثم شغّل المرشّح في الظل على الحركة الحية دون تقديم مخرجاته، وقارن على مدخلات التشغيل الفعلي، وانشره تدريجيًا مع تشغيل مجموعة التقييم على الحركة الحقيقية. افعل ذلك وفق جدول زمني، لا فقط حين يجبرك إشعار إيقاف النموذج.
- اقرأ نتائج الانتقال حسب الشرائح؛ فالأرقام الإجمالية تخفي المقايضة التي تجريها فعلًا
- افحص التراجعات والتحسينات على حد سواء — فبعض التراجعات حالات سيئة
- شغّل في الظل على الحركة الحية قبل التقديم، ثم انشر تدريجيًا
- تدرّب على الترقيات بانتظام كي تصبح الترقية الإجبارية أمرًا روتينيًا
احمِ المجموعة من التآكل
تتآكل مجموعات اختبار الانحدار بطرق متوقعة. فهي تراكم حالات لا يفهمها أحد، كُتبت لخطأ برمجي أُصلح قبل إعادتَي كتابة، وتفشل الآن لأسباب لا علاقة لها بغرضها الأصلي. وتمتلئ بحالات شبه مكررة من حوادث متكررة. وتصبح بطيئة إلى حد أن الناس يتوقفون عن تشغيلها قبل الدمج. واجه الثلاثة عن قصد: كل حالة تحمل ملاحظة من سطر واحد عن سبب وجودها وما تحميه، والحالات التي لم تفشل منذ زمن طويل تُراجَع لمعرفة إن كانت ما زالت تميّز بين الجيد والسيئ، والمكررات تُدمج، وتُقسَّم المجموعة إلى طبقة سريعة قبل الدمج وطبقة شاملة ليلية. مجموعة اختبار الانحدار أصل برمجي له تكاليف صيانة، والفرق التي تعاملها كشيء يُكتب مرة واحدة ينتهي بها الأمر إلى مجموعة بطيئة مليئة بالضوضاء تعلّم الجميع تجاهلها.
- كل حالة توثّق ما تحميه — فالحالات غير الموثقة يصبح حذفها مستحيلًا
- راجع الحالات الناجحة منذ زمن طويل للتأكد من استمرار أهميتها؛ وادمج المكررات
- افصل طبقة سريعة قبل الدمج عن طبقة شاملة ليلية لحماية سرعة التطوير