مجموعات البيانات المرجعية وتنظيمها
تشريح الحالة
الحالة أكثر من مدخل وإجابة متوقعة. فلكي تكون قابلة لإعادة التشغيل والتفسير تحتاج إلى المدخل كما قدّمه المستخدم، وأي بيئة أو حالة يعتمد عليها النظام، والنتيجة المتوقعة بأي صيغة قابلة للتصحيح — إجابة مرجعية، أو مجموعة حقائق مطلوبة، أو معايير تقييم (Rubric)، أو شرط لاحق على حالة العالم — إضافة إلى أداة التصحيح المطلوب تطبيقها، ووسوم الشرائح، ومؤشر الصعوبة، والمصدر الذي يسجّل من أين جاءت الحالة ومن صنّفها. والمصدر هو الحقل الذي تتجاوزه الفرق ثم تحتاج إليه أكثر من غيره لاحقًا: فحين يُعترض على حالة ما، فإن معرفة ما إذا جاءت من حادثة في التشغيل الفعلي، أو من خبير في المجال، أو من نص برمجي للتوليد الآلي، تحدّد مقدار الثقة التي تستحقها. خزّن الحالات كبيانات منظّمة بإصدارات داخل المستودع، لا في جدول بيانات سجلّ تعديلاته لغز.
- المدخل، والبيئة، والنتيجة المتوقعة، وأداة التصحيح، والوسوم، والصعوبة، والمصدر
- النتيجة المتوقعة قد تكون إجابة مرجعية، أو قائمة حقائق، أو معايير تقييم، أو شرطًا لاحقًا
- المصدر يحسم الخلاف حول ما إذا كانت الحالة الفاشلة خطأ النظام
- الملفات المنظّمة الخاضعة لإدارة الإصدارات أفضل من جداول البيانات لأي شيء ستعيد توليده
التنظيم عمل مستمر
المجموعات تتعفّن. تصبح الحالات قديمة حين يتغيّر المنتج، أو حين تُحدَّث البيانات التي تشير إليها، أو حين تتغيّر الإجابة الصحيحة. وتتراكم الحالات المكرّرة مع تسجيل إخفاقات متشابهة في التشغيل الفعلي مرارًا، فيزداد وزن نمط الإخفاق الذي كان رائجًا الشهر الماضي بصمت. والحالات المشبعة — التي ينجح فيها كل نظام مرشّح — تستهلك موارد الحوسبة ولا تضيف شيئًا. وبعض الحالات خاطئة ببساطة: الإجابة المتوقعة صُنّفت خطأً، وإلى أن يعيد أحدهم فحصها، يُحسب كل نموذج يجيب إجابة صحيحة على أنه فاشل. جدوِل التنظيم بدل أن تأمل حدوثه. أزل التكرار بحسب تشابه التضمينات، وأعد التحقق من عيّنة من المخرجات المتوقعة في كل دورة، وأخرج الحالات المشبعة من الخدمة، وكن متشكّكًا بشكل خاص في أي حالة يفشل فيها كل نموذج — فهي في الغالب حالة معطوبة أكثر بكثير من كونها مهمة صعبة على الجميع.
- أزل التكرار بحسب التشابه؛ فالتسجيلات المكرّرة تعيد وزن مقياسك بهدوء
- أخرج الحالات المشبعة من الخدمة وارفع الحالات التي باتت تميّز بين الأنظمة
- الحالة التي يفشل فيها كل نظام مصنّفة خطأً في الغالب — افحصها قبل أن تعاملها كهدف
- أعد التحقق من عيّنة متجدّدة من المخرجات المتوقعة؛ فالإجابة المرجعية (Ground truth) تتقادم
مجموعة التطوير والمجموعة المحجوزة
في اللحظة التي تبدأ فيها التكرار على مجموعة ما، تبدأ في التكيّف معها — تقرأ إخفاقاتها، وتضبط التعليمات حول خصوصياتها، وتتحسّن عليها أسرع مما تتحسّن على الواقع. والدفاع المعتاد منقول مباشرة من تعلّم الآلة: التقسيم. مجموعة التطوير هي ما تكرّر عليه يوميًا، وتفحصه بحرية، وتصحّح الأخطاء به. والمجموعة المحجوزة تُشغَّل نادرًا، عند نقاط القرار، على يد شخص لا يضبط النظام عليها، ولا تُقرأ حالةً حالةً أبدًا بحثًا عن إلهام للتعليمات. وحين تتباعد درجات مجموعة التطوير والمجموعة المحجوزة، تكون الفجوة مقياسًا مباشرًا لمقدار تقدّمك الأخير الذي كان مجرد فرط تكيّف (Overfitting). جدّد المجموعتين من التشغيل الفعلي دوريًا، وإن فُحصت المجموعة المحجوزة بالتفصيل، فاقبل أنها استُهلكت واستبدلها بمجموعة جديدة.
- كرّر على مجموعة التطوير، وقرّر على المجموعة المحجوزة، وافصل الدورين بصرامة
- اتساع الفجوة بين التطوير والمحجوزة هو إشارة فرط التكيّف
- قراءة المجموعة المحجوزة بالتفصيل تستهلكها — خطّط لتدويرها
- جدّد المجموعتين من التشغيل الفعلي كي تواكبا التوزيع الحالي
ما الحجم المناسب، وكيف تنمّيها
الحجم المناسب يحدّده ما تحتاج إلى اكتشافه، لا رقم مستدير. المجموعات الصغيرة — عشرات الحالات — تدعم التكرار السريع واكتشاف الأعطال الكبيرة، لكنها لا تستطيع التمييز بين الفروق الصغيرة. واكتشاف تغيّر بنقاط قليلة بشكل موثوق يتطلّب مئات الحالات، والحساب في الدرس التالي يشرح السبب. والمسار العملي هو أن تبدأ ببضع عشرات من الحالات الحقيقية المصنّفة بعناية لكل شريحة حرجة، وتستخدمها فورًا، ثم تنمّيها من أدلة التشغيل الفعلي: كل حادثة تصبح حالة، وكل شكوى متكرّرة تصبح حالة، وكل ميزة جديدة تُطلق ومعها حالاتها. الجودة تتفوّق على الكمية في كل حجم، لأن ألف حالة بمخرجات متوقعة مهملة تنتج رقمًا واثقًا لا يعني شيئًا على الإطلاق.
- ابدأ ببضع عشرات من الحالات الحقيقية لكل شريحة حرجة وأدخلها في CI فورًا
- المجموعات الصغيرة تكتشف الأعطال؛ أما التمييز بين الفروق الصغيرة فيحتاج إلى مئات
- نمِّ المجموعة من الحوادث والشكاوى، لا من النصوص البرمجية للتوليد الآلي
- التصنيفات المهملة على نطاق واسع تنتج أرقامًا واثقة بلا معنى