الإفراط في ملاءمة الاختبار التاريخي ووهم العائد الإضافي
كيف تصبح الاستراتيجية جميلة
لا أحد يتعمّد الإفراط في الملاءمة (Overfitting). فالعملية التي تنتجه عادية وتبدو كأنها اجتهاد. لدى باحث فكرة، فيختبرها، وتأتي النتيجة عادية. فيُعدَّل معامل. وتُجرَّب نافذة زمنية مختلفة. ويُستبعد عامان خاسران بوصفهما غير ممثِّلين. ويُضاف مرشّح يصادف أنه يحذف الصفقات التي ساءت. ويُضيَّق نطاق الأوراق المالية إلى الأسماء التي يظهر فيها الأثر أوضح. لكل خطوة مبرر يمكن الدفاع عنه، وبعد عدد كافٍ منها يصبح منحنى رأس المال سلسًا والتراجعات ضحلة. وما وُجد ليس انتظامًا في السوق، بل هو الشكل الخاص لعيّنة تاريخية واحدة، وقد تعلّمه النموذج جيدًا جدًا.
- الإفراط في الملاءمة تنتجه قرارات عادية يمكن الدفاع عن كلٍّ منها منفردًا، لا سوء النية
- ضبط المعاملات، واختيار النافذة الزمنية، واستبعاد العيّنات، والمرشّحات، وتضييق النطاق كلها تلائم التاريخ نفسه
- كلما كان منحنى الاختبار التاريخي أسلس، كان الانتقاء الذي دخل في إنتاجه أكبر في العادة
- ما يُتعلَّم هو شكل عيّنة واحدة، لا علاقة ستستمر
الاختبارات المتعددة بلغة بسيطة
اختبر عددًا كافيًا من الاستراتيجيات على التاريخ نفسه وسيبدو بعضها ممتازًا بمحض الصدفة. ليست هذه نقطة إحصائية دقيقة؛ إنها حساب بسيط. فعتبة الدلالة الإحصائية المناسبة لفرضية واحدة محددة مسبقًا تفقد معناها بعد تجربة مئة نسخة، لأن العتبة صُمّمت أصلًا ليتخطاها الضجيج العشوائي أحيانًا. والصعوبة العملية أن عدد التجارب نادرًا ما يُسجَّل، وكثيرًا ما لا يكون معروفًا أصلًا: النسخ التي تُركت في الذهن، والأفكار التي ماتت في دفتر ملاحظات، والإعدادات الموروثة من زميل غادر، وكل نسخة سابقة من الفكرة نفسها — كلها تُحسب تجارب، ولا يظهر أيٌّ منها في التقرير.
- عدد كافٍ من النسخ على تاريخ واحد يضمن أن يبدو بعضها ممتازًا بفعل الضجيج وحده
- العتبة المعايَرة لفرضية واحدة محددة مسبقًا لا تعني شيئًا بعد مئة محاولة صامتة
- عدد التجارب يشمل الأفكار المتروكة والإعدادات الموروثة، ولا يكاد يُسجَّل أبدًا
- رقم الأداء المعلن هو الحد الأقصى لعدد مجهول من السحبات، لا سحبة نموذجية
«تحققنا منه» تعني غالبًا «واصلنا المحاولة»
الاختبار خارج العيّنة هو الطمأنة المعتادة، ويتوقف عن العمل لحظة استخدام فترة خارج العيّنة أكثر من مرة. فالاستراتيجية التي تفشل في العيّنة المحجوزة، ثم تُعدَّل وتُختبر من جديد، تكون قد استهلكت تلك العيّنة: الاختبار الثاني داخل العيّنة، مهما سُمّي في المذكرة. وعلى مدى برنامج بحثي يمتد سنوات، يستخدم الفريق نفسه تاريخ السوق نفسه مرارًا، فكثيرًا ما لا يبقى في المؤسسة كلها أي بيانات لم تُرَ فعلًا. ولهذا فالسؤال المفيد عن اختبار تاريخي ليس «هل جرى التحقق منه خارج العيّنة؟» بل «كم شيئًا جُرّب، وعلى يد كم شخص، على هذا التاريخ نفسه، قبل أن تصلني هذه الاستراتيجية؟»
- تُستهلك العيّنة المحجوزة في أول مرة تُعدَّل فيها استراتيجية فاشلة وتُختبر عليها مجددًا
- عبر برنامج بحثي طويل يُعاد استخدام التاريخ نفسه حتى لا يبقى شيء لم يُرَ فعلًا
- اسأل كم نسخة جُرّبت وعلى يد من، لا هل أُجري اختبار خارج العيّنة
- التداول الفعلي أو الورقي في فترة لاحقة لم تكن قد وقعت بعد هو العيّنة الوحيدة التي لم يكن بوسع الباحث ملاءمتها
كيف يبدو التقييم الأمين
معظم هذا يمكن إصلاحه بالإجراءات لا بالرياضيات. سجّل عدد الإعدادات التي اختُبرت وأعلنه مع النتيجة، لأن استراتيجية نجت من محاولة واحدة وأخرى نجت من أربعمئة تستحقان درجتين مختلفتين من التشكك. حدّد مسبقًا القاعدة والنطاق والأفق الزمني ومعيار القبول قبل تشغيل أي شيء. وفضّل الإحصاءات التي تخصم صراحةً أثر عدد التجارب — فمقاييس الأداء المصحَّحة وتعديلات الاختبارات المتعددة موجودة لهذا الغرض تحديدًا — على رقم رئيسي غير معدَّل. واحتفظ بفترة واحدة لم تُمسّ فعلًا، يحفظها شخص غير الباحث، واستخدمها مرة واحدة. وعامل المنطق الاقتصادي كمرشّح: فالإشارة التي لا تفسير لها أرجح أن تكون مصادفة عثر عليها البحث.
- سجّل عدد الإعدادات التي جُرّبت وأعلنه — فهو يغيّر طريقة قراءة الرقم الرئيسي
- المعيار المكتوب بعد معرفة النتيجة ليس معيارًا — الطابع الزمني هو ما يجعله معيارًا
- استخدم إحصاءات تراعي عدد التجارب وتعديلات الاختبارات المتعددة بدل رقم أداء خام
- احتفظ بفترة واحدة لم تُمسّ خارج سيطرة الباحث، واستخدمها مرة واحدة فقط
شاهد كم حالة اختبار تحتاج قبل أن تعني النتيجة شيئاً.