مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

الإفراط في ملاءمة الاختبار التاريخي ووهم العائد الإضافي

⁧بدت الاستراتيجية جميلة لأنها انتُقيت، لا لأنها حقيقية⁩⁧لا أحد يقصد الإفراط في الملاءمة — العملية التي تُنتجه عادية وتبدو كأنها اجتهاد⁩ ⁧كيف تصبح الاستراتيجية جميلة⁩⁧تُختبر الفكرة — والنتيجة عادية⁩⁧يُعدَّل أحد المعاملات⁩⁧تُجرَّب نافذة زمنية مختلفة للبيانات⁩⁧تُستبعد سنتان خاسرتان⁩⁧مرشّح يُسقط الصفقات الخاسرة⁩⁧يُضيَّق نطاق الأوراق إلى أسماء أنظف⁩⁧المنحنى سلس والتراجعات طفيفة⁩⁧كلما كان منحنى الاختبار التاريخي أسلس، زاد الانتقاء الذي أنتجه⁩ ⁧الرقم المُعلن هو الأعلى بين محاولات مجهولة العدد⁩ ⁧جرّب صيغاً كافية على تاريخ واحد وسيبدو بعضها ممتازاً بالصدفة⁩⁧الصيغة التي وصلتك⁩⁧أداء كل صيغة جُرّبت تاريخياً، ومنها ما لم يسجّله أحد ←⁩⁧عتبة معايرة بحيث يتجاوزها التشويش أحياناً لا تعني الكثير⁩ ⁧«تحققنا منها خارج العينة» تعني غالباً «واصلنا المحاولة»⁩ ⁧تفشل في العينة المحجوزة⁩ ⁧تُعدَّل⁩ ⁧تُختبر على العينة المحجوزة نفسها⁩ ⁧العينة المحجوزة استُهلكت الآن⁩ ⁧الاختبار الثاني داخل العينة⁩⁧في برنامج طويل يُعيد الفريق نفسه استخدام التاريخ نفسه حتى لا يبقى في المؤسسة شيء لم يُرَ فعلاً⁩⁧التداول اللاحق، الفعلي أو التجريبي، هو العينة الوحيدة التي لم يكن بوسع الباحث ملاءمتها⁩ ⁧كيف يبدو التقييم النزيه — عملية في الغالب، لا رياضيات⁩⁧سجّل وأعلن عدد⁩⁧الإعدادات التي جُرّبت —⁩⁧فهو يغيّر طريقة قراءة النتيجة⁩⁧حدّد مسبقاً القاعدة والنطاق⁩⁧والأفق والمعيار — والختم⁩⁧الزمني هو ما يجعله تحديداً مسبقاً⁩⁧استخدم إحصاءات تراعي⁩⁧عدد المحاولات وتعديلات⁩⁧الاختبارات المتعددة⁩⁧احتفظ بفترة لم تُمسّ⁩⁧خارج سيطرة الباحث⁩⁧واستخدمها مرة واحدة⁩⁧وعامِل المنطق الاقتصادي كمرشّح — الإشارة التي لا تفسير لها غالباً صدفة عثر عليها البحث⁩ ⁧استراتيجية صمدت بعد محاولة واحدة وأخرى بعد أربعمئة تستحقان درجتين مختلفتين من الشك⁩ ⁧عدد المحاولات يشمل الأفكار المهجورة والإعدادات الموروثة، ولا يكاد يُسجَّل أبداً⁩
⁧اسأل كم شيئاً جُرّب على هذا التاريخ نفسه، لا هل أُجري اختبار خارج العينة.⁩

كيف تصبح الاستراتيجية جميلة

لا أحد يتعمّد الإفراط في الملاءمة (Overfitting). فالعملية التي تنتجه عادية وتبدو كأنها اجتهاد. لدى باحث فكرة، فيختبرها، وتأتي النتيجة عادية. فيُعدَّل معامل. وتُجرَّب نافذة زمنية مختلفة. ويُستبعد عامان خاسران بوصفهما غير ممثِّلين. ويُضاف مرشّح يصادف أنه يحذف الصفقات التي ساءت. ويُضيَّق نطاق الأوراق المالية إلى الأسماء التي يظهر فيها الأثر أوضح. لكل خطوة مبرر يمكن الدفاع عنه، وبعد عدد كافٍ منها يصبح منحنى رأس المال سلسًا والتراجعات ضحلة. وما وُجد ليس انتظامًا في السوق، بل هو الشكل الخاص لعيّنة تاريخية واحدة، وقد تعلّمه النموذج جيدًا جدًا.

  • الإفراط في الملاءمة تنتجه قرارات عادية يمكن الدفاع عن كلٍّ منها منفردًا، لا سوء النية
  • ضبط المعاملات، واختيار النافذة الزمنية، واستبعاد العيّنات، والمرشّحات، وتضييق النطاق كلها تلائم التاريخ نفسه
  • كلما كان منحنى الاختبار التاريخي أسلس، كان الانتقاء الذي دخل في إنتاجه أكبر في العادة
  • ما يُتعلَّم هو شكل عيّنة واحدة، لا علاقة ستستمر

الاختبارات المتعددة بلغة بسيطة

اختبر عددًا كافيًا من الاستراتيجيات على التاريخ نفسه وسيبدو بعضها ممتازًا بمحض الصدفة. ليست هذه نقطة إحصائية دقيقة؛ إنها حساب بسيط. فعتبة الدلالة الإحصائية المناسبة لفرضية واحدة محددة مسبقًا تفقد معناها بعد تجربة مئة نسخة، لأن العتبة صُمّمت أصلًا ليتخطاها الضجيج العشوائي أحيانًا. والصعوبة العملية أن عدد التجارب نادرًا ما يُسجَّل، وكثيرًا ما لا يكون معروفًا أصلًا: النسخ التي تُركت في الذهن، والأفكار التي ماتت في دفتر ملاحظات، والإعدادات الموروثة من زميل غادر، وكل نسخة سابقة من الفكرة نفسها — كلها تُحسب تجارب، ولا يظهر أيٌّ منها في التقرير.

  • عدد كافٍ من النسخ على تاريخ واحد يضمن أن يبدو بعضها ممتازًا بفعل الضجيج وحده
  • العتبة المعايَرة لفرضية واحدة محددة مسبقًا لا تعني شيئًا بعد مئة محاولة صامتة
  • عدد التجارب يشمل الأفكار المتروكة والإعدادات الموروثة، ولا يكاد يُسجَّل أبدًا
  • رقم الأداء المعلن هو الحد الأقصى لعدد مجهول من السحبات، لا سحبة نموذجية

«تحققنا منه» تعني غالبًا «واصلنا المحاولة»

الاختبار خارج العيّنة هو الطمأنة المعتادة، ويتوقف عن العمل لحظة استخدام فترة خارج العيّنة أكثر من مرة. فالاستراتيجية التي تفشل في العيّنة المحجوزة، ثم تُعدَّل وتُختبر من جديد، تكون قد استهلكت تلك العيّنة: الاختبار الثاني داخل العيّنة، مهما سُمّي في المذكرة. وعلى مدى برنامج بحثي يمتد سنوات، يستخدم الفريق نفسه تاريخ السوق نفسه مرارًا، فكثيرًا ما لا يبقى في المؤسسة كلها أي بيانات لم تُرَ فعلًا. ولهذا فالسؤال المفيد عن اختبار تاريخي ليس «هل جرى التحقق منه خارج العيّنة؟» بل «كم شيئًا جُرّب، وعلى يد كم شخص، على هذا التاريخ نفسه، قبل أن تصلني هذه الاستراتيجية؟»

  • تُستهلك العيّنة المحجوزة في أول مرة تُعدَّل فيها استراتيجية فاشلة وتُختبر عليها مجددًا
  • عبر برنامج بحثي طويل يُعاد استخدام التاريخ نفسه حتى لا يبقى شيء لم يُرَ فعلًا
  • اسأل كم نسخة جُرّبت وعلى يد من، لا هل أُجري اختبار خارج العيّنة
  • التداول الفعلي أو الورقي في فترة لاحقة لم تكن قد وقعت بعد هو العيّنة الوحيدة التي لم يكن بوسع الباحث ملاءمتها

كيف يبدو التقييم الأمين

معظم هذا يمكن إصلاحه بالإجراءات لا بالرياضيات. سجّل عدد الإعدادات التي اختُبرت وأعلنه مع النتيجة، لأن استراتيجية نجت من محاولة واحدة وأخرى نجت من أربعمئة تستحقان درجتين مختلفتين من التشكك. حدّد مسبقًا القاعدة والنطاق والأفق الزمني ومعيار القبول قبل تشغيل أي شيء. وفضّل الإحصاءات التي تخصم صراحةً أثر عدد التجارب — فمقاييس الأداء المصحَّحة وتعديلات الاختبارات المتعددة موجودة لهذا الغرض تحديدًا — على رقم رئيسي غير معدَّل. واحتفظ بفترة واحدة لم تُمسّ فعلًا، يحفظها شخص غير الباحث، واستخدمها مرة واحدة. وعامل المنطق الاقتصادي كمرشّح: فالإشارة التي لا تفسير لها أرجح أن تكون مصادفة عثر عليها البحث.

  • سجّل عدد الإعدادات التي جُرّبت وأعلنه — فهو يغيّر طريقة قراءة الرقم الرئيسي
  • المعيار المكتوب بعد معرفة النتيجة ليس معيارًا — الطابع الزمني هو ما يجعله معيارًا
  • استخدم إحصاءات تراعي عدد التجارب وتعديلات الاختبارات المتعددة بدل رقم أداء خام
  • احتفظ بفترة واحدة لم تُمسّ خارج سيطرة الباحث، واستخدمها مرة واحدة فقط
◆ شاهده بنفسك
افتح الثقة في التقييم في المكتبة ←

شاهد كم حالة اختبار تحتاج قبل أن تعني النتيجة شيئاً.