مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

تسرّب البيانات وتحيّز النظر إلى المستقبل

⁧معلومات لم تكن لتتوفر آنذاك⁩⁧قواعد البيانات المالية تحفظ أفضل رؤية حالية للتاريخ، لا ما كان معروفاً في كل تاريخ⁩ ⁧الأرقام كما أُعلنت هي ما كان لديك · الأرقام المعدّلة هي ما تبيّن أنه صحيح⁩ ⁧تاريخ القرار⁩ ⁧متاح عند القرار⁩⁧· الأرقام كما أُعلنت، بتاريخ نشرها⁩⁧· الأسعار كما كانت، قبل أي تعديل لاحق⁩⁧· الخصائص مُعاد بناؤها حتى هذا التاريخ، بما فيها القيم الناقصة⁩ ⁧لا يصل إلا لاحقاً⁩⁧· إعادة عرض للأرقام نُشرت لاحقاً⁩⁧· عضوية المؤشر كما هي اليوم⁩⁧· إجراء من إجراءات الشركات أُعلن لاحقاً⁩⁧· النتيجة التي يتضمنها الهدف المُصنَّف أصلاً⁩⁧استُخدمت في التدريب رغم ذلك — الأداء يبدو ممتازاً، ولا يمكن تكراره في التشغيل الفعلي⁩ ⁧أين يختبئ في البيانات المالية — بانتظام يكفي لإعداد قائمة تحقق⁩⁧· بيانات أساسية مؤرخة بالفترة، لا بتاريخ النشر⁩⁧· أسعار معدّلة لإجراءات شركات أُعلنت لاحقاً⁩⁧· نطاقات مبنية على عضوية اليوم — تحيّز البقاء باسم آخر⁩⁧· كيانات شُطبت أو تعثّرت أو استُحوذ عليها أُسقطت من العينة⁩⁧· تسرّب الهدف: مؤشرات التحصيل، رموز الشطب، أسباب الإغلاق⁩⁧· التحجيم وتعويض القيم وهندسة الخصائص قبل التقسيم⁩ ⁧تقسيم الزمن بنزاهة⁩ ⁧التدريب — الماضي فقط⁩ ⁧التطهير⁩ ⁧الحظر الزمني⁩ ⁧الاختبار⁩⁧التقسيم العشوائي للتدريب والاختبار هو الافتراضي في معظم الأدوات، وهو خاطئ لأي شيء له بُعد زمني⁩⁧فجوة التطهير والحظر الزمني تمنع آفاق قياس الهدف المتداخلة والخصائص البطيئة التغيّر من عبور الحد⁩⁧لا تضع المقترض أو الحساب أو الأسرة أو المُصدِر نفسه في الجانبين — وإلا تعرّف النموذج على الكيان لا النمط⁩ ⁧النتائج الممتازة التي تنهار في التشغيل الفعلي هي البصمة المميزة⁩ ⁧السبب يقع قبل النموذج، في طريقة تجميع البيانات وطريقة تقسيمها⁩
⁧التسرّب يعني التدريب على معلومات لم تكن لتتوفر — والنتيجة لن تتكرر في التشغيل الفعلي.⁩

معلومات لم تكن لتتوفر آنذاك

تسرّب البيانات (Leakage) هو وجود معلومات في بيانات التدريب لم تكن لتتوفر لحظة اتخاذ القرار. يستخدمها النموذج، فيبدو الأداء ممتازًا، ثم لا يمكن تكرار النتيجة في التشغيل الفعلي لأن المعلومة تصل بعد نقطة الاستخدام — أو لا تصل أبدًا. وتحيّز النظر إلى المستقبل (Look-ahead bias) هو الصورة الزمنية للعيب نفسه، وهو متفشٍّ في البيانات المالية، لأن معظم قواعد البيانات المالية تُدار بوصفها أفضل رؤية حالية للتاريخ، لا سجلًا لما كان معروفًا في كل تاريخ. والتمييز الذي يحسم أمانة الاختبار التاريخي هو بين البيانات كما أُفصح عنها، أي ما كان لديك، والبيانات كما عُدّلت لاحقًا، أي ما تبيّن أنه صحيح.

  • التسرّب يعني التدريب على معلومات غير متاحة وقت القرار؛ والنتيجة لن تتكرر في التشغيل الفعلي
  • قواعد البيانات المالية تخزّن عادةً أفضل رؤية حالية للتاريخ، لا ما كان معروفًا في كل تاريخ
  • كما أُفصح عنها مقابل كما عُدّلت: هذا هو التمييز الذي يحسم أمانة الاختبار التاريخي
  • النتائج الممتازة التي تنهار في التشغيل الفعلي هي البصمة، والسبب يقع قبل النموذج

أين يختبئ في البيانات المالية

مواضع الاختباء ثابتة بما يكفي لوضعها في قائمة تحقق. بيانات أساسية مؤرَّخة بالفترة التي تصفها لا بتاريخ نشرها. نطاقات ومكوّنات مؤشرات مبنية على العضوية الحالية، وهذا تحيّز البقاء باسم آخر. أسعار معدَّلة لإجراءات شركات أُعلنت لاحقًا. تصنيفات أو فروق عائد أو سلاسل مؤشرات مرجعية عُدّلت منذ ذلك الحين. كيانات شُطبت من الإدراج أو تعثّرت أو استُحوذ عليها ثم أُسقطت من العيّنة بهدوء. تسرّب المتغير المستهدف في بيانات الائتمان والاحتيال، حيث لا يُعبّأ علَم التحصيل أو رمز الشطب أو سبب إغلاق الحساب إلا لأن النتيجة وقعت بالفعل. وخصائص جرى تحجيمها أو تطبيعها أو تعويض قيمها المفقودة عبر التاريخ كله قبل التقسيم.

  • بيانات أساسية مؤرَّخة بالفترة لا بتاريخ النشر، وأسعار معدَّلة لإجراءات شركات لاحقة
  • نطاقات مبنية على العضوية الحالية، وعيّنات تخلو من الكيانات المشطوبة أو المتعثرة أو المستحوذ عليها
  • تسرّب المتغير المستهدف: أعلام التحصيل ورموز الشطب وأسباب الإغلاق الموجودة فقط لأن النتيجة وقعت
  • التحجيم وتعويض القيم المفقودة وهندسة الخصائص المنفّذة عبر التاريخ كله قبل التقسيم

تقسيم الزمن بأمانة

التقسيم العشوائي بين التدريب والاختبار خاطئ لأي بيانات لها بُعد زمني، وهو مع ذلك الإعداد الافتراضي في معظم الأدوات. قسّم زمنيًا، ودرّب على الماضي فقط، واترك فجوة بين نافذة التدريب ونافذة التقييم كي لا تنقل آفاق قياس الهدف (Label) المتداخلة والخصائص بطيئة التغير معلوماتٍ عبر الحد الفاصل؛ والاسمان المعتادان لهذه الفجوة هما التطهير (Purging) والحظر الزمني (Embargoing). وأبقِ الكيان نفسه خارج أحد الجانبين حيثما كانت السجلات مترابطة، لأن ظهور المقترض أو الأسرة أو الحساب أو المُصدِر نفسه في التدريب والاختبار معًا يتيح للنموذج التعرّف على الكيان بدل النمط. وأعد بناء مجموعة الخصائص كما كانت في تاريخ القرار، بما في ذلك القيم المفقودة، فغياب حقلٍ ما معلومة بحد ذاته.

  • قسّم زمنيًا — التقسيم العشوائي هو الافتراضي في الأدوات وهو خاطئ للبيانات المرتبة زمنيًا
  • اترك فجوة تطهير وحظر زمني كي لا تعبر آفاق قياس الهدف المتداخلة الحد الفاصل
  • أبقِ المقترض أو الحساب أو الأسرة أو المُصدِر نفسه في جانب واحد فقط من التقسيم
  • أعد بناء الخصائص كما كانت في تاريخ القرار، بما فيها القيم المفقودة — فالحقل الغائب يحمل معلومة