الحساسية والنوعية وفئة المرضى
مؤشر واحد وكلفتان
لكل نموذج كشف درجة داخلية، وهناك من يختار أين تُوضع العتبة. حرّك العتبة في اتجاه فيلتقط النموذج حالات حقيقية أكثر، لكنه ينبّه أيضًا إلى حالات أكثر غير موجودة فعلًا. وحرّكها في الاتجاه الآخر فتقل الإنذارات الكاذبة (False positives) بينما تفوت حالات حقيقية. لا يوجد إعداد يحسّن الأمرين معًا؛ هناك فقط اختيار لنوع الخطأ الذي تفضّله، وهذا الاختيار يعود إلى السياق السريري لا إلى النموذج. والكلفتان غير متماثلتين ومحددتان: فوات موجودة من نوع ما كارثي، بينما يعني الإنذار الكاذب من نوع آخر إجراءً غير ضروري وقلقًا وكلفة. ورقم الدقة الإجمالي الواحد يخفي هذا الاختيار تمامًا، ولهذا بالضبط يُستشهد به.
- الحساسية (Sensitivity) والنوعية (Specificity) تتبادلان المكسب والخسارة، ولا توجد عتبة تحسّن الاثنتين
- التوازن الصحيح حكم سريري وسياقي، لا إعداد تقني افتراضي
- رقم الدقة الإجمالي يخفي نوع الخطأ الذي اختار المورّد تقليله
معدّل الانتشار يغيّر معنى النتيجة الإيجابية
الحساسية والنوعية خاصيتان للنموذج. أما ما يهم الكادر الطبي فشيء آخر: إذا ظهرت إشارة إيجابية، فما احتمال أن تكون الموجودة حاضرة فعلًا؟ هذا يعتمد على مدى شيوع الحالة في الفئة التي تُصوَّر. شغّل النموذج نفسه في مركز إحالة تخصصي تكون فيه الحالة شائعة، فتكون معظم النتائج الإيجابية حقيقية. وشغّله في الفحص العام حيث الحالة نادرة، فينتج النموذج نفسه نتائج إيجابية كاذبة أكثر بكثير من الصحيحة، حتى مع بقاء الحساسية والنوعية على حالهما. لم يتغير شيء في النموذج. هذه أكثر قراءة خاطئة شيوعًا لادعاءات أداء الذكاء الاصطناعي (AI) في التصوير، وهي تفسّر تمامًا لماذا تبدو النماذج قوية أثناء التطوير ومخيّبة للآمال في الفحص.
- الحساسية والنوعية خاصيتان للنموذج؛ أما القيمة التنبؤية فتعتمد على معدّل الانتشار في فئة مرضاك
- في البيئات منخفضة الانتشار قد تفوق النتائج الإيجابية الكاذبة الصحيحة دون أي تغيير في النموذج
- اسأل دائمًا عن معدّل الانتشار في مجموعة التحقق مقارنة ببيئتك المقصودة
مضبوط لهم لا لك
تتبّع المنطق حتى نهايته وستجد نتيجة غير مريحة. النموذج الذي اختيرت نقطة تشغيله لبيئة ما هو، بمعنى حقيقي، أداة مختلفة في بيئة أخرى. فتوزيع الأعمار، ومزيج الأمراض المصاحبة، ومسارات الإحالة، ودواعي التصوير، والممارسة المحلية كلها تغيّر معدّل الانتشار وصعوبة الحالات. والأداة التي طُوّرت على بيانات مراكز الإحالة ستواجه في الممارسة المجتمعية حالات أسهل وأندر وموزعة بشكل مختلف. والعتبة التي جعلتها مفيدة هناك قد تجعلها مزعجة هنا، أو غير آمنة. هذا ليس عيبًا يصلحه نموذج أفضل؛ إنه خاصية جوهرية في التنبؤ القائم على العتبة، ولهذا يظهر التحقق المحلي في كل إطار جاد للتشغيل.
- نقطة التشغيل المضبوطة لفئة ما أداة مختلفة في فئة أخرى
- مزيج الحالات ومسار الإحالة ودواعي التصوير كلها تغيّر معدّل الانتشار والصعوبة
- هذا جوهري في التنبؤ القائم على العتبة، لا خطأ برمجي يزيله نموذج أفضل
- وهو السبب التقني الأساسي لكون التحقق المحلي إلزاميًا لا اختياريًا