تحيّز البيانات والأضرار الموثّقة
بيانات الصحة تسجّل الوصول إلى الرعاية، لا البيولوجيا فقط
مجموعات البيانات السريرية سجلات لمن وصل إلى الرعاية، وما الذي فُحص، وما الذي رُمّز، وكيف وُثّق. وكل ذلك تشكّله إمكانية الوصول والتأمين والجغرافيا واللغة وسلوك الكادر الطبي وأوجه عدم المساواة التاريخية. والنموذج المدرَّب على تلك البيانات يتعلّم هذه الأنماط بالأمانة نفسها التي يتعلّم بها علم وظائف الأعضاء، لأنه لا يستطيع التمييز بينهما. ولهذا فإن التحيّز (Bias) في الذكاء الاصطناعي (AI) الصحي ليس في الأساس مسألة نوايا أو خوارزمية سيئة الاختيار، بل هو خاصية بنيوية للتعلّم من سجلات أنتجها نظام يعامل الناس أصلًا معاملة مختلفة. وافتراض أن مجموعة البيانات محايدة لأنها سريرية هو الخطأ الذي ينتج الأضرار الموثّقة.
- البيانات السريرية ترمّز الوصول إلى الرعاية وأنماط الفحص وممارسات الترميز وسلوك التوثيق
- لا يستطيع النموذج فصل نمط المرض عن نمط الرعاية غير المتكافئة
- التحيّز هنا بنيوي، وليس مسألة نوايا أو اختيار خوارزمية
المتغيرات البديلة: حالة الكلفة بوصفها حاجة
أكثر الحالات الموثّقة إفادة في الذكاء الاصطناعي الصحي تتعلّق بخوارزمية لإدارة الرعاية واسعة الاستخدام في الولايات المتحدة، كانت تتنبأ بتكاليف الرعاية الصحية المستقبلية بديلًا عن الحاجة الصحية المستقبلية، ثم تستخدم ذلك التنبؤ لاختيار المرضى الذين يحصلون على دعم إضافي. يبدو المنطق معقولًا: المرضى الأشد مرضًا يكلّفون أكثر. لكن ما يُنفق تاريخيًا على المرضى السود أقل عند المستوى نفسه من المرض، لأسباب تتعلّق بالوصول إلى الرعاية وبعدم المساواة البنيوي. تعلّم النموذج نمط الإنفاق بدقة، فقلّل بذلك تقدير الحاجة لدى المرضى السود على نحو منهجي، ووجّه الدعم بعيدًا عن أشخاص كانوا مرضى بالقدر نفسه أو أكثر. لم يكن في النموذج أي خطأ تقني. كان المتغير البديل هو الخطأ، ووقع الضرر على مستوى فئات سكانية كاملة قبل أن يفحصه أحد.
- استُخدمت الكلفة بديلًا عن الحاجة؛ والإنفاق التاريخي غير متساوٍ بين المجموعات عند تساوي المرض
- تعلّم النموذج نمط الإنفاق بشكل صحيح، فأنتج نتيجة لذلك توزيعًا غير منصف
- استجوب كل متغير بديل: ما الذي قيس فعلًا، وعن أي شيء كان ينوب؟
- كان هذا الضرر غير مرئي في مقاييس الأداء المعتادة — واحتاج كشفه إلى تدقيق خاص بالإنصاف
- الحالة موثّقة في دراسة محكّمة نُشرت عام 2019 في مجلة Science لأوبرماير (Obermeyer) وزملائه
القياس والأجهزة والتصنيفات
يدخل التحيّز أيضًا عبر أدوات القياس. فأجهزة القياس البصري لها فروق موثّقة في الدقة بحسب تصبّغ الجلد، أي أن المدخلات التي يتعلّم منها النموذج أقل دقة على نحو منهجي لدى بعض المرضى؛ والنموذج المدرَّب على تلك القراءات يرث هذا التفاوت وقد يضاعفه. ولطالما لوحظ أن مجموعات صور الأمراض الجلدية تميل إلى البشرة الفاتحة، مما يحدّ مما تتعلّمه النماذج عن ظهور الأمراض على البشرة الداكنة. وتحيّز التصنيف أخفى من ذلك: فإذا كان التصنيف «شُخّص بالحالة» لا «كانت لديه الحالة»، تعلّم النموذج أنماط التشخيص التاريخية بما فيها قصور التشخيص لدى مجموعات بعينها، وأعاد إنتاجها بثقة. وفي كل حالة، يعيد النموذج بأمانة إنتاج خلل يقع قبله في السلسلة.
- قد تختلف دقة القياس في الأجهزة بحسب تصبّغ الجلد — والمدخلات المتحيّزة تنتج نماذج متحيّزة
- مجموعات الصور المنحازة تحدّ مما يتعلّمه النموذج عن ظهور الأمراض لدى المجموعات الأقل تمثيلًا
- التصنيفات تسجّل ما شُخّص لا ما كان موجودًا — فيُتعلَّم قصور التشخيص ويُعاد إنتاجه
- النموذج في الغالب أمين للبيانات؛ والخلل يقع قبله في السلسلة
ما الذي ينبغي فعله فعلًا
لا يمكن إثبات الإنصاف من مقياس مجمّع، ولذلك فإن الحد الأدنى العملي هو اشتراط تقديم الأداء مفصّلًا بحسب المجموعات المهمة في فئتك السكانية، واعتبار غياب هذا التفصيل نتيجة بحد ذاتها لا مجرد نقص في الأوراق. وبعد ذلك: استجوب ما يمثّله متغير النتيجة حقًا وهل هو متغير بديل؛ وتحقّق من أن الفئة السكانية التي طُوّر عليها النموذج تشبه فئتك؛ واسأل كيف عولجت البيانات الناقصة، لأن النقص نفسه كثيرًا ما يتبع نمطًا بحسب المجموعة؛ وتأكّد من أن التشغيل يتضمّن آلية لكشف الأثر المتفاوت بعد الإطلاق، لأن الأضرار المذكورة أعلاه كلها اكتُشفت متأخرة، على يد أشخاص بحثوا عنها.
- اشترط الأداء بحسب المجموعات الفرعية؛ واعتبر غيابه دليلًا، لا سهوًا إداريًا
- استجوب متغير النتيجة — هل هو الشيء الذي يهمك، أم بديل عنه؟
- نقص البيانات يتبع نمطًا بحسب المجموعة، وقد يحمل التحيّز وحده
- ادمج مراقبة الأثر المتفاوت في التشغيل؛ فهذه الأضرار لا تُكتشف إلا بالبحث عنها
كيف ينطبق هذا عليّ؟
لا تحتاج إلى تدقيق النموذج كي تلمح الخطر. اسأل: ما الذي دُرّبت الأداة على التنبؤ به، وعلى من؟ فإن كان الجواب متغيرًا بديلًا — الكلفة أو حجم الاستخدام أو التشخيص السابق — بدل الحالة السريرية التي تهمك، فتعامل مع مخرجاتها للمرضى المحرومين من الخدمات بحذر خاص.
- اسأل عن متغير النتيجة: هل هو الحالة نفسها، أم بديل مثل الكلفة أو التشخيص السابق
- اسأل هل أُبلغ عن الأداء منفصلًا لمجموعات تشبه مرضاك
- إن كانت الأداة تتصرّف بغرابة على نحو متكرر مع مجموعة بعينها، فهذه الملاحظة بيانات — أبلغ عنها
مراقبة الإنصاف وتقليل البيانات إلى الحد الأدنى يشدّ كل منهما في اتجاه معاكس: فكشف الأثر المتفاوت يتطلّب الاحتفاظ بالسمات الديموغرافية التي كنت ستتجنّب معالجتها لولا ذلك. احسم هذا التعارض عن قصد ووثّقه، بدل أن تتركه يُحسم من تلقاء نفسه بانعدام المراقبة كليًا.
- مراقبة الأثر المتفاوت تحتاج إلى بيانات ديموغرافية — حدّد الأساس القانوني وضوابط الوصول مسبقًا
- حذف السمات الحساسة لا يحذف التحيّز؛ فالمتغيرات البديلة المرتبطة بها تبقى في البيانات
- سجّل تقييمات الإنصاف جزءًا من سجل التدقيق — فهي باتت أدلة متوقعة على نحو متزايد، لا تحليلًا اختياريًا
مكان العمل على التحيّز هو مسار التطوير نفسه، لا مراجعة ما قبل الإطلاق. واختيار متغير النتيجة هو أعلى القرارات أثرًا التي ستتخذها، وعادةً ما يُحسم مبكرًا وبشكل غير رسمي، بناءً على البيانات التي كانت متاحة.
- استجوب التصنيف أولًا: المتاح ليس هو الصحيح بالضرورة، والمتغيرات البديلة ترسّخ عدم الإنصاف بشكل دائم
- أبلغ عن الأداء المفصّل افتراضيًا في كل تقييم داخلي، لا عند الطلب
- تتبّع أنماط نقص البيانات بحسب المجموعة الفرعية — فتعويض القيم الناقصة قد يرمّز الانتماء إلى المجموعة بصمت
- وثّق تركيبة الفئة السكانية والفجوات المعروفة كي تتمكن المؤسسات التي تشغّل الأداة من تقييم ملاءمتها
اجعل الأداء المفصّل شرطًا في المشتريات لا سؤالًا ضمن العناية الواجبة. فالمورّد الذي لا يستطيع تقديمه إما أنه لم يقسه، أو قاسه ويفضّل عدم مشاركته — وكلا الأمرين مهم للقرار.
- أدرج الإبلاغ عن أداء المجموعات الفرعية في معايير الشراء، مع تسمية المجموعات ذات الصلة بالفئة السكانية المحلية
- اشترط تركيبة الفئة السكانية التي طُوّر عليها النموذج، وقارنها بمزيج الحالات لدى المؤسسة
- حدّد في العقد مراقبة الأثر المتفاوت بعد التشغيل، مع مالك مسؤول عنها
- تأكّد من أن لجنة الحوكمة تستطيع إيقاف أداة لأسباب تتعلّق بالإنصاف، لا لأسباب الدقة فقط