مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

حيث تموت التجارب الأولية

⁧التجربة الأولية تنجح — ثم تصطدم بخمسة أمور لم يحسب لها أحد⁩⁧نادراً ما يكون النموذج سبب الفشل، وكل واحد من هذه الأمور يمكن توقّعه قبل البناء⁩ ⁧العرض⁩ ⁧ينجح⁩ ⁧أمام⁩ ⁧مستخدم حقيقي⁩ ⁧البيانات وتتبّع مصدرها⁩⁧بيانات كيانات مكررة⁩⁧وغير محسومة؛ ومصادر⁩⁧مرجعية متنازع عليها⁩⁧مستخلص منقّح يدوياً⁩ ⁧التكامل مع الأنظمة القديمة⁩⁧نوافذ المعالجة الدفعية،⁩⁧وتجميد التغييرات، وإصدارات⁩⁧كل ربع سنة⁩⁧مخرجات لا يراها أحد⁩ ⁧اعتماد الحوكمة⁩⁧التصنيف، ثم⁩⁧التحقق، وحماية⁩⁧البيانات، والمشتريات⁩⁧طابور انتظار بعد العرض⁩ ⁧ملكية التشغيل الفعلي⁩⁧التجارب يديرها⁩⁧متحمسون؛ والتشغيل الفعلي⁩⁧يديره من هو في المناوبة⁩⁧المتبنّي غيّر منصبه⁩ ⁧التركّز لدى المورّد⁩⁧تحديث المزوّد هو⁩⁧تغيير في نموذجك —⁩⁧وهو مترابط عبر الجميع⁩⁧تحديث صامت للنموذج⁩ ⁧مسار الموافقة — يمكن معرفته مسبقاً، ونادراً ما يُرسم⁩ ⁧تصنيف مخاطر⁩ ⁧النموذج⁩ ⁧طابور التحقق⁩ ⁧المستقل⁩ ⁧مراجعة⁩ ⁧خط الدفاع الثاني⁩ ⁧تقييم حماية⁩ ⁧البيانات⁩ ⁧معالجة الاحتفاظ⁩ ⁧بالسجلات⁩ ⁧المشتريات ومخاطر⁩ ⁧الأطراف الثالثة⁩ ⁧لجنة —⁩ ⁧تجتمع شهرياً⁩⁧ارسم هذا قبل البناء — الفرق التي تكتشفه بعد العرض تكون قد بنت شيئاً لا يمكن نشره⁩ ⁧اطرح هذه الأسئلة قبل التجربة الأولية، لا في أول يوم عمل عادي بعد الإطلاق⁩ ⁧المالك المسؤول⁩⁧شخص مسمّى في خط الدفاع الأول،⁩⁧لا منصب شاغر⁩ ⁧المراقبة⁩⁧أي العتبات، وعلى مكتب من⁩⁧يصل التنبيه⁩ ⁧اليوم العادي⁩⁧من يتلقى الاتصال حين يقول مستخدم⁩⁧إن المخرجات تبدو خاطئة⁩ ⁧مفتاح الإيقاف⁩⁧من المخوّل بإيقافه،⁩⁧ومن دون الرجوع إلى لجنة⁩ ⁧تحديثات المزوّد⁩⁧من يعيد التحقق — وكيف⁩⁧ستعرف أن التحديث حدث⁩ ⁧تحليل ما قبل الإخفاق يكلّف ساعة — أوقف حالة الاستخدام على الورق قبل أن يبنيها أحد⁩ ⁧سمِّ المالك والعتبات ومسار التصعيد ومفتاح الإيقاف ما دامت الخطة قابلة للتغيير⁩
⁧تجربة على مستخلص منقّح يدوياً لا تثبت شيئاً عن بيانات التشغيل الفعلي التي لا يمكنك إعادة إنتاجها وقت التشغيل.⁩

جودة البيانات وتتبّع مصدرها أهم من جودة النموذج

السبب الأكثر شيوعًا للموت ليس النموذج، بل أن البيانات أسوأ مما اعترف به أحد. فسجلات العملاء مكرّرة وغير متسقة عبر النظام المصرفي الأساسي ونظام إدارة علاقات العملاء (CRM) وأنظمة المنتجات. وحلّ هوية الكيانات عبر الكيانات القانونية والولايات القضائية مسألة غير محلولة. وللبيانات المرجعية مصادر «ذهبية» متعددة متنازع عليها. وحقائق حاسمة لا توجد إلا داخل مستندات ممسوحة ضوئيًا. وفوق الجودة يأتي تتبّع المصدر (Lineage): فالتحقق والتدقيق كلاهما يتطلب أن تبيّن من أين جاء رقم ما، وعبر أي تحويلات، وتحت ملكية من. والتجربة الأولية على مستخرَج نُظّف يدويًا تثبت أن النموذج يعمل على بيانات لا تستطيع مؤسستك إنتاجها فعلًا وقت التشغيل، وهذا ادعاء مختلف وأقل فائدة بكثير.

  • بيانات الكيانات المكرّرة وغير المتسقة وغير المحلولة عبر الأنظمة الأساسية هي العائق المعتاد
  • تعدّد المصادر الذهبية المتنازع عليها للبيانات المرجعية نفسها يُفشل المطابقة قبل بدء النمذجة
  • التحقق والتدقيق كلاهما يتطلب تتبّع المصدر — الأصل والتحويلات والملكية، موثّقة بالأدلة
  • التجربة على مستخرَج نُظّف يدويًا لا تثبت شيئًا عن بيانات التشغيل الفعلي التي لا تستطيع إعادة إنتاجها

الأنظمة القديمة والاعتماد الذي لم يحسب له أحد حسابًا

قاتلان هيكليان يصلان متأخرين. التكامل مع المنصات الأساسية يعني نوافذ المعالجة الدفعية، وفترات تجميد التغييرات، وواجهات هشّة، ودورات إصدار تُقاس بالأرباع السنوية؛ وإيصال المخرجات إلى مستخدم داخل نظام يستخدمه أصلًا أصعب عادة من بناء القدرة نفسها. ثم هناك مسار الحوكمة الذي لم يضعه أحد في الخطة: تصنيف مخاطر النموذج، والتحقق المستقل بطابور انتظار حقيقي، ومراجعة خط الدفاع الثاني، وتقييم حماية البيانات، ومعالجة حفظ السجلات، والمشتريات ومخاطر الأطراف الثالثة، ولجنة اعتماد تجتمع شهريًا. والفرق التي تكتشف ذلك بعد العرض التوضيحي تجد أنها بنت شيئًا لا يمكن نشره لأسباب كان يمكن توقعها تمامًا. ارسم مسار الاعتماد قبل أن تبني، لا بعده.

  • التكامل مع المنصات الأساسية ونوافذ المعالجة الدفعية وتجميد التغييرات تهيمن على الجدول الزمني، لا النمذجة
  • إيصال المخرجات إلى مستخدم داخل نظام يستخدمه أصلًا هو عادة النصف الأصعب
  • تصنيف النموذج، والتحقق المستقل، ومراجعة حماية البيانات، والمشتريات، كلها تنتظر في طوابير
  • ارسم مسار الاعتماد كاملًا قبل البناء — التسلسل معروف مسبقًا ونادرًا ما يُرسم

الملكية وتركّز الاعتماد على المورّدين

يعمل في التجارب الأولية متحمسون لديهم وقت محمي؛ أما التشغيل الفعلي فيعمل فيه من هو في المناوبة. اطرح الأسئلة غير البرّاقة مبكرًا. من المالك المساءَل في خط الدفاع الأول؟ من يراقب الأداء، ومقابل أي عتبات، وعلى مكتب من يصل التنبيه؟ من يتلقى الاتصال حين يبلّغ مستخدم في يوم عمل عادي أن المخرجات تبدو خاطئة، ومن المخوّل بإيقافها؟ من يعيد التحقق بعد أن يحدّث المزوّد النموذج الأساسي، وكيف ستعرف أصلًا أنه حدّثه؟ ووراء كل ذلك سؤال اعتمادية: فعدد صغير من مزوّدي النماذج ومستضيفي السحابة يقبع الآن تحت جزء كبير من القطاع، لذا فإن انقطاع الخدمة أو تغيّر السلوك حدث مترابط لا حدث يخص مؤسسة بعينها. والوحدة 3 تتوسع في ذلك.

  • سمِّ مالك خط الدفاع الأول، وعتبات المراقبة، ومسار التصعيد، ومن يحق له الإيقاف
  • التحديث من جهة المزوّد تغيير في نموذجك؛ والوحدة 2 تبيّن ما يتطلبه ضبط التغييرات حينها
  • التجارب التي تعتمد على شخص متحمّس واحد تنتهي بصمت حين يغيّر ذلك الشخص دوره
  • التركّز يحوّل مشكلة مورّد إلى مشكلة مترابطة على مستوى القطاع — والوحدة 3 تعود إليها

جرّبها بنفسك

تحليل ما قبل الإخفاق (Pre-mortem) يكلّف ساعة ويوفّر ربع سنة في الغالب. خذ حالة استخدام واحدة للذكاء الاصطناعي تدرسها مؤسستك فعلًا، وأمِتها على الورق قبل أن يبنيها أحد.

◆ جرّبها بنفسك

اختر حالة استخدام واحدة للذكاء الاصطناعي مقترحة فعلًا في مؤسستك. اكتب تحليل ما قبل الإخفاق: افترض أنها أخفقت بعد ثمانية عشر شهرًا من الإطلاق، وعدّد الأسباب، مُلزمًا نفسك بسبب واحد على الأقل تحت كل من: تتبّع مصدر البيانات، والتكامل مع الأنظمة القديمة، واعتماد الحوكمة، والملكية، وتركّز الاعتماد على المورّد. ثم سمِّ أبكر إشارة لكل منها. هذا تمرين على الورق — لا تُدخَل أي بيانات عملاء، ولا بيانات مالية شخصية، ولا أي شيء سري، في أي أداة ذكاء اصطناعي في أي مرحلة؛ وإن أردت مثالًا عمليًا تستدل عليه، فاستخدم فقط الإفصاحات التنظيمية العامة، أو سجلات اصطناعية، أو مادة أُزيلت منها الهوية.

حالة الاستخدام، بوصف عام:
البيانات: أي مصدر، ومن يملك النسخة الذهبية، وهل يمكن إثبات تتبّع المصدر من البداية إلى النهاية؟
التكامل: أي نظام أساسي، ودورة إصدار من، وأين تظهر المخرجات؟
الحوكمة: فئة النموذج، ومن يتحقق منه، وأي لجنة تعتمده، وكم طول طابور الانتظار؟
الملكية: مالك خط الدفاع الأول، وعتبات المراقبة، ومن يوقفه؟
المورّد: من يقدّم النموذج، وماذا يحدث عند تحديثه، وما خطة الخروج؟
أبكر إشارة يمكن رصدها لكل إخفاق:
كيف تعرف أنها نجحت
  • أنتجت كل فئة من الفئات الخمس إخفاقًا محددًا، لا قلقًا عامًا
  • تستطيع تسمية الشخص المساءَل عن كل منها، أو أنك اكتشفت ثغرة حقيقية
  • إخفاق واحد على الأقل لن يظهر إلا بعد الإطلاق ما لم تضف مراقبة الآن
  • لم يكن أي شيء استخدمته في التمرين مادة تخص العملاء أو بيانات مالية شخصية أو مادة سرية