مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

كلفة غياب التقييم

⁧ما الذي يكلّفك إياه غياب التقييم فعلاً⁩⁧خمسة أعراض تُعالَج كلٌّ على حدة، وكلها ترجع إلى الشيء الغائب نفسه⁩⁧تراجعات وصلت إلى المستخدمين⁩⁧بدا لك التعديل سليمًا،⁩⁧فأطلقته. ثم اكتشف⁩⁧مستخدم ما فاتك،⁩⁧وأعلن ذلك على الملأ.⁩⁧لا سبيل للمقارنة⁩⁧صيغتان مرشحتان للتعليمات.⁩⁧كلتاهما معقولة. فتختار⁩⁧التي كتبتها⁩⁧أخيرًا.⁩⁧إصلاحات بلا نهاية⁩⁧تُصلح الحالة التي⁩⁧أمامك وتُفسد⁩⁧ثلاثًا لا تنظر⁩⁧إليها. ولا أحد يلاحظ.⁩⁧عالق مع نماذج قديمة⁩⁧صدر نموذج أحدث. ولا⁩⁧تستطيع إثبات أنه أفضل⁩⁧لمهمتك، فلا⁩⁧تطرح فكرة الانتقال.⁩⁧إصدارات بطيئة ومتوجّسة⁩⁧كل إصدار تخمين،⁩⁧فيحتاج إلى اجتماع⁩⁧وموافقة وشخص⁩⁧يراقبه طوال الليل.⁩⁧قدرة واحدة غائبة: القياس⁩⁧لا طريقة قابلة للتكرار لمعرفة هل جعل التعديلُ النظامَ أفضل أم أسوأ⁩⁧ما تستعيده حتى أبسط مجموعة تقييمات⁩⁧اكتشفه قبل المستخدمين⁩⁧الحالة الفاشلة توقف⁩⁧الإصدار بدل أن تظهر⁩⁧لاحقًا في شكل شكوى.⁩⁧قارن بين مرشّحَين⁩⁧الحالات نفسها، التقييم نفسه.⁩⁧الأفضل يفوز بالرقم،⁩⁧لا بمن طلبه.⁩⁧شاهد الآثار الجانبية⁩⁧الإصلاح الذي يُفسد ثلاث⁩⁧حالات أخرى يظهر في⁩⁧التشغيل نفسه.⁩⁧برّر الترقية⁩⁧درجة على مهمتك أنت⁩⁧هي الحجة. أما معايير⁩⁧القياس من المورّد فلا.⁩⁧كل واحدة من هذه التكاليف الخمس هي الشيء الغائب نفسه بوجه مختلف⁩⁧لست بطيئًا لأن العمل صعب — بل لأن لا شيء يخبرك أنه آمن⁩⁧أرخص مجموعة تقييمات عشرون حالة وجدول بيانات، ومع ذلك تتفوق على الرأي⁩
⁧خمس مشكلات تبدو منفصلة، وسبب جذري واحد — ولا يمكن حل أي منها دون قياس شيء ما⁩

تصبح عاجزًا عن الترقية

أغلى عواقب غياب التقييم (Eval) استراتيجية لا تشغيلية: تفقد القدرة على الحركة. النماذج الجديدة تصل باستمرار، وكل منها قد يكون قفزة في الجودة أو انخفاضًا في الكلفة. الفريق الذي يملك منظومة موثوقة يشغّلها على النموذج الجديد، ويقرأ الفروق شريحةً شريحة، ويقرّر خلال يوم. والفريق الذي لا يملكها يقف أمام خيارين: إطلاق تغيير غير مقاس إلى التشغيل الفعلي، أو عدم فعل شيء. ومعظمهم لا يفعل شيئًا، وهذا يبدو آمنًا وهو ليس كذلك — فأسطول النماذج يتحرّك، وسلوكيات التعليمات تتبدّل من تحتهم، وإشعارات الإيقاف تصل بتواريخ ثابتة، والانتقال يحدث في النهاية على أي حال، تحت ضغط الوقت، ومن دون أي وسيلة لمعرفة ما الذي تعطّل. التقييم يحوّل تقلّب النماذج من أزمة متكرّرة إلى ترقية روتينية مملة.

  • المنظومة الخضراء تصريح بتبنّي نموذج جديد في أسبوع صدوره
  • مواعيد إيقاف النماذج لا تقبل التفاوض — والانتقال بلا قياس قفزة في المجهول
  • النماذج الأرخص لا تصلح للاستخدام إلا إذا استطعت إثبات أنها تحافظ على الجودة في مهامك

التطوير المدفوع بالحوادث

من دون قياس، تمر حلقة التغذية الراجعة عبر مستخدميك ثم عبر طابور الدعم لديك. والنمط مألوف: تصل شكوى، فيعيد أحدهم إنتاجها يدويًا، وتُرقَّع التعليمات، ويُطلق الإصلاح من دون التحقق منه إلا على تلك الحالة الواحدة، وبعد شهر يظهر إخفاق ذو صلة غالبًا ما سبّبه الترقيع نفسه. يُستنزف وقت الهندسة في فرز تفاعلي، بينما تبقى الجودة الفعلية للنظام ثابتة أو تنحدر. يشعر الفريق بالانشغال ولا يستطيع إظهار أي تقدّم، لأنه لا يوجد رقم يتحرّك. وفي الأثناء يتشكّل حكم المؤسسة على أي حال — يقرّر أصحاب المصلحة أن ميزة الذكاء الاصطناعي غير موثوقة استنادًا إلى الأدلة القصصية نفسها التي استخدمتها لبنائها، ولا يستطيع أحد أن يجادل لأنه لا أحد يملك بيانات.

  • الإصلاح بناءً على الحكايات يولّد من التراجعات بقدر ما يُصلح
  • غياب المقياس يعني غياب أي وسيلة لإثبات التحسّن لمن يدفع ثمنه
  • الثقة حين تُفقد داخليًا تكون إعادة بنائها أغلى بكثير من بناء منظومة تقييم

ضريبة البناء المتأخر

كل فريق يبني منظومة تقييم في النهاية. والمتغيّر الوحيد هو هل يبنيها مبكرًا وبكلفة زهيدة أم متأخرًا وبكلفة باهظة. البناء المبكر يكلّف بضعة أيام: سجّل المدخلات الحقيقية، وصنّف مجموعة صغيرة يدويًا، واكتب المصحّحات بينما أنماط الإخفاق ما زالت حاضرة في الذهن. أما البناء المتأخر فيعني إعادة تركيب الإجابة المرجعية (Ground truth) لنظام يعمل أصلًا في التشغيل الفعلي، بسجلات لم تُصمَّم يومًا لإعادة التشغيل، وبمخرجات متوقعة لم يسجّلها أحد، ومع موعد نهائي مرفق — عادةً انتقال إلى نموذج آخر أو حادثة. ضريبة البناء المتأخر حقيقية، وتُفرض في أسوأ لحظة. والحجة المضادة دائمًا أن الوقت مبكر جدًا وأن المنتج ما زال يتغيّر. لكن المنظومة هي الطريقة التي تتعلّم بها ما ينبغي أن يكون عليه المنتج؛ وتأجيلها يؤجّل التعلّم، لا القياس وحده.

  • عشرون حالة حقيقية مصنّفة هذا الأسبوع أفضل من إطار شامل في الربع القادم
  • سجّل المدخلات والمخرجات والسياق من اليوم الأول — لا يمكنك تصنيف ما لم تحتفظ به
  • «الوقت مبكر على التقييم» تعني غالبًا «الوقت مبكر لنعرف إن كان هذا يعمل»، وهذه بالضبط حجة لصالح التقييم