مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

التطوير المدفوع بالتقييم

⁧حلقة التطوير المدفوع بالتقييم⁩⁧مجموعة التقييم⁩⁧حالات · سلوك متوقَّع · أدوات تصحيح⁩⁧1 · ابنِ⁩⁧التعليمات · النموذج⁩⁧الاسترجاع · الأدوات⁩⁧2 · شغّل التقييمات⁩⁧قيّم كل حالة⁩⁧تلقائيًا⁩⁧3 · حلّل الأخطاء⁩⁧اقرأ حالات الفشل،⁩⁧وصنّف أسبابها الحقيقية⁩⁧4 · أصلح شيئًا واحدًا⁩⁧لتعرف ما الذي⁩⁧حرّك الرقم⁩⁧5 · أعد التشغيل⁩⁧المجموعة نفسها، مقارنةً⁩⁧بالدرجة السابقة⁩⁧ما زال يفشل — حلّل من جديد، لا تخمّن من جديد⁩⁧ينجح⁩⁧أطلِق⁩⁧الدرجة تتجاوز الحد⁩⁧التشغيل الفعلي — التوزيع الحقيقي⁩⁧المستخدمون الحقيقيون يسلكون مسارات لم تضمّها مجموعة التقييم⁩⁧تقييمات سلبية، شكاوى، إجابات خاطئة بصمت⁩⁧كل حادثة حالة كانت تنقصك⁩⁧حالات الفشل تصبح حالات تقييم جديدة⁩⁧لا تُحكم الحلقة إلا إذا نمت مجموعة التقييم من الواقع — والمجموعة الجامدة تكفّ عن اكتشاف أي شيء⁩
⁧التقييمات تجعل الإطلاق حلقة مقيسة — وكل فشل في التشغيل الفعلي حالة اختبار ناقصة، لا مجرد حادثة⁩

تحليل الأخطاء يأتي أولًا

أكثر الأخطاء شيوعًا عند بدء ممارسة التقييم (Eval) هو اختيار المقاييس قبل النظر في البيانات. والترتيب الذي ينجح هو العكس: اسحب عيّنة من آثار التتبّع (Traces) الحقيقية — بما يكفي لرؤية الأنماط، وتُراجَع بعناية لا بنظرة عابرة — واقرأها واحدًا واحدًا، مدوّنًا ملاحظة قصيرة حرة على كل إخفاق. ثم اجمع هذه الملاحظات في فئات إخفاق تنبثق مما رأيته، لا من قائمة نزّلتها من الإنترنت. والتوزيع مفاجئ في الغالب ومتركّز في الغالب: عدد قليل من الفئات يفسّر معظم الإخفاقات، ونادرًا ما تكون هي الفئات التي كان الفريق يتجادل حولها. الآن فقط تبني المقاييس، وتبنيها لأكبر الفئات أولًا. المقاييس المختارة قبل تحليل الأخطاء تقيس ما يسهل قياسه؛ والمقاييس المختارة بعده تقيس ما يتعطّل فعلًا.

  • اقرأ آثار التتبّع قبل كتابة المصحّحات — يجب أن يأتي التصنيف من بياناتك
  • الترميز المفتوح ثم التجميع: ملاحظات حرة أولًا، ثم الفئات
  • توزيعات الإخفاق متركّزة — أصلح أكبر فئة، لا أعلى شكوى صوتًا
  • كرّر تحليل الأخطاء دوريًا؛ فالتوزيع يتغيّر كلما أصلحت شيئًا

حلقة التطوير

يعمل التطوير المدفوع بالتقييم وفق الحلقة نفسها التي يعمل بها التطوير المدفوع بالاختبارات، مع معدّلات بدل التأكيدات. لاحظ إخفاقًا في التشغيل الفعلي أو في التحليل. اكتبه في مجموعة التقييم حالةً مع مصحّح، وتأكد أن النظام الحالي يفشل فيها — فالحالة التي تنجح قبل أن تغيّر أي شيء لا تقيس شيئًا. أجرِ التغيير: في التعليمات، أو الاسترجاع، أو الأداة، أو النموذج، أو تدفّق التحكم. شغّل المنظومة كاملة، لا الحالة الجديدة وحدها، واقرأ الفروق في الاتجاهين — ما الذي تحسّن وما الذي تراجع. اقبل التغيير فقط إذا تحرّك المجموع في الاتجاه الصحيح ولم تتدهور أي شريحة حرجة. ثم أطلق، وراقب التشغيل الفعلي، وابدأ من جديد. والانضباط الذي يجعل هذا ينجح هو تشغيل المنظومة كاملة في كل مرة؛ فكل قيمة هذه الممارسة في التقاط التراجع الذي لم تكن تبحث عنه.

  • يجب أن تفشل الحالة الجديدة أولًا، وإلا فمصحّحك لا يختبر ما تظن
  • شغّل المنظومة كاملة دائمًا — فالمقصود هو التراجع الذي لم تتوقعه
  • اقرأ المكاسب والخسائر كلًا على حدة؛ فالمتوسط الثابت قد يخفي تبادلًا كبيرًا بينهما
  • احفظ التعليمات والمصحّح والحالات معًا في الإيداع نفسه كي تكون أي نتيجة قابلة لإعادة الإنتاج

من يملك تعريف الجيد

التقييم يجسّد حكمًا على المنتج، لذا يجب أن يملكه شخص لديه سلطة على المنتج. نمط الإخفاق هو تفويض معايير التقييم (Rubric) إلى من يكتب الإطار المحيط (Harness)، وهذا يسلّم تعريف الجودة بهدوء إلى مهندس يُحسِّن ما يسهل تصحيحه. والنمط الذي ينجح هو خبير واحد في المجال مسؤول ومساءَل — الطبيب، أو المحامي، أو قائد فريق الدعم، أو محلّل الأمن — يصنّف الحالات بنفسه في البداية، ويحسم الخلافات حول ما يُعدّ صحيحًا، ويبقى في الحلقة حَكَمًا حين يختلف النموذج الحَكَم مع المراجعين. المهندسون يبنون الآلية؛ والخبير يملك الإجابة المرجعية. وحين يملك عدة أصحاب مصلحة حق النقض على تعريف الصحيح، تنجرف المعايير إلى لغة لجان مبهمة لا يمكن تصحيحها بشكل موثوق.

  • مالك واحد مساءَل عن الإجابة المرجعية أفضل من لجنة بمستند مشترك
  • خبراء المجال يصنّفون الحالات الأولى بأنفسهم — لا تُسند مجموعة البذرة إلى غيرهم
  • المهندسون يملكون المصحّحات والإطار المحيط؛ والخبير يملك معنى الصحيح

اجعله روتينًا

الممارسات التي تعتمد على حسن النية تذبل. اربط الحلقة بآليات إطلاق الفريق نفسها: مجموعة فرعية سريعة مع كل طلب دمج (Pull request)، والمنظومة كاملة كل ليلة، والنتائج منشورة حيث ينظر الفريق أصلًا، وموعد ثابت يراجع فيه أحدهم عيّنة من آثار التتبّع في التشغيل الفعلي ويضيف حالات جديدة. أبقِ المجموعة الفرعية السريعة سريعة فعلًا، لأن المنظومة التي تستغرق نصف ساعة يتوقف الناس عن تشغيلها قبل أي تغيير. وتابع حجم مجموعة التقييم وتغطيتها كمقياس قائم بذاته — فالمنظومة التي لم تكبر منذ شهرين إما منتج مكتمل وإما ممارسة مهجورة، ونادرًا ما تكون الأولى.

  • مجموعة فرعية سريعة مع كل تغيير، والمنظومة كاملة كل ليلة، والاتجاهات ظاهرة افتراضيًا
  • موعد متكرّر لمراجعة آثار التتبّع هو ما يُبقي المجموعة متصلة بالواقع
  • تعامل مع نمو مجموعة التقييم كمقياس لصحة الفريق، لا المنتج وحده

جرّبها بنفسك

كل ما في هذا الدرس يقوم على امتلاك حالات جاءت من الواقع لا من الذاكرة. عشر حالات تكفي للبدء، وهذه هي الظهيرة التي تحدّد إن كان باقي الدورة نظرية أم عملًا.

◆ جرّبها بنفسك

اختر ميزة ذكاء اصطناعي واحدة تطلقها أو تبنيها أو تستخدمها كل يوم — وإن لم تكن لديك واحدة، فاختر منتج ذكاء اصطناعي تعتمد عليه واعتبر استخدامك له في آخر أسبوعين هو السجل. اجمع عشرة مدخلات حقيقية من السجلات أو تذاكر الدعم أو جلساتك الأخيرة، واكتب كيف تبدو الإجابة الجيدة لكل منها قبل أن تشغّل أي شيء. استخدم ورقة حالات التقييم (Eval Cases Sheet) على /templates/eval-cases-template.csv كي لا تخترع الأعمدة بنفسك؛ صفوفها الأولى تغطي مهمة أساسية، وحالة صعبة، وحالة تنقصها معلومات، وحالة يجب رفضها، وحالة تنسيق. ثم شغّل الحالات العشر وعُدّ كم منها جاءت نتيجته مقبولة. الحالات التي تُكتب بعد رؤية المخرجات لا تصف إلا ما حصلت عليه، ولهذا يهم الترتيب أكثر من العدد.

كيف تعرف أنها نجحت
  • المدخلات العشرة كلها منسوخة من استخدام حقيقي — سجلات أو تذاكر أو جلساتك أنت — ولم يُخترع أي منها على المكتب
  • كل سطر يصف الإجابة الجيدة كُتب قبل تشغيل النظام على تلك الحالة
  • تستطيع أن تعبّر عن النتيجة كعدد من عشرة، وأن تسمّي حالة واحدة على الأقل فشل فيها النظام

كيف ينطبق هذا عليّ؟

مستخدم عام

التطوير المدفوع بالتقييم يعني أن الفريق يحدّد كيف يبدو «الصحيح»، ويقيسه، ولا يطلق إلا التغييرات التي تحرّك الرقم في الاتجاه الصحيح. إن كنت تشتري ميزة ذكاء اصطناعي أو تعتمد عليها، فهذه الممارسة هي الفرق بين منتج يتحسّن ومنتج يتغيّر فحسب.

  • اسأل أي مورّد ذكاء اصطناعي كيف يعرف أن الإصدار الجديد أفضل من سابقه
  • «اختبرناه جيدًا» من دون رقم تعني أن أحدهم جرّب بضعة أمثلة
  • التحسينات التي تشعر بها ولا يستطيع أحد قياسها نادرًا ما تصمد بعد التحديث التالي
متخصص أمن

نضج التقييم من أوضح ما يميّز منتج ذكاء اصطناعي تقوده الهندسة عن عرض تجريبي مرفق بخارطة طريق. وهو أيضًا العدسة التي تحوّل ادعاء المورّد عن جودة الكشف إلى دليل يمكنك تقييمه، لأنه يحاكي اختبارات فعالية الكشف التي يجريها فريقك أصلًا.

  • اسأل المورّد: ما الذي تتضمنه منظومة اختبار الانحدار، ومن يملك الإجابة المرجعية، وما الذي يحكم إطلاق الإصدارات؟
  • ادعاءات جودة الكشف من دون إطار اختبار مجرد حكايات — اطلب رؤية المنظومة التي تدعمها
  • أدِر أي تجربة أولية كتقييم: اتفقوا على معايير إنجاز المهام مسبقًا كي تصحّح التجربة نفسها بنفسها
  • اسأل كيف تحقّق المورّد من النماذج الحَكَمة لديه مقارنةً بالتصنيف البشري — معظمهم لا يملك جوابًا
مطوّر

أجرِ تحليل الأخطاء قبل أن تكتب مصحّحًا واحدًا، ثم ابنِ الحلقة داخل التكامل المستمر (CI) كي تعمل سواء رغب أحد في تشغيلها أم لا. المنظومة التي تطلقها هذا الأسبوع بعشرين حالة أفضل من الإطار الذي تصمّمه للربع القادم.

  • سجّل المدخلات والتعليمات المجمَّعة واستدعاءات الأدوات والمخرجات منذ أول إيداع
  • الحالة الجديدة تفشل أولًا، ثم تغيّر النظام — الانضباط نفسه في التطوير المدفوع بالاختبارات (TDD)
  • ضع الحالات ومعايير التقييم والتعليمات وكود المصحّحات تحت إدارة الإصدارات في مستودع واحد كي تكون النتائج قابلة لإعادة الإنتاج
  • أبقِ المجموعة الفرعية السابقة للدمج تحت بضع دقائق وإلا التفّ الناس عليها
مستشار ذكاء اصطناعي

معظم مشاريع الذكاء الاصطناعي المتعثّرة إخفاقات قياس متنكّرة في زي تقني: لم يتفق أحد على معنى الجيد، فلا أحد يستطيع أن يقول إن كانت التجربة الأولية قد نجحت. ثبّت مجموعة التقييم ومالكها أثناء تحديد النطاق، قبل أن يبدأ أي عمل بناء.

  • اجعل معايير القبول معدّل إنجاز مهام على مجموعة حالات متفق عليها، يُحدَّد قبل البناء
  • سمِّ خبيرًا واحدًا مسؤولًا في المجال عن الإجابة المرجعية — الغموض هنا يُغرق التجارب الأولية
  • خصّص ميزانية صريحة للتصنيف ومراجعة آثار التتبّع؛ فالعملاء يقلّلون من كلفة الاثنين باستمرار
  • سلّم منظومة التقييم كأحد المخرجات — فهي تعيش أطول من كل نموذج يستخدمه العميل