مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

الاختبار في ظل عدم الحتمية

⁧اختبار شيء يجيب بشكل مختلف في كل مرة⁩⁧مُدخل واحد ثابت⁩⁧التعليمات نفسها، النموذج نفسه،⁩⁧الأدوات نفسها، لم يتغيّر شيء⁩⁧شغّله مرة بعد مرة⁩⁧تشتّت المخرجات الذي تحصل عليه فعلًا⁩⁧نطاق التسامح — التفاوت الذي تقبله⁩⁧شاذّة⁩⁧شاذّة⁩⁧أوجز، أخفّ، خطوات أقل⁩⁧أطول، أكثر تفصيلًا، خطوات أكثر⁩⁧الاختبار الذي لن ينجح⁩⁧اشتراط نص مخرجات واحد بعينه من تشغيل واحد: يفشل عند إعادة صياغة غير ضارة،⁩⁧وينجح مع هراء واثق يتطابق مصادفةً.⁩⁧ماذا تفعل بدلًا من ذلك⁩⁧شغّله مرات عديدة⁩⁧التشغيل الواحد حكاية. أبلغ عن⁩⁧نسبة النجاح عبر تشغيلات متكررة⁩⁧وعامل النجاح الواحد كضجيج.⁩⁧تحقّق من الثوابت⁩⁧مخطط صالح، حقول مطلوبة،⁩⁧الأداة الصحيحة، لا تسريب للسياق⁩⁧— لا الصياغة التي اختارها بالضبط.⁩⁧استخدم نطاقات التسامح⁩⁧اقبل مدى، وأطلق تنبيهًا حين⁩⁧ينحرف التوزيع لا حين⁩⁧يخرج تشغيل واحد عن النطاق.⁩⁧ثبّت ما يمكن تثبيته⁩⁧ثبّت درجة الحرارة والبذرة، وجمّد⁩⁧إصدار النموذج والتعليمات، وسجّل⁩⁧كل ذلك بجانب النتيجة.⁩⁧المجموعة المتقلّبة غالبًا تشترط الصياغة — ثبّت ما تستطيع، وتحقّق مما يجب أن يكون صحيحًا⁩
⁧التشتّت سلوك طبيعي للنظام لا خطأ برمجي — لذا يجب أن تختبر المجموعة التوزيع، لا عيّنة محظوظة⁩

من أين يأتي التباين

لعدم الحتمية (Non-determinism) في هذه الأنظمة مصادر مستقلة عدة، ومعرفة أيّها تواجه تحدد ما يجب فعله. أخذ العيّنات (Sampling) هو المصدر الواضح والوحيد الذي تتحكم فيه مباشرة. وتحته تكمن عدم الحتمية العددية: فترتيب عمليات الجمع للأعداد العشرية يتغير مع التجميع في دفعات واختيار النواة الحسابية على وحدات GPU، لذا حتى فك الترميز الجشع (Greedy decoding) ليس قابلًا لإعادة الإنتاج بدقة البت عبر أسطول خوادم مشترك، والمزوّدون عمومًا لا يضمنون غير ذلك. ثم هناك البيئة — أدوات تُرجع بيانات مختلفة، وطوابع زمنية، ونشاط متزامن لمستخدمين آخرين، وتقلبات الشبكة. وأخيرًا المزوّد نفسه: النماذج المستضافة تُحدَّث، وقد يتغير السلوك تحت اسم ثابت. درجة الحرارة (Temperature) صفر تقلل التباين كثيرًا لكنها لا تلغيه، ولهذا تكون المعالجة الإحصائية هي الأساس لا الخطة البديلة.

  • أخذ العيّنات، وأثر التجميع في دفعات على الأعداد العشرية، وحالة البيئة، والتغييرات من جهة المزوّد
  • فك الترميز الجشع ليس ضمانًا للحتمية على بنية تحتية مشتركة
  • ثبّت إصدارات النماذج حيث تسمح المنصة وسجّلها مع كل نتيجة
  • صمّم لاستيعاب التباين بدل محاولة إزالته هندسيًا

التشغيلات والمعدّلات وأين تنفق

تعامل مع التباين بتشغيل كل سيناريو عدة مرات والتحقق من المعدّل. هناك صياغتان مفيدتان تجيبان عن سؤالين مختلفين: احتمال نجاح محاولة واحدة، واحتمال نجاح جميع المحاولات الـ k — والثانية مهمة حين لا يرى المستخدم إلا محاولة واحدة ويكون أي فشل ظاهرًا. وفي الأتمتة غير المراقَبة، يكون الاتساق عبر التشغيلات في الغالب أهم من ذروة القدرة، وعرض أسوأ تشغيل ملحوظ إلى جانب المتوسط يلتقط ذلك. وبميزانية ثابتة، تميل المقايضة المعتادة إلى المزيد من الحالات لا المزيد من التشغيلات لكل حالة، لأن تنوّع الحالات يأخذ عيّنات من توزيع المدخلات بينما التشغيلات الإضافية تحسّن التقدير فقط لمدخلات لديك أصلًا — باستثناء السيناريوهات التي تعرف مسبقًا أنها على الحافة، فهنا تحديدًا تكون التشغيلات الإضافية هي ما يحسم أمرها.

  • اعرض معدّل النجاح لا نصًا واحدًا لتشغيل؛ فالتشغيل المحظوظ ليس دليلًا
  • الاتساق عبر التشغيلات أهم من الذروة في الأتمتة غير المراقَبة
  • الميزانية تشتري عادةً أكثر من الحالات الإضافية لا من التشغيلات الإضافية
  • أنفق التشغيلات الإضافية على السيناريوهات المعروف أنها على الحافة

حالة متذبذبة أم نظام متراجع

حين تبدأ حالة بالفشل بشكل متقطع، عليك أن تميّز بين ثلاثة تفسيرات تستدعي استجابات متعاكسة. النظام تراجع فعلًا وانخفض معدّل النجاح — فابحث وأصلح. أو أن الحالة كانت دائمًا على الحافة، قريبة من حدود قدرة النظام، وأصبح التباين الطبيعي ظاهرًا الآن — فسجّل معدّلها الحقيقي وتعامل مع أي تحرك فيه كإشارة. أو أن الحالة أو البيئة معطوبة: توقعات ملتبسة، أو حالة تتسرب بين التشغيلات، أو اعتمادية خارجية غير موثوقة. معدّلات النجاح التاريخية تحسم هذا فورًا، وهذه هي الحجة لتخزين كل تشغيل لا آخر حكم فقط. فالحالة التي ظل معدّلها ثابتًا عند سبعين بالمئة لأشهر وما زال ثابتًا عند سبعين بالمئة اليوم لم تتراجع، مهما بدت العلامة الحمراء في التقرير مزعجة.

  • خزّن كل تشغيل كي تتوفر المعدّلات التاريخية وقت الفرز
  • الحالات الحدّية تعيش قرب حدود القدرة — إنها مفيدة لا معطوبة
  • الإخفاقات المعتمدة على الترتيب تشير إلى حالة البيئة لا إلى النموذج
  • اعزل الحالات المعطوبة فعلًا؛ ولا تحذف أبدًا حالة لمجرد أنها تفشل كثيرًا

جرّب بنفسك

تشغيل واحد حكاية لا قياس. هذه أرخص طريقة لتعرف كم يتحرك نظامك من تلقاء نفسه قبل أن تنسب إلى تغيير ما أنه حرّكه.

◆ جرّبها بنفسك

خذ سيناريو واحدًا من ورقة حالاتك لميزة تطلقها أو تبنيها أو تستخدمها يوميًا — وإن لم تكن لديك ميزة خاصة، فاستخدم تعليمات ترسلها كثيرًا إلى منتج ذكاء اصطناعي تعتمد عليه. اكتب ما يُعدّ نجاحًا، ثم شغّل السيناريو عشر مرات دون تغيير وعُدّ مرات النجاح. بعد ذلك أجرِ تغييرًا واحدًا تؤمن به فعلًا — صياغة التعليمات، أو النموذج، أو إعداد الاسترجاع — وشغّل السيناريو نفسه عشر مرات أخرى. قارن العددين باستخدام الحساب أدناه قبل أن تخبر أحدًا أن التغيير نجح. والقول «النتيجة متقاربة جدًا ولا يمكن الحسم» نتيجة حقيقية، وهي ما يحافظ على مصداقية الرقم في المرة القادمة.

السيناريو: [مدخل حقيقي واحد]
يُعدّ نجاحًا حين: [يُكتب قبل أي تشغيل]

قبل التغيير: مرات النجاح من 10 = __
بعد التغيير:  مرات النجاح من 10 = __
الفرق:        __ من 10

مقدار التذبذب المتوقع: تقريبًا 1 مقسومًا على الجذر التربيعي لعدد التشغيلات.
عشرة تشغيلات: 1 مقسومًا على 3.16 يساوي نحو 0.3 — أي نحو 3 من 10.
أي فرق أصغر من ذلك ضوضاء لا دليل.

الحكم: تحرّك حقيقي / متقارب جدًا ولا يمكن الحسم / يستحق تشغيلات إضافية
كيف تعرف أنها نجحت
  • شرط النجاح كُتب قبل أول تشغيل من التشغيلات العشرين
  • لديك عددان من عشرة والفرق مكتوب كرقم، لا انطباعان
  • حكمك واحد من الخيارات الأمينة: تحرّك حقيقي، أو متقارب جدًا ولا يمكن الحسم بعشرة تشغيلات