مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.
◆ البيانات

جمع الحالات الحقيقية

⁧من أين تأتي حالات التقييم، الأفضل أولاً⁩⁧مرتّبة حسب ما تخبرك به النتيجة الناجحة عن السلوك الفعلي⁩1⁧حركة التشغيل الفعلي الحقيقية⁩⁧مدخلات أرسلها مستخدموك فعلاً، مسحوبة من التوزيع كله⁩⁧المصدر الوحيد المطابق للواقع⁩2⁧إخفاقات وحوادث حقيقية⁩⁧كل ما فشل من قبل، محفوظ دائماً كحالة تراجع⁩⁧كل واحدة تدفع ثمنها مرة واحدة فقط⁩3⁧تذاكر الدعم والشكاوى⁩⁧حيث أخبرك المستخدمون بالخطأ، بكلماتهم وفي سياقهم⁩⁧منحازة للأعلى صوتاً، لكنها حقيقية⁩4⁧حالات حدّية يكتبها خبراء⁩⁧الحالات النادرة والصعبة التي يعرف الخبير أن يخشاها⁩⁧تغطي ما لم تصل إليه الحركة بعد⁩5⁧حالات اصطناعية ومولّدة⁩⁧صيغ يكتبها نموذج لتسدّ فجوة تغطية محدّدة⁩⁧لسدّ الفجوات، لا كأساس أبداً⁩⁧الخطوة التي تُبقي المجموعة ممثِّلة لا منتقاة على المزاج⁩1⁧اجمع المرشّحات⁩⁧كل ما يصلح من⁩⁧المصادر أعلاه، قبل⁩⁧أن يختار أحد ما يفضّله.⁩2⁧قسّمها إلى طبقات⁩⁧قسّم حسب ما يغيّر⁩⁧الصعوبة فعلاً: النوع،⁩⁧الطول، اللغة، المستخدم.⁩3⁧اسحب عيّنات من كل طبقة⁩⁧اسحب من كل طبقة حتى⁩⁧لا تُقرَّب الشرائح النادرة⁩⁧والحقيقية إلى الصفر.⁩4⁧جمّد وأعطِ رقم إصدار⁩⁧اقفل المجموعة، سجّل كيف⁩⁧سُحبت، ولا تغيّرها⁩⁧إلا عن قصد.⁩⁧احتفظ بالحالات المثيرة وحدها، فتصف النتيجة ذوقك لا النظام⁩⁧يجب أن تشبه المجموعة الحركة الفعلية، بما فيها الأغلبية المملة التي لا يريد أحد كتابتها⁩⁧كل حادثة حالة مجانية — الجزء المكلف وقع بالفعل، فاحتفظ بها على الأقل⁩
⁧الحالات التي تخترعها تختبر النظام الذي تخيّلته — والتي تجمعها تختبر ما قابله مستخدموك فعلاً⁩

التشغيل الفعلي هو المصدر الصادق الوحيد

الحالات التي تُخترع في غرفة اجتماعات تعكس افتراضاتك عن طريقة الاستخدام؛ أما الحالات المسحوبة من السجلات فتعكس الاستخدام نفسه. ويظهر الفرق فورًا — فالمدخلات الحقيقية أكثر فوضى وأقصر وأكثر غموضًا، ومليئة بالأخطاء الإملائية والتنسيقات الملصوقة والسياق (Context) الناقص، وبأسئلة لم يُصمَّم المنتج أصلًا للإجابة عنها. هذه الفوضى هي التوزيع الذي تخدمه فعلًا، ومجموعة اختبارات تُبنى بدونها ستُظهر درجات عالية لنظام يجده المستخدمون غير موثوق. لذلك فإن أول قرار في البنية التحتية لأي منتج ذكاء اصطناعي (AI) هو تسجيل مصمَّم لإعادة التشغيل: المدخل كاملًا، والسياق المسترجَع، والتعليمات المجمَّعة، واستدعاءات الأدوات ونتائجها، والمخرج النهائي، وبيانات وصفية كافية لإعادة بناء التشغيل. بدون سجلات قابلة لإعادة التشغيل يمكنك جمع الشكاوى، لكنك لا تستطيع بناء حالات منها.

  • سجّل لإعادة التشغيل لا لتصحيح الأخطاء فقط — التقط السياق والتعليمات المجمَّعة
  • المدخلات الحقيقية أكثر فوضى من المتخيَّلة بطرق تغيّر النتائج
  • سجّل البيانات الوصفية التي ستحتاج إلى التقسيم بحسبها لاحقًا: القناة، والشريحة، واللغة، والحجم

أخذ العيّنات عن قصد

لا يمكنك تصنيف كل شيء، لذا فطريقة أخذك للعيّنات تحدّد ما تستطيع مجموعة الاختبارات رؤيته. العيّنة العشوائية تعطيك صورة غير متحيّزة للمسار الشائع، وتكاد لا تغطي الإخفاقات النادرة. والعيّنة الطبقية عبر الشرائح التي تهمّك تضمن تمثيل كل شريحة بما يكفي لقياسها. والعيّنة المرجَّحة بالإخفاق تستهدف الجلسات التي تحمل إشارات ضيق ضمنية — إعادة المحاولة، وإعادة الصياغة، والتخلّي، والتصعيد إلى موظف بشري، والتقييم السلبي — وهناك تتركّز الحالات الأعلى قيمة. أما عيّنة الجِدّة فتختار مدخلات لا تشبه أي شيء موجود في المجموعة، باستخدام المسافة بين التضمينات (Embeddings)، وبها تمنع المجموعة من التحجّر حول حركة الربع الماضي. شغّل الأساليب الأربعة بميزانية ثابتة لكل منها، وسجّل الأسلوب الذي أنتج كل حالة، كي تفكّر في المزيج الناتج بدل أن ترثه دون وعي.

  • العشوائية للخط الأساسي، والطبقية للتغطية، والمرجَّحة بالإخفاق للقيمة
  • الإشارات الضمنية — إعادة المحاولة، وإعادة الصياغة، والتخلّي، والتصعيد — تفوق الملاحظات الصريحة حجمًا
  • عيّنة الجِدّة بالمسافة بين التضمينات تمنع المجموعة من التحجّر
  • وسّم كل حالة بمصدر عيّنتها؛ فالمجموعة المجهولة التركيب لا يمكن تفسيرها

الحالات الاصطناعية وسقفها

يستحق التوليد الاصطناعي مكانه في ثلاثة مواقف محددة: قبل الإطلاق حين لا توجد حركة استخدام، وفي السيناريوهات النادرة الحرجة التي لن توفّرها البيانات الحقيقية بأعداد مفيدة، وفي التعديل المنهجي للحالات الموجودة — الطلب نفسه بلغة أخرى، أو مع خطأ إملائي، أو بتنسيق غير مألوف، أو بعشرة أضعاف الطول. أما ما لا تفعله البيانات الاصطناعية فهو أن تخبرك بما سيسأله المستخدمون فعلًا، لأنها تُولَّد من الافتراضات نفسها التي تحملها تعليماتك أصلًا، وترث الأسلوب المعتاد للنموذج الذي ولّدها. والمجموعة الاصطناعية في معظمها تميل إلى أن تكون نظيفة ومتجانسة وأسهل من الواقع بهدوء. استخدم الحالات الاصطناعية لسدّ فجوات معروفة، وميّزها بوضوح، وعامل استبدالها بحالات حقيقية كعمل مستمر لا كتنظيف اختياري.

  • مفيدة للبداية الباردة، والسيناريوهات النادرة الحرجة، والتعديل المنهجي
  • ضعيفة في توقّع نية المستخدم الحقيقية — فهي ترث افتراضاتك
  • ضع وسمًا صريحًا على الحالات الاصطناعية وتابع نسبتها من المجموعة
  • تعديل الحالات الحقيقية أعلى قيمة عادةً من توليد حالات جديدة

الخصوصية والموافقة والتعامل مع البيانات

بيانات التشغيل الفعلي هي أفضل مصدر للتقييم (Eval)، وهي أيضًا المصدر الذي يحمل وزنًا قانونيًا. قبل أن تصل محادثة حقيقية واحدة إلى أي مستودع، احسم أربعة أسئلة: هل يغطي إشعار الخصوصية والأساس القانوني لديك الاستخدام الثانوي للاختبار، وما الذي يُحجب أو يُستبدل بأسماء مستعارة عند الإدخال، ومن يستطيع قراءة مجموعة التقييم، وكم مدة الاحتفاظ بالحالات. خطوط كشف البيانات الشخصية وحجبها معتادة لكنها غير كاملة، لذا اقرنها بضوابط الوصول بدل الاعتماد عليها وحدها. وفي المجالات الخاضعة للتنظيم، توقّع أن يكون بناء بدائل واقعية بالحد الأدنى — بالبنية والصعوبة نفسيهما مع معرّفات اصطناعية — هو الطريق الوحيد الممكن، وخصّص ميزانية للعمل الإضافي. والإخفاق الذي يجب تجنّبه هو الشائع: مجموعة بيانات مرجعية من سجلات عملاء حقيقية موجودة في مستودع كود عام لأن أحدًا لم يطرح السؤال مبكرًا.

  • تأكّد من الأساس القانوني وتغطية الإشعار للاستخدام الثانوي قبل الجمع
  • احجب البيانات أو استبدلها بأسماء مستعارة عند الإدخال، ثم اضبط الوصول إلى المجموعة مع ذلك
  • ضع قواعد احتفاظ للحالات كما تفعل مع السجلات التي أُخذت منها
  • في المجالات الخاضعة للتنظيم، خطّط من البداية لبدائل تحافظ على البنية