مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.
◆ الأساسيات

الانطباع لا يصمد أمام التوسّع

⁧حين تتوقف عبارة «يبدو أفضل» عن أن تكون إجابة⁩⁧ما يستطيع شخص واحد استيعابه ثابت؛ أما ما يحتاج النظام إلى فحصه فليس كذلك⁩⁧الثقة⁩⁧ما يغطيه⁩⁧الحكم غير الرسمي⁩⁧ما تحتاج إلى⁩⁧معرفته لتكون متأكدًا⁩⁧حيث يتوقف الانطباع⁩⁧عن أن يكون كافيًا⁩⁧مرتفع⁩⁧منخفض⁩⁧الانطباع يكفي هنا⁩⁧ولا يكفي هنا⁩⁧حفنة⁩⁧المئات⁩⁧الحالات والمستخدمون والمراجعون والأسابيع — كلها في ازدياد⁩⁧ما الذي ينهار⁩⁧الحالات تتكاثر⁩⁧عشرة أمثلة يمكنك استيعابها⁩⁧في ذهنك دفعة واحدة. أما⁩⁧مئتا مثال فلا.⁩⁧الذاكرة تخبو⁩⁧لا تتذكر كيف تعاملت نسخة⁩⁧الشهر الماضي مع هذا⁩⁧المُدخل الصعب بعينه.⁩⁧المراجعون يختلفون⁩⁧شخصان يقرآن المخرجات⁩⁧نفسها ويقيّمانها⁩⁧بشكل مختلف، دون معايير تقييم.⁩⁧التراجعات تختبئ⁩⁧التعديل يصلح ما⁩⁧نظرت إليه، ويُفسد بصمت⁩⁧ما لم تنظر إليه.⁩⁧بعد نقطة التقاطع لم تعد تقارن بين أنظمة، بل بين ذكريات⁩⁧نقطة التقاطع ليست محطة تلاحظها — بل محطة تكتشف أنك تجاوزتها⁩⁧دوّن الحالات القليلة ما دامت تتسع لها ذاكرتك، وقيّمها بالطريقة نفسها في كل مرة⁩⁧حين يختلف شخصان على حدوث التحسّن، فقد كنت بحاجة إلى رقم منذ الأمس⁩
⁧الحكم غير الرسمي تقييم أول جيد وتقييم خامس سيئ — ونقطة التقاطع تأتي أبكر مما تتوقع⁩

العرض التجريبي ليس هو النظام

تبدأ كل ميزة ذكاء اصطناعي (AI) بالطريقة نفسها. يكتب أحدهم التعليمات (Prompt)، ويجرّب خمسة أو ستة مدخلات، فتبدو المخرجات جيدة. هذا الانطباع — الحقيقي والصادق والخالي تمامًا من أي معلومة — هو كل الأدلة التي تستند إليها معظم أنظمة الذكاء الاصطناعي المطروحة للاستخدام. وهو ينجح لفترة، لأن الاستخدام المبكر ضيق ولأن من يبني النظام هو نفسه من يختبره. ثم يتوقف عن النجاح لحظة اتساع نطاق المدخلات إلى ما يتجاوز ما تخيّله شخص واحد، لأن الإخفاقات المهمة ليست تلك التي خطر لك أن تجرّبها. الانطباع يقيس تقاطع خيالك مع صبرك، أما المستخدمون فيعيشون في كل ما يقع خارج هذا التقاطع: الذيل الطويل من الصياغات، والمستندات غير المألوفة، والمدخلات العدائية، والمهام متعددة الخطوات التي تبدو فيها الإجابة معقولة وهي خاطئة بصمت.

  • أنت تختبر الحالات التي خطرت لك؛ والمستخدمون يجدون الحالات التي لم تخطر لك
  • سلاسة المخرجات مؤشر ضعيف على الدقة — فالنموذج مُحسَّن ليبدو محقًا
  • الفحوص اليدوية العشوائية تتوسّع خطيًا مع الجهد، بينما يتوسّع تنوّع المدخلات توسّعًا توافقيًا

التراجع الذي لم تره قط

نمط الإخفاق الذي يُنهي التطوير القائم على الانطباع هو التراجع الصامت (Regression). تُحكم تعليمات النظام (System prompt) لتعالج شكوى واحدة، فتكسر بهدوء ثلاثة سلوكيات لم يُعِد أحد اختبارها. تستبدل النموذج بآخر أرخص، وتتأكد أن تعليماتك الخمس المفضلة ما زالت تعمل، فتخسر الدقة في الاثني عشر بالمئة من الطلبات التي تتضمن جداول. تضيف أداة، فيبدأ الوكيل الذكي (Agent) بتفضيلها في مواقف تكون فيها خاطئة. لا شيء من هذا يُنتج استثناءً أو تتبّعًا للأخطاء أو بناءً فاشلًا، بل يُنتج مخرجات أسوأ قليلًا، موزّعة على مستخدمين لا يبلّغ معظمهم عنها. في البرمجيات الحتمية يُعلن التراجع عن نفسه؛ أما في النظام الاحتمالي فيختبئ داخل التباين، حتى يلاحظ أحد كبار المسؤولين أن المنتج صار أسوأ مما كان عليه في الربع الماضي.

  • لتعديلات التعليمات آثار غير موضعية — إصلاح سلوك واحد يُربك سلوكيات أخرى
  • لا شيء يتعطّل: مساحة الإخفاق هي الجودة، لا التوفّر
  • المستخدمون لا يبلّغون عن التدهور بما يكفي؛ بل يلتفّون عليه أو يغادرون
  • من دون خط أساس لا يمكنك التمييز بين تراجع حقيقي ويوم سيئ

ثلاثة أسئلة تكشف الفجوة

لست بحاجة إلى نموذج نضج لتعرف إن كان لدى الفريق مشكلة في التقييم. ثلاثة أسئلة تكفي. الأول: ما نسبة المهام الحقيقية التي يُنجزها النظام بشكل صحيح الآن، وما مدى ثقتك بهذا الرقم؟ الثاني: لو صدر نموذج أفضل هذا الصباح، فكم من الوقت تحتاج لتعرف إن كان يحسّن منتجك؟ الثالث: حين غيّرت التعليمات الأسبوع الماضي، ما الذي صار أسوأ؟ الفريق الذي يملك منظومة تقييم يجيب عن الأسئلة الثلاثة في دقائق، بأرقام وفترات ثقة. والفريق الذي لا يملكها يجيب بحكايات، وبتقدير يمتد لأسابيع، وبالصمت. والفجوة بين الفريقين ليست في الموهبة ولا في الوصول إلى النماذج — إنها بنية القياس، وهي تتراكم شهرًا بعد شهر.