الانطباع لا يصمد أمام التوسّع
العرض التجريبي ليس هو النظام
تبدأ كل ميزة ذكاء اصطناعي (AI) بالطريقة نفسها. يكتب أحدهم التعليمات (Prompt)، ويجرّب خمسة أو ستة مدخلات، فتبدو المخرجات جيدة. هذا الانطباع — الحقيقي والصادق والخالي تمامًا من أي معلومة — هو كل الأدلة التي تستند إليها معظم أنظمة الذكاء الاصطناعي المطروحة للاستخدام. وهو ينجح لفترة، لأن الاستخدام المبكر ضيق ولأن من يبني النظام هو نفسه من يختبره. ثم يتوقف عن النجاح لحظة اتساع نطاق المدخلات إلى ما يتجاوز ما تخيّله شخص واحد، لأن الإخفاقات المهمة ليست تلك التي خطر لك أن تجرّبها. الانطباع يقيس تقاطع خيالك مع صبرك، أما المستخدمون فيعيشون في كل ما يقع خارج هذا التقاطع: الذيل الطويل من الصياغات، والمستندات غير المألوفة، والمدخلات العدائية، والمهام متعددة الخطوات التي تبدو فيها الإجابة معقولة وهي خاطئة بصمت.
- أنت تختبر الحالات التي خطرت لك؛ والمستخدمون يجدون الحالات التي لم تخطر لك
- سلاسة المخرجات مؤشر ضعيف على الدقة — فالنموذج مُحسَّن ليبدو محقًا
- الفحوص اليدوية العشوائية تتوسّع خطيًا مع الجهد، بينما يتوسّع تنوّع المدخلات توسّعًا توافقيًا
التراجع الذي لم تره قط
نمط الإخفاق الذي يُنهي التطوير القائم على الانطباع هو التراجع الصامت (Regression). تُحكم تعليمات النظام (System prompt) لتعالج شكوى واحدة، فتكسر بهدوء ثلاثة سلوكيات لم يُعِد أحد اختبارها. تستبدل النموذج بآخر أرخص، وتتأكد أن تعليماتك الخمس المفضلة ما زالت تعمل، فتخسر الدقة في الاثني عشر بالمئة من الطلبات التي تتضمن جداول. تضيف أداة، فيبدأ الوكيل الذكي (Agent) بتفضيلها في مواقف تكون فيها خاطئة. لا شيء من هذا يُنتج استثناءً أو تتبّعًا للأخطاء أو بناءً فاشلًا، بل يُنتج مخرجات أسوأ قليلًا، موزّعة على مستخدمين لا يبلّغ معظمهم عنها. في البرمجيات الحتمية يُعلن التراجع عن نفسه؛ أما في النظام الاحتمالي فيختبئ داخل التباين، حتى يلاحظ أحد كبار المسؤولين أن المنتج صار أسوأ مما كان عليه في الربع الماضي.
- لتعديلات التعليمات آثار غير موضعية — إصلاح سلوك واحد يُربك سلوكيات أخرى
- لا شيء يتعطّل: مساحة الإخفاق هي الجودة، لا التوفّر
- المستخدمون لا يبلّغون عن التدهور بما يكفي؛ بل يلتفّون عليه أو يغادرون
- من دون خط أساس لا يمكنك التمييز بين تراجع حقيقي ويوم سيئ
ثلاثة أسئلة تكشف الفجوة
لست بحاجة إلى نموذج نضج لتعرف إن كان لدى الفريق مشكلة في التقييم. ثلاثة أسئلة تكفي. الأول: ما نسبة المهام الحقيقية التي يُنجزها النظام بشكل صحيح الآن، وما مدى ثقتك بهذا الرقم؟ الثاني: لو صدر نموذج أفضل هذا الصباح، فكم من الوقت تحتاج لتعرف إن كان يحسّن منتجك؟ الثالث: حين غيّرت التعليمات الأسبوع الماضي، ما الذي صار أسوأ؟ الفريق الذي يملك منظومة تقييم يجيب عن الأسئلة الثلاثة في دقائق، بأرقام وفترات ثقة. والفريق الذي لا يملكها يجيب بحكايات، وبتقدير يمتد لأسابيع، وبالصمت. والفجوة بين الفريقين ليست في الموهبة ولا في الوصول إلى النماذج — إنها بنية القياس، وهي تتراكم شهرًا بعد شهر.