أرقام واثقة لكنها خاطئة
سلس ودقيق وخاطئ
حين يُطلب من نموذج لغوي كبير (LLM) رقمٌ ما، فإنه ينتج الرقم الذي يبدو الأرجح لا رقمًا مسترجعًا من مصدر، لأن لا شيء في آلية عمله يميّز بين رقم رآه ورقم يناسب شكل الجملة فحسب. هذه الآلية مشروحة بالتفصيل في دورة «الذكاء الاصطناعي بعمق»، وتتتبّع دورة «الذكاء الاصطناعي للقانون» الإخفاق نفسه في الاستشهادات المختلقة؛ أما موضوع هذا الدرس فهو لماذا تُعدّ المالية مكانًا سيئًا على نحو استثنائي لوقوع هذا الإخفاق. ففي معظم المجالات يبدو التفصيل المختلق غريبًا. أما في المالية فيبدو عملًا متقنًا: فارق عائد مذكور بنقاط الأساس، ونسبة رافعة مالية بمنزلتين عشريتين، وتغيّر سنوي يبدو معقولًا. ويحمل الناتج بالضبط العلامات التي تستخدمها المهنة للدلالة على العناية — الوحدات والدقة وإحالةً تبدو كأنها إلى مصدر — وقد صدرت عن عملية لم تستخدم أيًّا منها.
- الآلية عامة ومشروحة في مواضع أخرى؛ أما الخاص بالمالية فهو مدى إقناع النتيجة
- التنسيق المالي — الكسور العشرية ونقاط الأساس والنسب — يُقرأ دليلًا على عناية لم تحدث
- الإحالات المختلقة إلى المصادر تأتي مع الأرقام المختلقة: إفصاح أو إيضاح أو ربع سنة لا يذكر ذلك الرقم
- الطلاقة في أعرافك المهنية نفسها هي ما يجعل الناتج مقنعًا، لذا فالخبرة في المجال لا تحميك هنا
أين تدخل الأرقام الخاطئة إلى العمل
الأسطح الأعلى خطرًا هي تلك التي يضغط فيها النموذج مستندًا طويلًا في ادعاء قصير: ملخصات الإفصاحات ونشرات الإصدار، ومكالمات الأرباح المختصرة، ومذكرات الائتمان المجمّعة من غرفة البيانات، والتعليقات على السوق، والمواد التسويقية للعروض، وأي معادلة في جدول بيانات صاغها نموذج. وضمن هذه الأسطح تتكرر عيوب محددة لا عشوائية: الرقم الصحيح من الفترة الخاطئة. رقم معدَّل يُعرض كأنه الرقم المفصَح عنه أصلًا. الخلط بين الموحَّد وبيانات القطاع. تحويل العملة والوحدات بصمت، أو عدم تحويلها بصمت. نسبة تغيّر محسوبة على أساس خاطئ. مجاميع لا تتطابق مع مكوّناتها. ولا يعلن أيٌّ منها عن نفسه؛ فكلٌّ منها يبقى غير مرئي حتى يفتح أحدهم المصدر وينظر.
- الضغط هو موضع الخطر: ملخصات الإفصاحات، والمكالمات المختصرة، ومذكرات الائتمان، والمعادلات المصوغة آليًا
- العيوب الكلاسيكية: الفترة، والأرقام المعدَّلة لاحقًا، والموحَّد مقابل القطاع، والعملة، والوحدات، وأساس النسبة المئوية
- التحقق من تطابق المجاميع مع مكوّناتها أرخص اختبار وأكثرها إهمالًا
- قد ينسب النموذج أيضًا رقمًا حقيقيًا إلى المستند الخطأ، وهذا ينجو من الفحص السطحي
اربط الرقم بمصدره
لا يصمد التحقق أمام ضغط المواعيد إلا إذا كان رخيصًا ومحددًا. تعامل مع كل رقم ينتجه النموذج على أنه بلا مصدر حتى يفتح شخصٌ الإفصاح أو شاشة التسعير أو نظام السجلات المعتمد ويراه هناك بعينه. واطلب محدِّد موقع — المستند والقائمة المالية والفترة والصفحة أو الإيضاح — لا اسم مصدر فقط، لأن الاسم هو أكثر ما يُحسن النموذج اختلاقه. وأعد حساب كل قيمة مشتقة بدل قبولها، فالنسب ومعدلات النمو هي حيث تتراكم الأخطاء الصغيرة لتصبح أخطاء واثقة. ولا تطلب من النموذج أبدًا أن يؤكد رقمه بنفسه؛ فإذا طُلب منه التحقق أنتج تأكيدًا ومزيدًا من التفاصيل المختلقة. وتحقّق عند النقطة التي يدخل فيها الرقم إلى عمل المؤسسة، لا عند خروجه منه.
- تعامل مع كل رقم ينتجه النموذج على أنه بلا مصدر حتى يفتح شخصٌ المصدر ويراه
- اطلب محدِّد موقع — المستند والقائمة والفترة والصفحة — لا اسم مصدر يستطيع النموذج اختلاقه
- أعد حساب القيم المشتقة، ولا تطلب أبدًا من النموذج التحقق من ناتجه
- تحقّق عند نقطة الدخول إلى العمل: فعند وصول الرقم إلى اللجنة يكون قد صُدِّق عدة مرات
جرّب بنفسك
يستغرق هذا نحو خمس عشرة دقيقة، وغالبًا ما يكشف شيئًا. نفّذه مرة واحدة على مستند متاح لأي شخص.
اختر إفصاحًا عامًا واحدًا — تقريرًا سنويًا أو ربع سنوي لأي شركة مدرجة — واطلب من أداة ذكاء اصطناعي تلخيص مركزها المالي في عشر نقاط تتضمن أرقامًا. ثم افتح الإفصاح بنفسك وتحقق من كل رقم: الفترة، والأساس، والوحدات، وهل يتطابق مع مكوّناته. لا تُدخل في أي أداة ذكاء اصطناعي، في أي مرحلة، بيانات عملاء، أو بيانات مالية شخصية، أو معلومات جوهرية غير معلنة، أو أي شيء سري؛ استخدم الإفصاحات العامة أو السجلات الاصطناعية أو المواد المجهّلة فقط.
الشركة والإفصاح المستخدم (مستند عام فقط): الرقم كما ذكرته الأداة: الرقم في الإفصاح: الفترة صحيحة: نعم / لا الأساس صحيح — موحَّد أم قطاع، مفصَح عنه أصلًا أم معدَّل: نعم / لا العملة والوحدات صحيحة: نعم / لا يتطابق مع مكوّناته: نعم / لا الإحالة إلى المصدر — هل احتوت الصفحة أو الإيضاح المذكور على الرقم فعلًا: نعم / لا
- فُتح كل رقم في الإفصاح نفسه، ولم يُؤكَّد بسؤال الأداة مرة أخرى
- تستطيع تسمية نوع العيب في كل خطأ — الفترة، أو الأساس، أو الوحدات، أو أساس النسبة، أو الإحالة إلى المصدر
- سجّلت الوقت الذي استغرقه الفحص الكامل، لكي يُحسب ضمن ميزانية العمل الحقيقي
- كل ما استخدمته كان عامًا أو اصطناعيًا أو مجهّلًا — لم تدخل أي أداة بيانات عملاء أو بيانات مالية شخصية أو مواد سرية