مركز تعلّم الذكاء الاصطناعيEnglish
ترجمة عربية جديدة ✦ نراجعها باستمرار لتحسينها.

ضوابط حماية النماذج اللغوية الكبيرة

⁧إشراف بشري⁩⁧تأكيد الإجراءات المؤثرة⁩⁧نموذج حَكَم⁩⁧نموذج ثانٍ يتحقق من الأول⁩⁧مخرجات مقيّدة⁩⁧صيغ ومخططات مُتحقَّق منها⁩⁧الاستشهادات⁩⁧كل ادعاء له مصدر⁩⁧الإسناد بالاسترجاع (RAG)⁩⁧الإجابة من أدلة مسترجعة⁩⁧الطبقات السفلى تحمل العبء الأكبر؛ والعليا تلتقط الأخطاء المتبقية⁩
⁧لا تقنية واحدة تقضي على الهلوسة — الدفاع متعدد الطبقات، وكل طبقة تلتقط ما فات التي تحتها⁩

ضوابط الحماية: طبقة الأمان المحيطة بكل نشر

النموذج اللغوي الكبير (Large Language Model) الخام قد ينتج أي شيء تقريبًا: واثقًا وسلسًا، وربما خاطئًا أو ضارًّا. ضوابط الحماية (Guardrails) هي القيود التي تُضاف فوقه وقت التشغيل لتجعله آمنًا ومحصورًا في حالة استخدام محددة. كل منتج ذكاء اصطناعي (AI) مؤسسي يملكها. وفهم هذه الطبقة مهم لأن المستخدمين وأصحاب المصلحة سيسألون: «كيف يكون هذا آمنًا؟» وأيضًا: «لماذا لا ينفّذ ما طلبته؟»

  • ضوابط الأمان: تحجب المخرجات الضارة، أو المخالفة للسياسات، أو الخارجة عن النطاق المحدد للتطبيق
  • مرشّحات المخرجات: تعالج الردود بعد توليدها لالتقاط المحتوى الحساس، أو البيانات الشخصية (PII)، أو الحقائق المهلوَسة قبل وصولها إلى المستخدمين
  • ضوابط الهلوسة (Hallucination): تأسيس المخرجات على أدلة مسترجعة وفرض ذكر المصادر للحدّ من الإجابات الواثقة الخاطئة
  • حدود النطاق: تحدّد ما يُسمح للنموذج بفعله — مساعد ذكي (Copilot) لمركز العمليات الأمنية يجيب عن الأسئلة الأمنية، ولا يناقش المنافسين

ليس كذبًا

الهلوسة هي أن يُنتج النموذج مخرجات سلسة وواثقة لا تستند إلى الواقع. النموذج لا يخدع، بل يأخذ عيّنات من الرموز التالية الأكثر احتمالًا، والمحتمل لا يعني الصحيح. هذا التأطير مهم لأن الناس كثيرًا ما يُضفون صفات بشرية على هذا النوع من الإخفاق.

طبقات المعالجة

التأسيس على المصادر (RAG مع ذكر المصادر)، وصيغ المخرجات المقيّدة، والتحقق من الاسترجاع، وأساليب «النموذج حَكَمًا»، ونقاط التحقق بإشراف بشري (Human-in-the-loop). لا توجد تقنية واحدة تقضي على الهلوسة؛ فالدفاع متعدد الطبقات. وكل طبقة تلتقط ما فات الطبقة التي تحتها.

كيف تبدو الإجابة الموثوقة

حين تطرح مسألة الهلوسة على مورد، تبدو الإجابة الموثوقة هكذا: «أنت محق في أن النماذج اللغوية تهلوس. لهذا تستند كل إجابة إلى أدلة مسترجعة مع ذكر المصادر، وتُقيَّد المخرجات بصيغ مُتحقَّق منها، ويبقى تأكيد المحلل جزءًا من العملية في الإجراءات عالية الأثر. النظام لا يحلّ محل الحكم البشري، بل يزيل العمل الذي لا يحتاج إلى حكم بشري.»

جرّبها بنفسك

تتوقف الهلوسة عن كونها فكرة مجردة في المرة الأولى التي تضبطها فيها في موضوع تعرفه جيدًا. عشر دقائق من التحقق من الحقائق ستضبط ثقتك أفضل من أي تعريف.

◆ جرّبها بنفسك

اختر موضوعًا تعرفه أكثر من أي أحد تقريبًا — مدينتك، أو مهنتك، أو هواية أمضيت فيها سنوات — واطلب من أداة الذكاء الاصطناعي لديك ملخصًا مفصّلًا عنه. اقرأ الإجابة بعين مدقّق الحقائق، وابحث عن التفاصيل الصغيرة التي تخطئ فيها بشكل خفي.

قدّم لي نظرة عامة مفصّلة عن [موضوع تعرفه جيدًا]. اذكر أسماءً وتواريخ وأرقامًا محددة، والنقاط التي يُساء فهمها عادةً. كن دقيقًا ومحددًا لا عامًّا.
كيف تعرف أنها نجحت
  • وجدت ادعاءً واثقًا واحدًا على الأقل كان خاطئًا أو غير دقيق قليلًا
  • بدت الأجزاء الخاطئة بالسلاسة نفسها التي بدت بها الأجزاء الصحيحة
  • تستطيع أن تشرح لماذا لا تُعدّ النبرة الواثقة دليلًا على الدقة

كيف ينطبق هذا عليّ؟

مستخدم عام

تشرح ضوابط الحماية لماذا ترفض أدوات الذكاء الاصطناعي أحيانًا بعض الطلبات أو تقدّم إجابات آمنة لكنها ناقصة. وتشرح الهلوسة لماذا تكون إجابات الذكاء الاصطناعي أحيانًا خاطئة بثقة. وكلاهما من سمات طريقة تصميم النظام، لا أعطال عشوائية.

  • حين يرفض الذكاء الاصطناعي طلبًا، فهذه حدود النطاق أو ضوابط الأمان تعمل كما صُمّمت
  • النبرة الواثقة في رد الذكاء الاصطناعي لا تدل على الدقة — تحقّق من أي شيء مهم
  • ذكر المصادر تقنية للحدّ من الهلوسة، لا ضمانة — راجع المصدر
  • في القرارات عالية الأهمية، المراجعة البشرية ميزة حوكمة، لا حلّ التفافي
متخصص أمن

الهلوسة وضوابط الحماية من أهم أسئلة المخاطر في أي تقييم لأدوات الذكاء الاصطناعي الأمنية. تحتاج إلى اختبار منظّم لكل منهما — لا طمأنة من المورد، بل إجابة تقنية تدعمها البنية المعمارية.

  • تعامل مع الهلوسة كخطر احتمالي، لا كإخفاق ثنائي: «ما عاقبة الإجابة الخاطئة في سير العمل هذا؟» — ثم ابحث عن طبقة المعالجة التي تعالج تلك العاقبة
  • اسأل: ما الذي يدخل صراحةً في نطاق هذا النشر وما الذي يخرج عنه؟ ثغرات حدود النطاق تكشف مخاطر أمان ووظائف ناقصة معًا
  • ترتيب طبقات المعالجة مهم عند تقييم منتج: التأسيس على المصادر ← قيود الصيغة ← النموذج حَكَمًا ← الإشراف البشري؛ وكل طبقة تقلّل المخاطر بشكل قابل للقياس
  • اسأل: هل يؤسّس المنتج كل إجابة على أدلة مسترجعة مع ذكر المصادر؟ «لا مصادر» تعني لا تأسيس على الاسترجاع — وهذا هو سطح الهلوسة الذي يجب أن تتحدّاه
  • حقن التعليمات (Prompt injection) ثغرة في ضوابط الحماية وقت النشر لم ينتبه إليها كثير من الفرق — اختبرها مباشرة: «ماذا يحدث إذا احتوى نص رسالة بريد خبيثة على تعليمات عدائية؟»
مطوّر

ضوابط الحماية بنية تحتية، لا كود تطبيق. ومعالجة الهلوسة مشكلة تصميم أنظمة، لا مشكلة اختيار نموذج. ابنِ كليهما كطبقات قابلة لإعادة الاستخدام، واختبر كلًّا منهما على حدة.

  • نفّذ ضوابط الحماية كطبقة خدمة مشتركة — إعادة بنائها في كل تطبيق نمط سيئ
  • قيّد المخرجات بصيغ منظّمة (مخططات JSON، خيارات محددة مسبقًا) في التصنيفات عالية الأهمية
  • طبّق تقييم «النموذج حَكَمًا» في خط التكامل المستمر (CI) — والتقط التراجعات قبل أن تصل إلى المستخدمين
  • أسّس كل ادعاء واقعي على أدلة مسترجعة، واعرض للمستخدم المقطع المصدر
مستشار ذكاء اصطناعي

اكتمال ضوابط الحماية ومخاطر الهلوسة خاصيّتان قابلتان للقياس والحوكمة — تعامل معهما كمعايير تدقيق، لا كطمأنات من الموردين.

  • دقّق نطاق ضوابط الحماية في كل نشر: ما الفئات المحجوبة، وما المسموح، وما الذي لم يُختبر؟
  • اربط كل حالة استخدام بمستوى مخاطر الهلوسة المقبول فيها — ثم طابِق طبقات المعالجة مع ذلك المستوى
  • الإشراف البشري في الإجراءات عالية العواقب ضابط حوكمة — قدّمه كميزة، لا كقيد
  • ضمّن مقاييس معدل الهلوسة في معايير قبول التجربة — «يخطئ أحيانًا» ليس مقياسًا
◆ شاهده بنفسك
افتح مؤشّر درجة الحرارة في المكتبة ←

ارفع العشوائية واخفضها وشاهد الإجابة تتغيّر.