قبل أن يعتمد المكتب على أداة
أربعة أمور يجب أن يعرفها المكتب أولًا
قبل أن يستند أي فريق من فرق مهام التدقيق إلى أداة، يجب أن يكون في المكتب من يستطيع الإجابة عن أربعة أسئلة بشأنها. على ماذا اختُبرت: مستندات من، وبأي لغات، وبأي جودة مسح ضوئي، وما مدى تشابه تلك المجموعة مع المهام التي ستواجهها فعلًا؟ كيف تخطئ: ما الذي يفوتها، وما الذي تختلقه، وكم مرة، وهل تتجمع أخطاؤها في أنواع معينة من المستندات بدلًا من أن تتوزع بالتساوي؟ كيف تُدار إصداراتها: ما الذي يتغير بين إصدار وآخر، ووفق جدول من، وهل يُبلَّغ المكتب قبل أن يتغير سلوكها؟ ومن يتحمل المسؤولية عنها: شخص مسمّى داخل المكتب يملك قرار اعتمادها، لا فريق الدعم لدى المورّد. لا شيء من هذه الأسئلة تقني بما يتجاوز قدرة الممارس. إنها الأسئلة التي يطرحها أي مكتب قبل الاعتماد على أي خبير يغذّي عمله أدلة التدقيق.
- على ماذا اختُبرت: مستندات من، وأي لغات، وأي جودة مسح، وما مدى قربها من مهام التدقيق لديك
- كيف تخطئ: ما يفوتها، وما تختلقه، وكم مرة، وأين تتجمع الأخطاء
- كيف تُدار إصداراتها: ما الذي يتغير، ومتى، وهل يعلم المكتب قبل أن يتغير سلوكها
- من يتحمل المسؤولية: مالك مسمّى داخل المكتب، لا فريق الدعم لدى المورّد أبدًا
القائمة المعتمدة ضابط رقابي
من جهة فريق مهمة التدقيق، تبدو قائمة الأدوات المعتمدة بيروقراطية، طابورًا يفصله عن شيء مفيد. أما من جهة المكتب فهي ضابط رقابي، ومن المفيد أن نكون دقيقين بشأن ما يضبطه. فالقائمة هي السجل الذي يثبت أن أسئلة التحقق (Validation) طُرحت قبل أن يبدأ الاعتماد، والآلية التي تصل بها الإجابات إلى كل مهمة لا إلى الفريق الذي سأل وحده. وهي أيضًا الحدّ الذي يُبقي بيانات العملاء خارج أدوات لم يقيّمها أحد. وثمة نمطا إخفاق متوقعان. القائمة التي لا يتعهدها أحد تتقادم بصمت بينما تصل ميزات الذكاء الاصطناعي داخل برامج يملك المكتب تراخيصها أصلًا. والحظر الذي لا يقدّم بديلًا مسموحًا ينتج استخدامًا غير معتمد لا يراقبه أحد، وهذا أسوأ الموقفين، لأن المكتب يتحمل المخاطرة دون أن يراها. وطلبات الاستثناء هي مؤشر الصحة: فالقائمة التي لا يطلب أحد توسيعها أبدًا يجري الالتفاف عليها.
- تسجّل القائمة أن التحقق جرى قبل بدء الاعتماد، وتنقل الإجابات إلى كل فريق
- وهي الحدّ الذي يُبقي بيانات العملاء خارج أدوات لم يقيّمها المكتب قط
- القائمة التي لا يتعهدها أحد تتقادم بينما تصل ميزات الذكاء الاصطناعي داخل برامج مرخّصة أصلًا
- الحظر دون طريق مسموح ينتج استخدامًا غير مراقَب؛ وطلبات الاستثناء هي مؤشر الصحة
التحقق تخصص قائم بذاته
ما ينطوي عليه التحقق فعلًا تخصص قائم بذاته، وشكله مألوف لأي مدقّق. خذ عيّنة من قراءة الأداة وقارنها بقراءة شخص للمستندات نفسها، على مواد تشبه مهام التدقيق في المكتب لا مجموعة العرض التوضيحي لدى المورّد. وقِس ما فاتها وما اختلقته، كلًّا على حدة، لأن الخطأين يُحدثان ضررًا مختلفًا في ملف التدقيق. وكرّر التمرين حين يتغير الإصدار، لأن نتائج الربع الماضي تصف أداة الربع الماضي. والمنهج الصحيح لذلك، أي بناء مجموعات التقييم (Eval) واختبارات الانحدار والقياس مقابل خط أساس، هو موضوع دورة «هل يعمل ذكاؤك الاصطناعي فعلاً؟» على هذا الموقع، وهو ينتقل إلى أدوات التدقيق بقليل من التكييف. والنقطة الخاصة بالتدقيق هي ما يحدث للنتائج: فأدلة التحقق نفسها سجل يجب أن يحتفظ به المكتب، لأن سؤال المفتّش، لماذا اعتمد المكتب هذه الأداة؟، يستحق إجابة مكتوبة.
- قارن عيّنة من قراءة الأداة بقراءة شخص، على مستندات تشبه مستنداتك لا مجموعة العرض لدى المورّد
- قِس ما فاتها وما اختلقته كلًّا على حدة، فهما يُحدثان ضررًا مختلفًا في ملف التدقيق
- أعد التحقق عند تغيّر الإصدار: نتائج الربع الماضي تصف أداة الربع الماضي
- احتفظ بأدلة التحقق، فقرار المكتب باعتماد الأداة يستحق هو الآخر إجابة مكتوبة