مشكلة مهمة التدقيق المتكررة
السنة الثانية ليست تكرارًا للسنة الأولى
تقوم مهمة التدقيق المتكررة على فهم متراكم: الفريق يعرف العميل، والملف يُرحَّل إلى السنة التالية، وجزء كبير من السنة الثانية هو اختبار ما إذا كانت صورة السنة الأولى لا تزال صحيحة. والذكاء الاصطناعي (AI) يربك هذا من الاتجاهين في آن واحد. فمن جهة العميل، قد يكون النموذج الذي يقف خلف تقدير ما قد أُعيد تدريبه، أو أُعيدت مواءمته على بيانات جديدة، أو انتقل إلى مالك جديد، فيصبح الفهم الموثّق في العام الماضي وصفًا لنظام لم يعد موجودًا. ومن جهة التدقيق، قد تكون أداة المكتب نفسها قد تحدّثت بين السنتين، إصدار جديد أو نموذج جديد خلف الواجهة نفسها، فلا تكون علامات هذا العام صادرة عن العملية التي أنتجت علامات العام الماضي. ولا يعلن أيّ من التغييرين عن نفسه بصورة موثوقة؛ فكلاهما يصل بصمت داخل أشياء تبدو كما هي. ومع ذلك يجب أن يظل الملف صالحًا لقارئ يقارن بين السنتين، وهذا يعني أن التغييرات يجب أن تُكتشف، لا أن تُفترض غير موجودة.
- تقوم عمليات التدقيق المتكررة على فهم مُرحَّل، وكلا جانبيه قد يتحرك بصمت
- قد يكون نموذج العميل قد أُعيد تدريبه أو تغيّر مالكه منذ آخر وصف له في الملف
- قد لا تكون أداة المكتب نفسها هي العملية التي أنتجت أدلة العام الماضي
- قابلية مقارنة الأدلة بين السنوات خاصية يجب إثباتها، لا افتراضها
فخ الترحيل
عبارة «الأداة نفسها التي استخدمناها العام الماضي» هي أهدأ فخاخ مهمة التدقيق المتكررة، لأنها قد تكون صحيحة بشأن الترخيص وخاطئة بشأن الأداة. فالاسم على الفاتورة ثابت؛ أما النموذج خلف الواجهة فليس كذلك. وقد يغيّر تحديث الإصدار ما يُشار إليه، وما يفوت، ومدى الثقة التي تبدو بها المخرجات الخاطئة، دون أي اختلاف ظاهر في الشاشات التي يستخدمها الفريق. وترحيل الاعتماد استنادًا إلى الاسم يعني بناء أدلة هذا العام على تحقق العام الماضي من نظام مختلف. ويظهر الشكل نفسه على جانب العميل من الملف، حيث يكون الضابط الذي يتضمن نموذجًا يتحدّث ضابطًا تغيّر بين تاريخ اختبارك ونهاية السنة، وهذا موضوع الوحدة الثالثة. والقاعدة العامة قصيرة: قرارات الاعتماد تُكتسب من جديد كل عام. واكتسابها من جديد يكلّف سؤالًا صادقًا واحدًا، ما الذي تغيّر؟، يُطرح على المورّد، وعلى مالك الأداة في المكتب، وعلى العميل.
- «الأداة نفسها التي استخدمناها العام الماضي» قد تصح بشأن الترخيص وتخطئ بشأن الأداة التي خلفه
- تغيّر الإصدار يحرّك ما يُشار إليه وما يفوت دون أي تغيير ظاهر على الشاشة
- ترحيل الاعتماد يبني أدلة هذا العام على تحقق العام الماضي من نظام مختلف
- الاعتماد يُكتسب من جديد كل عام، بدءًا بسؤال واحد: ما الذي تغيّر؟
ما الذي يُعاد السؤال عنه سنويًا
إعادة السؤال السنوية قصيرة بما يكفي لتُنجَز، ومحددة بما يكفي لتكون ذات أثر. اسأل المكتب: هل تغيّرت الأداة منذ العام الماضي، من حيث الإصدار أو النموذج الذي تقوم عليه أو الإعدادات، وهل أُعيد التحقق منها بعد التغيير؟ واسأل العميل: هل أُعيد تدريب النموذج الذي يقف خلف كل تقدير جوهري، أو أُعيدت مواءمته، أو تغيّر مالكه، وهل لا يزال الفهم الوارد في ملف العام الماضي يصفه؟ واسأل الأدلة: هل تعني علامات هذا العام ما كانت تعنيه علامات العام الماضي، أي العتبات نفسها والمجتمعات نفسها والتعريفات نفسها، أم أن عتبة تحرّكت فغيّرت بهدوء معنى «سليم»؟ واسأل عن ظروف مهمة التدقيق: هل انتقل شيء إلى ولاية قضائية أخرى، أو تغيّرت ترتيبات البيانات، أو تبدّل ما يجوز إدخاله في أي أداة؟ ثم اكتب الإجابات في الملف. فملف السنة الثانية الذي يُظهر أن الفريق طرح هذه الأسئلة وثيقة مختلفة عن ملف افترض الاستمرارية، ويستطيع المراجع أن يميّز بينهما من النظرة الأولى.
- اسأل المكتب: هل تغيّرت الأداة هذا العام، وهل أُعيد التحقق منها بعد ذلك
- اسأل العميل: هل أُعيد تدريب النموذج أو تغيّر مالكه، وهل لا يزال فهم العام الماضي صحيحًا
- اسأل الأدلة: هل تعني علامات هذا العام ما عنته علامات العام الماضي، أم تحرّكت عتبة بهدوء
- دوّن الإجابات: الملف الذي سأل يختلف بوضوح عن الملف الذي افترض