جودة التصحيح واتفاق المقيمين: من التدريب إلى مراقبة الانحراف

عندما تعتمد الدرجة على حكم بشري في كتابة أو مقابلة أو أداء عملي أو ملاحظة، يصبح المقيم Rater جزءًا من أداة القياس. جودة المهمة والـrubric لا تكفي إذا اختلف المقيمون في الشدة أو استخدام الفئات أو فهم المعايير أو تغير سلوكهم بمرور الوقت. لذلك تحتاج برامج التصحيح إلى تدريب ومعايرة وتصميم إسناد ومراقبة مستمرة ومؤشرات اتفاق وثبات وتحليل آثار المقيمين. هذه الصفحة تميز agreement من reliability، وتشرح percent agreement وKappa وICC، الاختيار بين single وaverage measures، rater drift، الشدة والتحيز، double scoring وadjudication وMany-Facet Rasch، مع حوكمة تحمي الإنصاف. لا تنشر أمثلة إجابات معيارية أو rubrics محمية لأي اختبار تشغيلي.

المقيم مصدر قياس لا مجرد منفذ

في constructed-response يفسر المقيم الاستجابة من خلال rubric ثم يحولها إلى فئة أو درجة. أي اختلاف منهجي بين المقيمين يمكن أن يدخل construct-irrelevant variance في الدرجة. الفصل الثامن من Educational Measurement 2026 يؤكد أن المقيمين جزء أساسي من reliability وvalidity وfairness وأن التدريب والبروتوكولات تختلف بحسب خطورة الاستخدام. لذلك تصميم scoring system يبدأ مع تصميم المهمة، لا بعد جمع الاستجابات. يجب أن نعرف هل الدرجة النهائية تعتمد على مقيم واحد أو متوسط عدة مقيمين، وهل بعض الحالات تحتاج second read، وما الذي يحدث عند الاختلاف.

الشدة والتساهل والاتساق مفاهيم مختلفة

قد يكون مقيم شديدًا بصورة ثابتة فيمنح درجات أقل من الآخرين، ومع ذلك يرتب الاستجابات بانتظام. وقد يكون متوسطه مشابهًا لكنه غير متسق من استجابة لأخرى. وقد يستخدم الفئات الوسطى أكثر من الأطراف. هذه أنماط مختلفة ولا يكشفها معامل واحد دائمًا. لذلك نحتاج توزيع الدرجات، اتفاقًا مع معيار أو خبير عند توفره، علاقات بين المقيمين، ونماذج rater effects. استخدام عبارة «المقيم غير موثوق» بلا تحديد نوع المشكلة لا يساعد في الإصلاح.

Agreement أم Reliability؟

Inter-rater agreement يسأل إلى أي مدى أعطى المقيمون الدرجة نفسها أو درجات قريبة، بينما inter-rater reliability قد يركز على ثبات ترتيب الأفراد أو نسبة التباين المنسوب للأشخاص مقارنة بخطأ المقيم. NCME يميز inter-rater agreement/consistency عن inter-rater reliability. قد يكون الارتباط مرتفعًا بين مقيمين إذا كان أحدهما دائمًا أعلى بدرجة واحدة، لكن exact agreement منخفض. لهذا يجب اختيار المؤشر وفق معنى الدرجة: إذا كانت فئة محددة مهمة، الاتفاق المطلق أهم من ترتيب الأشخاص فقط.

Percent Agreement: مفيد لكنه محدود

Exact percent agreement يحسب نسبة الحالات التي حصلت على الدرجة نفسها من مقيمين. يمكن أيضًا حساب adjacent agreement إذا كان الفرق بدرجة واحدة مقبولًا لأغراض وصفية. ميزته الوضوح، لكنه لا يصحح الاتفاق المتوقع بالصدفة ولا يميز دائمًا نمط الخلاف. في scale ضيق أو توزيع شديد التركز قد يبدو الاتفاق مرتفعًا لأن فئة واحدة شائعة. لذلك من الأفضل عرض matrix للتصنيفات مع percent agreement واستخدام مؤشر إضافي عندما يناسب نوع البيانات والغرض.

مصفوفة الاتفاق تكشف أكثر من النسبة

جدول المقيم أ × المقيم ب يبين هل الخلافات متناظرة أم أن أحدهما يميل إلى أعلى الدرجات. يمكن فصل exact وadjacent والخلافات الكبيرة. إذا تركزت الحالات في فئة واحدة، يظهر ذلك فورًا. كما تساعد المصفوفة في فحص thresholds غير واضحة في rubric. يجب عرض n لأن نسبة 90% من عشر حالات لا تحمل ثبات 90% من ألف حالة. وفي التقارير العامة لا تعرض نصوص الاستجابات، بل معرفات داخلية أو مجاميع.

Cohen Kappa وWeighted Kappa

Kappa يقارن الاتفاق الملاحظ بما يتوقع تحت نموذج للاتفاق بالصدفة، ويستخدم كثيرًا مع الفئات الاسمية. مع الفئات الرتبية يمكن weighted kappa بحيث تكون الخلافات الكبيرة أشد من المجاورة. لكن Kappa يتأثر بانتشار الفئات وبالانحياز الهامشي؛ قد ينخفض رغم percent agreement مرتفع عندما تهيمن فئة واحدة. لذلك لا يوجد cutoff عالمي يجب تطبيقه آليًا. يجب تفسير القيمة مع جدول التوافق وتوزيع الفئات وحجم العينة والغرض.

ICC للدرجات المستمرة أو شبه المستمرة

Intraclass Correlation Coefficient مناسب عندما نريد تقدير اتساق أو اتفاق درجات كمية عبر مقيمين، لكنه ليس معاملًا واحدًا. تختلف الصيغ حسب ما إذا كان المقيمون fixed أو random، وما إذا كان المطلوب consistency أو absolute agreement، وما إذا كانت الدرجة النهائية من single rater أو average of k raters. اختيار ICC خاطئ قد يعطي رقمًا لا يطابق الاستخدام. التقرير يجب أن يذكر النموذج والنوع والوحدة، مثل single-measure absolute-agreement بدل كتابة ICC فقط.

Single مقابل Average Measures

إذا كان النظام سيبلغ درجة مقيم واحد، نحتاج reliability تعكس single rating. إذا كانت الدرجة متوسط مقيمين اثنين، average-measures ICC قد يكون الأنسب لأن المتوسط أكثر استقرارًا غالبًا. لا يجوز الإبلاغ عن reliability المتوسط ثم تشغيل النظام بمقيم واحد. تصميم التشغيل والتحليل يجب أن يتطابقا، وإلا تحول التحسين النظري الناتج عن التكرار إلى رقم بلا تطبيق.

تدريب المقيمين يبدأ بفهم البناء

التدريب الجيد لا يحفظ مجموعة أمثلة فقط. يبدأ بالغرض والبناء والمهمة وrubric، وما الذي يدخل في الدرجة وما الذي يجب تجاهله. بعد ذلك تراجع مستويات الأداء وأمثلة متنوعة وتناقش الحالات الحدية. الفصل الحديث عن scoring يصف استخدام anchor responses مشروحة للمعايرة، لكن في روافد لا نعيد نشر أي anchor خاص باختبار محمي. يمكن للبرنامج تطوير أمثلة تدريبية مرخصة أو أصلية داخل بيئته الآمنة. يجب توثيق النسخة التي تدرب عليها كل rater لأن تغيير rubric بعد التدريب يستلزم إعادة تأهيل.

Calibration ليست تدريبًا مرة واحدة

المعايرة Calibration تختبر أن المقيم يطبق rubric ضمن مستوى قبول قبل الدخول إلى scoring أو أثناءه. دراسة ETS لعام 2019 في GRE ناقشت المعايرة بوصفها أداة للسيطرة على rater drift، ودراسة أقدم وجدت علاقة بين أداء المعايرة والدقة التشغيلية. لكن طول calibration set وحدود النجاح يجب أن تتناسب مع البرنامج؛ لا توجد قاعدة واحدة للجميع. يجب أن تغطي المجموعة score points والحالات الصعبة بدرجة كافية، وأن تكون المواد محمية من الحفظ أو التداول عندما تكون تشغيلية.

فشل المعايرة ليس وصمة

المقيم الذي لا يحقق معيار calibration قد يحتاج retraining أو مجموعة بديلة أو نقلًا إلى مهمة أخرى. الهدف ضبط العملية لا معاقبة الشخص. كما ينبغي فحص ما إذا كان عدد كبير من المقيمين يفشل في نقطة معينة؛ قد يشير ذلك إلى rubric غامض أو تدريب ضعيف بدل مشكلة أفراد. تحليل أسباب الفشل يسبق خفض حد القبول لإكمال الجدول الزمني.

Rater Drift عبر الزمن

Drift هو تغير في الطريقة التي يطبق بها المقيم المعايير بمرور الوقت، وقد يكون في الشدة أو استخدام الفئات أو الدقة. ETS 2022 يوضح أهمية trend rescoring ومقارنة scoring عبر الإدارات، ويبين أن تصميم العينة نفسه يؤثر في إحصاءات drift. لذلك لا يكفي إدخال أوراق قديمة عشوائيًا ومقارنة المتوسطات؛ يجب فهم sampling design. يمكن إدراج check sets أو previously scored responses بطريقة محكومة، مع مراقبة لا تكشف للمقيم أي الحالات رقابية إذا كان البروتوكول يسمح.

Double Scoring وتصميم الإسناد

إعطاء كل استجابة لمقيمين مستقلين يزيد البيانات عن rater error لكنه مكلف. بدائل مثل double-scoring عينة عشوائية، أو oversampling الحالات الحدودية، أو spiral designs توزع المقيمين على استجابات متداخلة. تصميم الإسناد يؤثر في القدرة على فصل person وtask وrater effects؛ nested design قد يخلط المقيم بمجموعة من المفحوصين إذا لم يوجد تداخل كافٍ. دراسة ETS للمقارنة بين designs بينت أهمية التداخل في تقليل تحيز القدرة من المقيمين المتطرفين. لذلك يجب التخطيط للإسناد قبل التشغيل.

استقلال القراء

إذا كان الهدف تقدير agreement، يجب ألا يرى المقيم الثاني درجة الأول قبل إعطاء حكم مستقل، وإلا يصبح التوافق متأثرًا بالanchoring. بعد التسجيل يمكن فتح adjudication للحالات التي تجاوزت discrepancy rule. النظام يجب أن يسجل ترتيب الأحداث ويمنع تعديل القراءة الأولى بعد رؤية الثانية إلا ضمن workflow موثق.

Adjudication والقراءة الثالثة

في بعض البرامج إذا اختلف المقيمان أكثر من حد معين تنتقل الاستجابة إلى senior rater أو ثالث. يجب تحديد rule قبل التشغيل: ما مقدار الفرق؟ هل الدرجة النهائية متوسط أم قرار adjudicator؟ هل تستخدم القراءة الثالثة في reliability estimation؟ يمكن أن يقلل adjudication الأخطاء الكبيرة لكنه لا يصلح drift واسعًا في المجموعة؛ إذا كثرت الحالات، يجب إيقاف scoring ومراجعة التدريب أو rubric.

Generalizability Theory للمقيمين والمهام

GT يسمح بفصل تباين الأشخاص والمهام والمقيمين وتفاعلاتهم عندما يسمح design بذلك. يمكن لدراسة G تقدير مقدار الخطأ المنسوب إلى raters، ودراسة D فحص ما يحدث إذا زاد عدد المقيمين أو المهام. هذا مفيد في performance assessment حيث لا يمثل agreement زوجًا واحدًا فقط. لكن النموذج يحتاج تصميمًا يمكنه تقدير المكونات؛ إذا كان كل rater يرى مجموعة فريدة بالكامل فلن نستطيع فصل بعض المصادر. صفحة Generalizability Theory في روافد تقدم الحسابات العامة، وهذه الصفحة تركز على تصميم scoring system.

Many-Facet Rasch وRater Severity

Many-Facet Rasch يضيف facet للمقيم إلى الأشخاص والمهام أو البنود، ويسمح بتقدير شدة المقيم واستخدام الفئات تحت نموذج. يمكن أن يكشف rater severity وfit وcategory functioning وبعض التفاعلات. فائدته كبيرة في برامج التقييم الأداء، لكنه لا يلغي الحاجة إلى agreement أو governance. إذا كان النموذج لا يلائم البيانات أو design لا يربط المقيمين ببعضهم عبر استجابات مشتركة، تصبح المقارنات ضعيفة. يجب عدم «تصحيح» درجات الأفراد آليًا لشدة المقيم ما لم يكن ذلك جزءًا من scoring model مصدق ومعلن.

الترابط بين المقيمين شرط للتقدير

لإنشاء مقياس مشترك للمقيمين نحتاج connectivity: استجابات أو مهام تربط أجزاء شبكة scoring. إذا عمل فريق في يوم أو لغة أو موقع من دون أي تداخل مع الآخرين، قد يختلط أثر المجموعة بالسياق. يمكن بناء linking sets أو rotating overlap مع حماية الاستجابات. يجب فحص graph connectivity قبل الاعتماد على estimates، لأن نموذجًا متقدمًا لا يستطيع تعويض بيانات منفصلة بالكامل.

Rater Bias وDifferential Rater Functioning

قد يكون المقيم متسقًا عمومًا لكنه أشد مع نوع معين من الاستجابات أو مجموعة لغوية أو مهمة. Differential rater functioning يبحث عن تفاعلات محددة بدل average severity. هذه المسألة حساسة لأن تعريف المجموعات والخصوصية وحجم العينة مهم. يجب عدم اتهام rater بتحيز شخصي من إشارة إحصائية واحدة؛ قد يكون السبب task أو training أو distribution. نحتاج مراجعة نوعية ونماذج مناسبة وتكرار evidence، مع حماية هويات المقيمين والمفحوصين.

الإنصاف في scoring متعدد اللغات

إذا كانت الاستجابات بلغات أو لهجات متعددة، يجب أن يفهم المقيمون المعايير اللغوية ذات الصلة وأن يكون rubric واضحًا بشأن ما إذا كانت grammar أو accent جزءًا من البناء. المقارنة بين pools لغوية منفصلة تحتاج linking وتصميمًا يميز أثر اللغة من rater group. التدريب يجب أن يتضمن تنوعًا مشروعًا في الاستجابات، لا نموذجًا واحدًا يقود المقيم إلى مكافأة أسلوب ثقافي بعينه. Fairness هنا في scoring rule وتطبيقه، وليس فقط في صياغة prompt.

Scoring للأشخاص ذوي الإعاقة

في الأداء الشفهي أو الكتابي قد تستخدم accommodations مثل dictation أو AAC أو وقت إضافي. يجب أن يعرف المقيم ما الذي تغير وما الذي لا ينبغي أن يؤثر في rubric. إذا كانت طريقة الاستجابة مختلفة لكنها ما زالت تظهر البناء المقصود، لا ينبغي penalize خصائص ليست جزءًا منه. يمكن أن تحتاج responses format مختلفًا للعرض على rater مع الحفاظ على blind scoring قدر الإمكان. كل استثناء يحتاج سياسة موثقة ومتسقة.

Automated Scoring والمقيم البشري

عند استخدام automated scoring، يصبح النموذج نفسه scorer يحتاج validation ومراقبة drift. ETS Standards 2014 يطلب توثيق calibration ومراقبة الأنظمة الآلية ويشير إلى دور human checks وفق جودة النظام وتبعات القرار. الفصل الثامن 2026 يعرض human وmachine-based scoring مع ضرورة evidence لملاءمة تفسيرات الدرجات. يجب فحص subgroup performance وout-of-distribution responses، ومراقبة تغير البيانات، وعدم اعتبار agreement مع human rater دليلًا وحيدًا على validity.

Human agreement ليس Ground Truth كاملًا

إذا دُرب النموذج على human scores فهو يرث حدود rubric وأخطاء البشر المحتملة. ارتفاع correlation مع المقيمين لا يثبت أن construct قيس بعدالة. نحتاج quality of rubric، expert review، consistency، fairness، وأدلة مستقلة. في استخدامات عالية المخاطر يجب أن تكون هناك آلية مراجعة أو appeal حسب السياسة، وأن يعرف المستخدم متى دخل automated scoring في القرار إذا كانت الشفافية مطلوبة.

اختيار حجم عينة المراقبة

كم استجابة نعيد تصحيحها؟ يعتمد على عدد المقيمين والفئات والحد الأدنى لاكتشاف drift والدقة المطلوبة وتوزيع الاستجابات. عينة صغيرة جدًا قد تفوت rater متطرفًا، وعينة كبيرة قد تستهلك موارد بلا فائدة إضافية. يمكن توزيع monitoring sample عبر الوقت والمقيمين والscore categories والمهمات بدل أخذ دفعة واحدة. يجب أن يسمح التصميم بتقدير uncertainty حول agreement أو severity، لا مجرد اجتياز checklist.

لا تستخدم Cutoffs جامدة للمقيمين

قواعد مثل «agreement 80%» أو «Kappa 0.60» تنتشر، لكنها ليست حدودًا عالمية. المتطلبات تعتمد على عدد الفئات، انتشارها، خطورة القرار، double scoring، وطبيعة rubric. يجب أن يحدد البرنامج thresholds مسبقًا من evidence وسياق، ويضع action plan عند تجاوزها. إذا تغير distribution يمكن أن يتغير Kappa دون تغير حقيقي في السلوك؛ لذلك اجتماع مؤشرات أقوى من رقم واحد.

لوحة مراقبة scoring

يمكن للوحة داخلية أن تعرض لكل rater: عدد الحالات، exact/adjacent agreement مع second read أو benchmark، mean score، category use، discrepancy rate، drift over time، fit أو severity عند استخدام model، وstatus التدريب والمعايرة. لا ينبغي ترتيب المقيمين علنًا أو استخدام dashboard كأداة عقوبة دون ضبط إحصائي. الهدف اكتشاف إشارات مبكرة وتوجيه retraining أو sampling إضافي. كما تحفظ اللوحة version للrubric والtask لأن المقارنة عبر نسخ مختلفة قد تكون مضللة.

سجل قرار للحالات المتنازع عليها

للحالات التي تدخل adjudication يمكن حفظ item/task ID، rater IDs مشفرة، الدرجات الأولية، سبب التحويل، الدرجة النهائية، نوع الخلاف، وrubric rule المستخدمة. هذا السجل يساعد على اكتشاف بنود rubric غامضة إذا تكرر النمط. لا ينبغي أن يتحول إلى مكتبة استجابات عامة؛ المواد تحفظ وفق حقوق وأمن الاختبار. يمكن استخلاص أمثلة تدريب جديدة بعد مراجعة الحقوق وإزالة الهوية.

مثال اصطناعي

لنفترض مهمة كتابة أصلية بدرجات 0–4. يقرأ 20% من الاستجابات مقيمان مستقلان. exact agreement 72% وadjacent agreement 98%، لكن matrix تكشف أن rater B يعطي 3 بدل 2 بصورة متكررة. calibration check يبين ضعفًا في حد rubric بين الفئتين. بعد retraining ومعايرة جديدة ينخفض discrepancy. الاستنتاج ليس أن 72% «فشل» بمفرده؛ النمط وجه الإصلاح نحو threshold محدد. المثال اصطناعي ولا يحتوي rubric أو responses من اختبار حقيقي.

قائمة فحص قبل تشغيل scoring

تحقق من: construct وrubric واضحان؛ training version ثابت؛ calibration plan؛ assignment design يوفر overlap؛ تعريف independent second read؛ discrepancy/adjudication rule؛ المؤشر المناسب agreement/reliability؛ monitoring sample موزعة عبر الوقت؛ rater drift plan؛ privacy؛ subgroup fairness؛ accommodations؛ version control؛ إجراءات توقف/retraining؛ وتوثيق automated scoring إن وجد. يجب أن يعرف الفريق مسبقًا من يملك قرار إيقاف التصحيح إذا ظهرت مشكلة.

حقوق الاختبار وأمن مواد التدريب

Anchor responses وrubrics التفصيلية وprompts قد تكون محمية أو سرية. لا تعيد روافد نشرها. يمكن شرح التدريب والمعايرة بأمثلة أصلية، والإحالة إلى وثائق الجهة. حتى داخليًا، يجب التحكم في الوصول لمواد benchmark لأن تسربها قد يجعل المقيمين يحفظون الحالات بدل تطبيق rubric. حقوق الاستجابات الفردية وخصوصيتها مستقلة أيضًا عن حقوق الناشر.

العلاقة مع الثبات وGT والـScore Reporting

صفحة reliability العامة تشرح ICC وKappa ضمن أنواع الثبات، وصفحة GT تشرح فصل الأوجه، بينما هذه الصفحة تركز على تشغيل نظام scoring من التدريب إلى drift وadjudication. Score Reporting يستخدم الدرجة الناتجة ويجب أن يعرف إذا كانت من single أو average raters وأي uncertainty مرتبط بالتصحيح. ربط هذه الصفحات يمنع تقديم reliability رقمًا منفصلًا عن الطريقة التي أُنتجت بها الدرجة.

الخلاصة

جودة التصحيح البشري ليست اتفاقًا مرة واحدة. هي نظام يبدأ ببناء rubric صالح، تدريب ومعايرة، تصميم إسناد يسمح بالمقارنة، مؤشرات agreement وreliability مناسبة، مراقبة drift والشدة والتفاعلات، ثم retraining أو adjudication عند الحاجة. في البرامج المعقدة يمكن استخدام GT أو Many-Facet Rasch، مع بقاء المراجعة والإنصاف والأمن أساسية. عندما تتطابق طريقة التحليل مع طريقة استخدام الدرجة يصبح rater evidence جزءًا حقيقيًا من validity argument.

أسئلة شائعة

عدم اليقين حول مؤشرات المقيمين

كل نسبة اتفاق أو Kappa أو ICC هي تقدير من عينة استجابات ومقيمين وليست رقمًا خاليًا من الخطأ. لذلك يفضل عند القرارات المهمة عرض فاصل ثقة أو استخدام bootstrap مناسب لتصميم الإسناد، خصوصًا إذا كان عدد المقيمين قليلًا أو توزيع الفئات غير متوازن. كما يجب أن تكون وحدة التحليل صحيحة؛ إذا أخذنا عدة استجابات من الشخص نفسه أو المقيم نفسه فليست الملاحظات مستقلة بالكامل. تجاهل البنية المتداخلة قد يعطي فواصل ضيقة زائفًا. عندما تتغير قيمة المؤشر قليلًا بين أسبوعين، نسأل هل الفرق أكبر من التقلب المتوقع قبل إعلان drift أو تحسن.

تصميم عينة المراقبة عبر الزمن

المراقبة الجيدة موزعة على نافذة scoring كاملة بدل اختيار كل عينتها في اليوم الأول. يمكن تحديد نسبة دورية من الاستجابات للقراءة الثانية، مع stratification عبر score points والمهام والأوقات والمقيمين. إذا كان هدفنا كشف drift، يجب أن توجد مواد أو آلية linking تسمح بمقارنة بداية النافذة بنهايتها. وإذا كان هدفنا كشف disagreement الحالي، نحتاج sampling يمثل العمل التشغيلي. الخلط بين الهدفين قد ينتج dashboard أنيقًا لكنه لا يجيب عن السؤال. يجب تسجيل sampling probability لأن oversampling للحالات الصعبة يغير percent agreement الخام إذا لم يعاد وزنه.

متى نراجع الـRubric نفسه؟

إذا تكررت الخلافات في حد واحد بين فئتين عبر مقيمين مختلفين، أو احتاجت جلسات التدريب تفسيرًا شفهيًا لا يظهر في rubric، فقد تكون الوثيقة نفسها مصدر الخطأ. يمكن عندها تنفيذ rubric audit: ربط كل criterion بالبناء، فحص اللغة والتداخل بين المستويات، تجربة حالات متنوعة، والتأكد أن descriptors قابلة للملاحظة. تعديل rubric في وسط scoring عالي المخاطر يحتاج خطة انتقال، لأن الدرجات قبل وبعد التغيير قد لا تكون قابلة للمقارنة تلقائيًا. قد يتطلب الأمر rescoring عينة أو كل الاستجابات المتأثرة وفق حجم الأثر والسياسة. حفظ النسخة والتاريخ ضروري.

التقرير التقني لجودة التصحيح

التقرير السنوي أو الدوري يجب أن يصف rater pool والتدريب والمعايرة وتصميم assignment ونسبة double scoring وقواعد adjudication، ثم يقدم agreement وreliability وعدم اليقين وdrift وseverity وأي subgroup analyses، مع الإجراءات التي اتخذت عند flags. يجب التفريق بين بيانات تدريب وبيانات تشغيل، وبين benchmark scores وقراءات عادية. إذا تغير model أو rubric أو scoring platform، يسجل ذلك كحدث قد يؤثر في السلسلة. هذه الوثائق تجعل النتيجة قابلة للمراجعة عند الاعتراض أو التدقيق وتمنع الاعتماد على ذاكرة فريق التصحيح بعد انتهاء الموسم.

فحص ما بعد الإطلاق

بعد انتهاء نافذة scoring لا ينتهي العمل. يقارن الفريق توزيع الدرجات بمواسم سابقة مع مراعاة تغير السكان، ويفحص معدلات adjudication حسب المهمة والمقيم، ويراجع الحالات التي أُعيد تصحيحها أو طُعن فيها. إذا ظهرت مشكلة متأخرة، يجب تحديد نطاق الاستجابات المتأثرة وإصدار قرار واضح بشأن rescoring أو التصحيح أو الإخطار. كما تُراجع فعالية التدريب: أي أجزاء من rubric احتاجت أكثر تدخل؟ وأي check sets كانت حساسة للdrift؟ تُستخدم هذه الأدلة لتحسين دورة التدريب التالية من دون تغيير معيار الأداء التاريخي بصورة غير موثقة.