وضع معايير الأداء ونقاط القطع: من وصف المستوى إلى القرار

وضع معايير الأداء Standard Setting هو العملية التي نحدد بها نقطة أو نقاطًا على مقياس الاختبار لتقسيم النتائج إلى فئات ذات معنى، مثل «لم يحقق الحد المطلوب»، «مؤهل»، أو مستويات أداء متعددة. نقطة القطع Cut Score ليست حقيقة مكتشفة داخل البيانات، ولا متوسطًا يجب أن يتبع توزيع الدرجات، بل قرار مبني على وصف لما ينبغي أن يعرفه أو يستطيع فعله الشخص عند حد مستوى معين، ثم يُترجم هذا الوصف إلى درجة باستخدام إجراء منظم وأحكام خبراء وبيانات داعمة. لذلك جودة standard setting تعتمد على وضوح الغرض، وصلاحية الاختبار، ووصف مستويات الأداء، واختيار المحكمين وتدريبهم، والطريقة المستخدمة، والتغذية الراجعة، وعدم اليقين، والتحقق من النتائج. هذا الدليل يشرح العملية كاملة من سؤال «هل نحتاج cut score أصلًا؟» إلى اعتماد الدرجة ومراقبة أثرها بعد التشغيل.

ما هي نقطة القطع Cut Score؟

نقطة القطع هي قيمة مختارة على مقياس الدرجات تستخدم لفصل تصنيفين أو مستويين. قد تكون نقطة نجاح في اختبار ترخيص، أو حدًا بين مستوى أساسي ومتقن، أو عدة نقاط تفصل أربعة مستويات أداء. لكن الدرجة نفسها لا تملك معنى مستقلًا عن وصف المستوى. إذا قلنا إن 70 هو حد الإتقان من دون تعريف «الإتقان» في محتوى الاختبار والأداء المتوقع، فنحن نبدأ بالرقم بدل الحجة. الممارسة الأقوى تبدأ من تعريف المحتوى والمعيار والأداء الحدّي ثم تنتقل إلى الدرجة.

كما أن cut score ليست مساوية تلقائيًا للمتوسط أو لرتبة مئينية. المعايير المعيارية Norm-Referenced تقارن الشخص بآخرين، بينما standard setting في سياقه الشائع يحدد معيار أداء Criterion/Standards-Referenced يمكن أن يبقى ثابت المعنى حتى لو تغير توزيع المتقدمين. قد يستخدم القائمون على القرار معلومات معيارية كجزء من فحص معقولية النتيجة، لكن لا ينبغي أن تصبح نسبة النجاح المستهدفة هي الطريقة الخفية لتحديد ما يعنيه الحد الأدنى من الكفاءة.

هل نحتاج نقطة قطع أصلًا؟

قبل تنظيم لجنة خبراء يجب سؤال ما إذا كان التصنيف الثنائي أو متعدد المستويات ضروريًا. أحيانًا تكون الدرجة المستمرة أكثر فائدة، خصوصًا عندما لا توجد عتبة مفاهيمية واضحة أو عندما تكون تبعات التصنيف كبيرة والدقة قرب الحد ضعيفة. نقاط القطع تضغط معلومات مستمرة إلى فئات وتخلق حالات قريبة من الحد قد تختلف في التصنيف رغم تقارب الأداء. لذلك يجب أن تكون هناك فائدة قرار واضحة تبرر هذا الفقد في المعلومات.

إذا كان الاستخدام عالي المخاطر—ترخيص مهني، أهلية خدمة، انتقال تعليمي—فإن عبء الدليل يرتفع. لا يكفي أن تكون الطريقة مشهورة؛ يجب أن يكون الاختبار نفسه صالحًا للغرض، وأن تكون درجة الدقة مناسبة قرب الحد، وأن تكون الفئات مفهومة للمستخدمين، وأن تكون إجراءات الاعتماد والاعتراض والمراجعة واضحة.

ابدأ بوصف مستوى الأداء

Performance Level Descriptors

Performance Level Descriptors أو PLDs تصف ما يميز الأداء في كل مستوى: المعرفة والمهارات والعمق والاستقلال والاتساق المتوقع. الوصف الجيد مرتبط بمواصفات الاختبار ولا يقتصر على صفات عامة مثل «جيد» و«ضعيف». إذا كانت مستويات الأداء متعددة، يجب أن تكون الحدود المفاهيمية بينها مفهومة بما يكفي ليحكم الخبراء على الشخص الذي يقع عند الحد.

المؤهل الحدّي Minimally Qualified Candidate

في اختبارات الترخيص والنجاح/الرسوب يُستخدم مفهوم الشخص المؤهل بالحد الأدنى Minimally Qualified Candidate أو Borderline Candidate. الهدف ليس تخيل «الشخص المتوسط» ولا أفضل ممارس، بل الشخص الذي يقع مباشرة عند الحد بين المقبول وغير المقبول. كلما كان الوصف ملموسًا ومتصلًا بالمهمات، أصبح حكم المحكمين أكثر قابلية للدفاع. يجب تدريب اللجنة على العودة إلى هذا الوصف بدل استخدام خبرتها الشخصية مع طلاب أو موظفين معينين كمرجع غير معلن.

اختيار المحكمين Panelists

المحكمون جزء من أداة standard setting نفسها. يجب أن يجمعوا خبرة ذات صلة بالمحتوى والسكان والاستخدام، وأن يمثلوا تنوعًا مناسبًا في المناطق أو السياقات أو الأدوار عندما يكون ذلك ذا معنى. لا تعني الخبرة الطويلة تلقائيًا القدرة على تقدير أداء شخص حدّي؛ يحتاج الخبراء إلى تدريب على المهمة، وفهم الاختبار، ووصف مستوى الأداء، وطريقة الحكم.

ينبغي توثيق معايير الاختيار وعدد المحكمين وخبراتهم، وأي تعارض مصالح، وكيف عولج الانسحاب أو الاستبدال. إذا كانت القرارات تمس مجموعات سكانية متنوعة، يجب التفكير في تمثيل المعرفة بالسياقات المختلفة من دون تحويل اللجنة إلى حصة شكلية. المقصود أن يكون الحكم مستنيرًا بالمجال الذي ستطبق فيه الدرجة.

تدريب المحكمين

التدريب ليس مقدمة إدارية قصيرة. يحتاج المحكم إلى فهم الغرض، ومواصفات الاختبار، ومستويات الأداء، والشخص الحدّي، والطريقة الحسابية، وما نوع المعلومات التي سيحصل عليها بين الجولات. تستخدم دراسات جيدة بنودًا تدريبية ومناقشة جماعية وتمارين عملية قبل تسجيل الأحكام التشغيلية. يجب فحص فهم المهمة وإتاحة أسئلة قبل البدء.

أبحاث الإدراك في standard setting تشير إلى أن مهمة تقدير احتمالات أداء الشخص الحدّي يمكن أن تكون معرفيًا صعبة وتتأثر بطريقة تقديم السؤال والمعلومات. لهذا ينبغي صياغة التعليمات بعناية، وتثبيت المرجع المفاهيمي، وتجنب ضغط اللجنة نحو رقم مرغوب. التغذية الراجعة يجب أن تساعد الخبراء على تنقيح الحكم، لا أن تتحول إلى آلية لفرض معدل نجاح مقرر مسبقًا.

طريقة Angoff المعدلة

في Modified Angoff ينظر المحكم عادة إلى كل بند ويقدر احتمال أن يجيب عنه الشخص الحدّي إجابة صحيحة، أو النسبة المتوقعة من مجموعة أشخاص حدّيين الذين سيجيبون بصورة صحيحة. تُجمع التقديرات عبر البنود لإنتاج cut score لكل محكم، ثم تُلخص عبر اللجنة. توجد تعديلات كثيرة في طريقة السؤال والجولات والمعلومات المتاحة، لذلك عبارة «استخدمنا Angoff» غير كافية وحدها.

قوة Angoff أنها تربط المعيار مباشرة بمحتوى البنود ولا تحتاج عينة كبيرة من أشخاص مصنفين مسبقًا. لكنها تطلب أحكامًا احتمالية صعبة، وقد تختلف تقديرات الخبراء باختلاف تصورهم للشخص الحدّي. لذلك تستخدم جولات متعددة، ومناقشة، ومعلومات عن صعوبة البنود أو أثر التقديرات أحيانًا. يجب أن تبقى البيانات التجريبية معلومة مساعدة لا مرساة تجعل الحكم ينسخ نسب الإجابة الفعلية.

طريقة Bookmark

Bookmark تُستخدم خصوصًا مع اختبارات يمكن ترتيب بنودها أو مهامها على مقياس صعوبة، غالبًا بالاستفادة من IRT. يُعرض Ordered Item Booklet يرتب البنود من الأسهل إلى الأصعب، ويحدد المحكم موضعًا يمثل الحد الذي يبدأ عنده المحتوى أو الأداء بما يتجاوز ما نتوقعه من الشخص في المستوى الأدنى وفق قاعدة الاستجابة المحددة. ثم يُترجم موضع العلامة إلى درجة على المقياس.

الميزة أنها تسمح للخبراء برؤية تقدم المحتوى عبر مقياس الصعوبة بدل تقدير احتمال مستقل لكل بند. لكن جودة الطريقة تعتمد على ترتيب البنود وصحة المعايرة وفهم Response Probability criterion. إذا كان النموذج لا يلائم البيانات أو كانت البنية متعددة الأبعاد بطريقة معقدة، فإن ترتيبًا واحدًا قد يخفي معلومات مهمة.

Borderline Group وContrasting Groups

في Borderline Group يحدد خبراء مستقلون أشخاصًا يمثلون الأداء الحدّي باستخدام حكم خارجي ذي معنى، ثم تستخدم درجات هؤلاء الأشخاص لتقدير cut score. وفي Contrasting Groups يصنف الخبراء أشخاصًا إلى مجموعتين مثل مؤهل وغير مؤهل، ثم تُدرس توزيعات درجات الاختبار للمجموعتين ويختار حد يفصل بينهما وفق قاعدة قرار. هذه الطرق تعتمد على بيانات أداء حقيقية بدل الحكم على البنود فقط.

قوتها ترتفع عندما يكون الحكم الخارجي نفسه ذا جودة ويعتمد على نفس البناء الذي يقيسه الاختبار. إذا كان الحكم الخارجي متأثرًا بالسمعة أو فرصة التعلم أو متغيرات أخرى، يمكن أن تتحول الطريقة إلى إعادة إنتاج تحيزات التصنيف الخارجي. Primer ETS يشير إلى قوة المنطق النظري لـContrasting Groups وقدرتها على ربط cut score بأخطاء القرار عندما تكون التصنيفات الخارجية ذات معنى.

طرق أخرى: Nedelsky وEbel وBody of Work

Nedelsky طُورت تاريخيًا لبنود الاختيار من متعدد وتطلب تقدير البدائل التي يستطيع الشخص الحدّي استبعادها، ثم اشتقاق احتمال الإجابة الصحيحة. Ebel يجمع تصنيف البنود بحسب الأهمية والصعوبة مع تقديرات للأداء. Body of Work يستخدم عينات فعلية من أعمال المتقدمين ويطلب من المحكمين مطابقة العمل بمستويات الأداء. لكل طريقة نوع حكم مختلف، ولا توجد طريقة واحدة أفضل لجميع الاختبارات.

اختيار الطريقة يجب أن يتبع نوع الاختبار ونوع الحكم الذي يستطيع الخبراء تقديمه بثقة وموارد الدراسة. إذا كان اختبار أداء وله أعمال غنية يمكن رؤيتها، فقد تكون طرق قائمة على أداء حقيقي أكثر طبيعية من تقدير احتمالات بندية. وإذا كان اختبارًا كبيرًا من بنود موضوعية، قد تكون Angoff أو Bookmark أكثر عملية.

الجولات والمناقشة والتغذية الراجعة

غالبًا لا تنتهي standard setting بجولة واحدة. بعد الجولة الأولى يمكن عرض ملخصات أحكام اللجنة، ومناقشة البنود ذات التفاوت الكبير، وعرض بيانات أداء مناسبة أو أثر cut score على التصنيف، ثم تسجيل جولة أخرى. وجود تغير بين الجولات ليس مشكلة بحد ذاته؛ المهم أن يكون سبب التغير مفهومًا وأن تبقى الأحكام فردية قبل التجميع، مع توثيق نوع المعلومات التي رآها المحكمون.

التوافق الكامل ليس هدفًا واقعيًا. اختلاف الخبراء يعطي معلومات عن عدم يقين الحكم. يجب عرض تشتت الأحكام وليس المتوسط فقط، وفحص ما إذا كانت مجموعة صغيرة تقود النتيجة أو توجد انقسامات منهجية حسب الخبرة أو المنطقة. يمكن أن تكون مناقشة الاختلاف مفيدة في تحسين وصف المستوى نفسه.

بيانات أثر القرار Impact Data

قد يُعرض على المحكمين بعد جولة أولية ما نسبة المتقدمين الذين سيصنفون في كل مستوى بناءً على cut score المقترح. الغرض هو فحص معقولية التبعات، لا جعل اللجنة تستهدف نسبة نجاح. إذا كانت النتيجة ستصنف 95% من مجموعة معروفة الصعوبة في أعلى مستوى، قد يدفع ذلك الخبراء إلى مراجعة فهمهم للمستوى أو البنود. لكن تغيير الحد فقط لأن النسبة سياسية غير مرغوبة يجب أن يكون قرارًا سياسيًا معلنًا منفصلًا عن النتيجة الفنية.

الخطأ المعياري قرب نقطة القطع

دقة الاختبار عند الحد جوهرية لأن الأشخاص القريبين منه أكثر عرضة لتغير التصنيف بسبب خطأ القياس. معامل ثبات إجمالي جيد لا يضمن دقة متساوية عند cut score. ينبغي الإبلاغ عن Standard Error of Measurement في المنطقة القريبة من الحدود عندما يكون ذلك ممكنًا، أو استخدام conditional SEM / IRT information لفهم الدقة المحلية.

يمكن كذلك حساب اتساق التصنيف Classification Consistency واحتمالات التصنيف الخاطئ تحت نماذج مناسبة. إذا كان عدد كبير من الأشخاص يقع ضمن نطاق عدم يقين حول الحد، فقد يحتاج البرنامج إلى سياسات إضافية مثل استخدام مصادر معلومات متعددة أو فرص إعادة تقييم، بحسب الغرض واللوائح. الهدف ليس إزالة الخطأ تمامًا، بل الاعتراف به في تصميم القرار.

خطأ Standard Setting نفسه

هناك عدم يقين ناتج عن عينة المحكمين والبنود والطريقة والجولات، منفصل جزئيًا عن خطأ قياس درجة المتقدم. يمكن تلخيص تباين تقديرات المحكمين، استخدام إعادة المعاينة أو نماذج أخرى في بعض الدراسات، أو إجراء لجنتين مستقلتين لفحص الاستقرار. لا يوجد رقم واحد يغطي كل مصادر عدم اليقين، لكن التوثيق يجب أن يبين أن cut score توصية مبنية على أحكام منظمة وليست ثابتًا طبيعيًا.

التحقق من Cut Score

Validation لا تنتهي عند اجتماع اللجنة. يمكن فحص العلاقة بين التصنيف ومؤشرات خارجية ذات صلة، وتحليل أداء الأشخاص حول الحد، وفحص استقرار النتيجة عبر لجان أو عينات أو صور، ومراجعة نتائج التشغيل بعد الاستخدام. Pitoniak يؤكد أن standard setting جزء من حجة الصدق؛ لذلك سؤال التحقق هو هل التفسير والقرار الناتجان عن هذه الحدود مدعومان بأدلة متماسكة.

إذا كانت نقطة القطع على صورة ستتكرر عبر صور جديدة، يجب الحفاظ على المقياس بالـequating أولًا ثم تطبيق cut score على scale score المتسق. إذا تغيرت مواصفات الاختبار أو البناء بصورة جوهرية، فقد تحتاج standard setting جديدة بدل نقل حد قديم إلى أداة جديدة شكليًا.

Standard Setting عبر عدة صفوف أو مستويات

عندما توجد اختبارات متدرجة عبر صفوف أو مستويات عمرية، قد تنتج standard setting حدودًا لا تبدو متسقة على vertical scale. Vertical articulation تحاول مواءمة توقعات الأداء عبر المراحل من دون محو المعنى الخاص بكل صف. مراجعة ETS عام 2016 تشير إلى أن طرق المواءمة المختلفة لها حدود ولا توجد طريقة مثالية واحدة؛ لذلك يمكن دمج أحكام المحتوى مع أدلة القياس وفحص التقدم المتوقع بدل فرض نمط رياضي لأن الشكل يبدو أجمل.

Standard Setting والعدالة

أي cut score يخلق فئات، والفئات لها تبعات. العدالة تبدأ قبل النقطة نفسها: محتوى الاختبار، فرص الوصول، التكييفات، جودة الترجمة، وتمثيل البناء. أثناء standard setting يجب أن يفهم المحكمون السكان المستهدفين وأن تكون أوصاف الأداء مرتبطة بالبناء لا بخصائص غير لازمة. وبعد التطبيق يجب تحليل آثار التصنيف عبر المجموعات مع تجنب تفسير كل فرق كمشكلة في cut score وحدها.

مثال: اختبار ترخيص مهني

لنفترض اختبار ترخيص من 120 بندًا، هدفه تحديد الحد الأدنى الآمن للممارسة. يبدأ البرنامج بوصف Minimally Qualified Candidate بناءً على مسؤوليات المهنة ومواصفات الاختبار. يختار لجنة من ممارسين ومدربين وخبراء محتوى، ويدربهم على Modified Angoff. في الجولة الأولى يقدر كل محكم احتمال نجاح المرشح الحدّي في كل بند. تعرض بعد ذلك بيانات صعوبة البنود وتوزيع تقديرات اللجنة وتناقش البنود ذات التباين الكبير، ثم تسجل جولة ثانية.

إذا كان متوسط توصية اللجنة 78 من 120 مع تشتت بين المحكمين، لا يُعلن الرقم فورًا. يُحوّل إلى reporting scale بعد التأكد من equating الصورة، ويُفحص SEM حول الحد، والتصنيف المتوقع، واستقرار النتيجة في لجنة أو تحليل مستقل إذا كان ذلك متاحًا. الجهة المخولة تعتمد cut score النهائي وتوثق إذا اختلفت عن التوصية الفنية ولماذا. هذا الفصل بين التوصية والحكم السياسي يحمي نزاهة العملية.

مثال: مستويات أداء تعليمية متعددة

إذا كان الاختبار يقسم الأداء إلى أربعة مستويات، نحتاج ثلاثة cut scores ووصفًا واضحًا لكل حد. يمكن استخدام Bookmark مع Ordered Item Booklet مبني على IRT. يراجع الخبراء ما الذي يستطيع الطالب عند كل حد أدنى للمستوى، ويضعون علامات، ثم يرون بيانات الأثر ويعيدون الحكم. الصعوبة هنا أن الحدود ليست مستقلة تمامًا؛ يجب أن تشكل المستويات معًا تدرجًا قابلًا للتفسير وأن تتوافق مع المحتوى المتوقع عبر الصفوف.

اعتماد Cut Score والحوكمة

اللجنة الفنية غالبًا تقدم Recommended Cut Score، بينما جهة قانونية أو تعليمية أو مهنية مسؤولة تعتمد Operational Cut Score. يجب تحديد هذه الأدوار مسبقًا. إذا عدلت الجهة القرار المقترح لأسباب سياسة عامة، يجب توثيق التغيير والسبب بدل نسبه إلى الطريقة الفنية. كذلك يجب حفظ مواد التدريب وبيانات الجولات ومحاضر القرارات والإصدارات لإمكان المراجعة.

متى نعيد Standard Setting؟

لا تحتاج كل صورة جديدة إلى standard setting جديدة إذا كانت الدرجات معادلة على مقياس مستقر والمعنى لم يتغير. لكن إعادة التقييم تصبح مبررة عند تغير كبير في البناء أو المواصفات أو السكان أو طريقة الاستجابة أو تعريف الكفاءة، أو عند ظهور دليل أن الحد لا يعمل كما كان متوقعًا. يمكن أن يكون القرار مراجعة كاملة أو دراسة تحقق محددة، حسب حجم التغير.

Standard Setting ليس تشخيصًا فرديًا

حتى في الاختبارات النفسية أو الصحية، وضع cut score على أداة فحص لا يحول الدرجة إلى تشخيص فردي. إذا كان الحد مشتقًا من ROC أو criterion study فهذا نوع مختلف من اختيار عتبة القرار عن standard setting القائم على أحكام أداء، وله متطلبات أخرى مثل الحساسية والنوعية والقيم التنبؤية والسياق. يجب تسمية الطريقة الصحيحة وعدم استعارة لغة «النجاح/الرسوب» لتفسير أداة لم تُصمم لهذا الغرض.

كيف نصمم دراسة Standard Setting قوية؟

قبل الاجتماع

حدد الغرض وسلطة القرار، راجع صلاحية الاختبار، اكتب PLDs أو وصف المرشح الحدّي، اختر طريقة تناسب نوع الاختبار، وحدد معايير اختيار المحكمين. جهز مواد التدريب والبنود أو أعمال الأداء والبيانات التي ستظهر بين الجولات. خطط مسبقًا لتحليل تشتت الأحكام وSEM وأثر القرار والتحقق.

أثناء الاجتماع

تحقق من فهم المحكمين، نفذ جولة تدريبية، ثم اجمع الأحكام الفردية قبل المناقشة. قدم التغذية الراجعة وفق الخطة، واسمح بمراجعة الأحكام من دون ضغط نحو إجماع مصطنع. سجل أسباب البنود ذات الخلاف الكبير وأي تعديل في وصف المستوى. إذا ظهرت مشكلة في الاختبار نفسه فلا يجب إخفاؤها بتعديل الحد.

بعد الاجتماع

احسب التوصيات وتشتتها، افحص أثرها وSEM واتساق التصنيف، واكتب تقريرًا يتيح لشخص مطلع فهم العملية وإعادة خطواتها. اعرض النتيجة للجهة المخولة بالاعتماد، وسجل الفرق بين recommended وoperational cut score إن وجد. بعد التشغيل راقب البيانات الفعلية وحدد موعد أو شروط المراجعة المستقبلية.

أخطاء شائعة

من الأخطاء اختيار 60% أو 70% لأنها نسبة مألوفة بلا حجة، استخدام المحكمين من دون تعريف واضح للشخص الحدّي، اختصار التدريب، أو عرض معدل النجاح قبل الجولة الأولى بطريقة تجعل النتيجة تتبع توقعًا سياسيًا. ومن الأخطاء أيضًا الخلط بين standard setting والنمذجة الإحصائية لاختيار threshold، أو تطبيق cut score قديم على اختبار تغير بناؤه، أو تجاهل SEM حول الحد.

ومن الأخطاء الاعتقاد أن طريقة واحدة مثل Angoff «موضوعية». كل طريقة تنظم حكمًا بشريًا بطريقة مختلفة. الهدف ليس إزالة الحكم، بل جعله شفافًا ومنضبطًا ومبنيًا على خبرة مناسبة وأدلة قابلة للفحص. اختلاف النتائج بين الطرق يمكن أن يكون معلومة عن حساسية القرار لا سببًا لاختيار الطريقة التي تعطي النتيجة المرغوبة.

كيف يقيّم القارئ تقرير Standard Setting؟

اسأل: لماذا توجد نقطة القطع؟ ما وصف المستوى أو المرشح الحدّي؟ من المحكمون وكيف اختيروا ودُربوا؟ ما الطريقة وما المهمة الفعلية التي نفذوها؟ كم جولة كانت وما البيانات المعروضة؟ كيف تشتتت الأحكام؟ هل فُحص SEM واتساق التصنيف؟ من اعتمد الدرجة النهائية؟ هل توجد أدلة تحقق ومراقبة بعد التشغيل؟ وإذا كانت الصور تتغير، هل المقياس معادل قبل تطبيق الحد؟ غياب هذه العناصر يجعل الرقم أقل قابلية للدفاع مهما بدا دقيقًا.

العلاقة مع Equating وValidity وReliability

Reliability ودقة القياس تخبراننا مقدار عدم اليقين حول الدرجات، وValidity تسأل هل تفسير الدرجة واستخدامها مدعومان، وEquating يحافظ على معنى المقياس عبر صور الاختبار. Standard setting يضيف طبقة قرار: أين نضع الحدود على المقياس ولماذا. لا يمكن أن تصلح نقطة قطع جيدة اختبارًا غير صالح أو غير دقيق، ولا تستطيع equating أن تقرر الحد المناسب. المنظومة القوية تجعل كل وظيفة مستقلة ومترابطة في الوقت نفسه.

أسئلة شائعة

الخلاصة

وضع معايير الأداء عملية حكم منظم لا استخراج آلي لرقم. البداية من الغرض ووصف المستوى أو الشخص الحدّي، ثم اختيار محكمين مؤهلين وتدريبهم على طريقة تناسب الاختبار مثل Modified Angoff أو Bookmark أو Contrasting Groups أو Body of Work. بعد الجولات نحتاج النظر إلى تشتت الأحكام وتأثير القرار وSEM واتساق التصنيف والتحقق، ثم فصل التوصية الفنية عن اعتماد الجهة المسؤولة. نقطة القطع القوية ليست التي تبدو حاسمة، بل التي يمكن شرح معناها ومصدرها وعدم يقينها وتبعاتها، وتظل مرتبطة بمقياس مستقر عبر equating وبحجة صدق وعدالة ودقة واضحة.