نظرية التعميم في القياس GT: الأوجه ودراسات G وD

نظرية التعميم Generalizability Theory أو GT توسع فكرة الثبات من سؤال واحد—كم من تباين الدرجة إشارة وكم منه خطأ؟—إلى سؤال أكثر فائدة في التقييم الواقعي: ما المصادر المختلفة التي تجعل الدرجة تتغير، وما مقدار مساهمة كل مصدر، وكيف سيتغير مستوى الدقة إذا عدلنا تصميم القياس؟ في تقييم أداء قد تتغير النتيجة بسبب المهمة، والمقيم، واليوم، وتفاعل الشخص مع المهمة أو المقيم. جمع كل ذلك في «خطأ» واحد يخفي معلومات تصميمية مهمة. GT تفكك التباين إلى أوجه facets وتفاعلات، ثم تستخدم G-study لفهم بنية الخطأ وD-study للتنبؤ بأثر زيادة عدد المهام أو المقيمين أو المناسبات. لهذا فهي جسر بين نظرية الاختبار الكلاسيكية وتصميم التقييم متعدد المصادر.

من CTT إلى نظرية التعميم

في Classical Test Theory نكتب الدرجة المشاهدة بصورة مبسطة X = T + E، ويجمع E عادة مصادر عدم الاتساق في مكوّن واحد بالنسبة إلى تصميم معين. هذا مفيد عندما يكون مصدر التكرار واضحًا أو عندما نحتاج تقديرًا إجماليًا للثبات. لكن إذا كان الأداء يقاس عبر عدة مهام بواسطة عدة مقيمين وفي أكثر من مناسبة، يصبح من المهم معرفة هل المشكلة الرئيسية هي اختلاف المهام، أم شدة المقيمين، أم تفاعل أشخاص معينين مع مهام معينة، أم بقايا غير مفسرة. GT تحتفظ بفكرة التكرار لكنها تجعل «عالم التكرارات» صريحًا ومتعدد الأبعاد.

الفكرة ليست أن GT تلغي CTT، بل إنها تعممها. عندما يوجد وجه واحد بسيط يمكن أن تختزل بعض تصاميم GT إلى حالات مألوفة من تحليل الثبات الكلاسيكي. وعندما تتعدد الأوجه، توفر GT لغة أوضح لتحديد ما يعد خطأً في القرار النسبي وما يعد خطأً في القرار المطلق. الطبعة الخامسة من Educational Measurement تعرض الثبات وأخطاء القياس عبر CTT وGT وIRT ضمن إطار تكرار مشترك، وهو ترتيب مفيد لفهم أن الاختلاف بين النظريات يتعلق بتفصيل النموذج وسؤال الدقة، لا بتصنيف بسيط إلى قديم وحديث.

موضوع القياس وعالم الملاحظات الممكنة

Object of measurement

أول قرار في GT هو تحديد «موضوع القياس»؛ وغالبًا يكون الشخص، لكنه قد يكون مدرسة أو فصلًا أو مقيّمًا أو برنامجًا بحسب السؤال. إذا كان هدفنا تقدير أداء الطالب، فالطالب هو object of measurement، بينما المهام والمقيمون والمناسبات أوجه محتملة للتعميم. التباين بين الطلاب هو الإشارة التي نريد الاحتفاظ بها عادة، أما بعض مكونات الأوجه وتفاعلاتها فتدخل في خطأ القياس وفق نوع القرار. الخطأ الشائع هو بدء البرنامج الإحصائي قبل صياغة ما الذي نريد تعميمه وعلى أي كون من الشروط.

Universe of admissible observations

GT تسأل: لو أعدنا القياس تحت شروط أخرى مقبولة من الكون نفسه، أي اختلافات نريد أن نتجاهلها وأيها نريد أن تؤثر في الحكم؟ إذا كانت مهام الامتحان عينة من مجموعة واسعة من المهام الممكنة، فنحن نريد تعميم النتيجة عبر المهام. وإذا كان المقيمون مجموعة ممثلة من مقيمين مدربين، قد نريد التعميم عبرهم أيضًا. تعريف هذا الكون ليس مسألة لغوية؛ هو الذي يحدد ما إذا كان الوجه عشوائيًا أو ثابتًا، وما المكونات التي تدخل في خطأ القرار.

ما هي الأوجه Facets؟

الوجه هو مصدر منهجي للاختلاف في ظروف القياس. أمثلة شائعة: البنود، المهام، الحالات السريرية، المقيمون، المناسبات، مراكز الاختبار، أو طرق العرض. لا يعني وجود تباين للوجه أنه «سيئ». قد تكون المهام مختلفة عمدًا في الصعوبة، أو المقيمون متفاوتين قليلًا في الشدة. المهم هو معرفة أثر الوجه وتفاعلاته على دقة الدرجة التي سنستخدمها. في تصميم persons × items مثلًا يمكن تقدير تباين الأشخاص، وتباين البنود، وتفاعل الشخص × البند مع الباقي غير المفصول في تصميم تطبيق واحد.

الوجه العشوائي والوجه الثابت

إذا كانت مستويات الوجه تُعامل كعينة من كون أوسع نريد التعميم إليه، نتعامل معه عادة كوجه عشوائي. أما إذا كانت المستويات نفسها هي وحدها محل الاهتمام ولا نريد التعميم خارجها، فقد يكون ثابتًا. هذا القرار يؤثر في تفسير مكونات التباين ودراسة القرار. مثلًا إذا كانت ثلاث حالات سريرية محددة هي المنهج المطلوب حرفيًا، يختلف السؤال عن اعتبارها عينة من عشرات الحالات الممكنة في المجال. يجب تبرير fixed versus random علميًا لا اختيار الخيار لأن البرنامج يعطي نتيجة أفضل.

التصاميم المتقاطعة والمتداخلة

Crossed designs

في التصميم المتقاطع crossed يمر كل موضوع قياس عبر المستويات نفسها من الوجه، مثل أن يقيّم كل مقيم كل طالب أو يجيب كل طالب عن البنود نفسها. هذا يسمح بفصل مكونات تفاعل أكثر، لكنه قد يكون مكلفًا أو غير عملي. الترميز p × r يعني أن الأشخاص والمقيمين متقاطعون إذا رأى كل مقيم جميع الأشخاص. ومع إضافة مهام قد يصبح التصميم p × r × t، فتزداد المكونات الممكنة: الشخص، المقيم، المهمة، التفاعلات الثنائية، والتفاعل الثلاثي/الباقي.

Nested designs

في التصميم المتداخل nested لا تظهر بعض مستويات الوجه إلا داخل مستويات أخرى، مثل أن يكون لكل مركز مجموعة مختلفة من المقيمين، أو أن يقيم كل مقيم مجموعة مختلفة من الطلاب. الترميز r:p قد يعني مقيمين متداخلين داخل الأشخاص في سياق معين. التداخل يقلل إمكان فصل بعض التفاعلات ويغير ما يمكن تعميمه. من الأخطاء تحليل تصميم متداخل كأنه متقاطع؛ هذا قد ينسب التباين إلى مكونات خاطئة ويعطي معاملات دقة غير مبررة.

دراسة G: تفكيك مكونات التباين

Generalizability study أو G-study تقدّر مكونات التباين في التصميم المختار. في مثال أشخاص p، مقيمين r، ومهام t قد نهتم بـσ²p للفروق بين الأشخاص، وσ²r لشدة المقيمين، وσ²t لاختلاف المهام، ثم σ²pr وσ²pt وσ²rt والتفاعل المتبقي σ²prt,e. النسب المئوية لهذه المكونات تساعد في فهم أين يذهب التباين، لكن يجب تجنب تفسيرها سببيًا تلقائيًا. مكوّن person × task كبير مثلًا يخبرنا أن ترتيب الأشخاص يتغير عبر المهام بدرجة مهمة؛ ولا يخبرنا وحده لماذا يحدث ذلك.

تقدير المكونات يمكن أن يعتمد على ANOVA أو نماذج تأثيرات مختلطة بحسب توازن التصميم والبرمجية والافتراضات. في التصاميم غير المتوازنة أو مع بيانات مفقودة قد تكون mixed-effects approaches أكثر مرونة، لكن يجب توثيق طريقة التقدير والقيود. القيم السالبة لمكوّن تباين قد تظهر بسبب خطأ معاينة أو طريقة تقدير؛ التعامل معها يحتاج سياسة معلنة وفهمًا لأثر تثبيتها عند الصفر أو استخدام مقدرات مقيدة، لا حذفها بصمت.

القرار النسبي والقرار المطلق

أحد أهم إسهامات GT هو التمييز بين خطأ القرار النسبي وخطأ القرار المطلق. إذا كنا نرتب الأشخاص بالنسبة إلى بعضهم، فإن اختلافًا ثابتًا في صعوبة المهمة أو شدة المقيم قد لا يغير الترتيب إذا أثر في الجميع بالطريقة نفسها؛ لذا لا يدخل كل تباين وجه بالوزن نفسه في خطأ القرار النسبي. أما إذا كنا نقارن كل شخص بحد ثابت أو معيار أداء مطلق، فإن صعوبة المهمة أو شدة المقيم قد تغير النجاح والرسوب حتى لو ظل ترتيب الأشخاص كما هو، لذلك تدخل مكونات إضافية في خطأ القرار المطلق.

Generalizability coefficient

معامل التعميم الذي يرمز له غالبًا Eρ² أو G coefficient يرتبط بالقرارات النسبية. البسط يمثل تباين موضوع القياس، والمقام يضيف تباين الخطأ النسبي الذي يحتوي المكونات القادرة على تغيير ترتيب الأشخاص. القيمة الأعلى تعني أن الفروق بين الأشخاص أكثر استقرارًا عبر التكرارات المقصودة بالنسبة إلى الترتيب، لكنها لا تضمن دقة قرار مطلق قرب حد قطع.

Dependability coefficient Phi

مؤشر الاعتمادية Φ يستخدم عادة للقرارات المطلقة ويضم نطاقًا أوسع من مكونات الخطأ لأن تغير مستوى المهمة أو المقيم قد يؤثر في الحكم بالنسبة إلى معيار ثابت. لذلك يكون Φ مساويًا أو أقل من معامل G في كثير من التصاميم. الفرق بينهما ليس تفصيلًا تقنيًا؛ إذا كانت الدرجة ستستخدم للترتيب فقط قد يكون G أقرب للسؤال، وإذا كانت لاتخاذ قرار اجتياز أو أهلية بمعيار ثابت فـΦ والدقة المطلقة أكثر صلة.

الخطأ المعياري النسبي والمطلق

كما أن CTT تربط الثبات بـSEM، تسمح GT بتقدير خطأ معياري يتوافق مع نوع القرار. Relative SEM يعتمد على مكونات الخطأ المؤثرة في الترتيب، بينما Absolute SEM أو خطأ الاعتمادية يضم المكونات المناسبة للقرار المطلق. هذه القيم مفيدة لأنها بوحدة الدرجة، ويمكن استخدامها لفهم عدم اليقين حول القياس أو تصميم فواصل تقريبية. لكن لا ينبغي تحويلها إلى معنى وظيفي تلقائي؛ تجاوز خطأ القياس لا يساوي بالضرورة تغيرًا مهمًا تربويًا أو سريريًا.

دراسة D: كيف نعيد تصميم القياس؟

Decision study أو D-study تأخذ مكونات التباين المقدرة في G-study وتسأل ماذا سيحدث لو غيرنا عدد الملاحظات في كل وجه. إذا كان تفاعل الشخص × المهمة هو المصدر الأكبر للخطأ، فقد تكون زيادة عدد المهام أكثر فائدة من إضافة مقيم جديد. وإذا كان اختلاف المقيمين أو تفاعل الشخص × المقيم كبيرًا، قد تستفيد الدقة من مزيد من المقيمين أو تدريب أفضل أو تغيير قواعد التصحيح. الفكرة الاقتصادية مهمة: الهدف ليس دائمًا الوصول إلى أعلى معامل ممكن، بل الوصول إلى دقة كافية بأقل عبء معقول مع الحفاظ على تغطية البناء.

في D-study تنخفض مساهمة بعض مكونات الخطأ عندما نزيد عدد المستويات التي نأخذ متوسطها. زيادة عدد المهام من 2 إلى 6 مثلًا تقلل وزن مكونات مرتبطة بالمهام في تباين الخطأ وفق تصميم الدراسة. لكن التنبؤ يفترض أن مكونات التباين المقدرة قابلة للتعميم إلى التصميم الجديد. إذا غيرنا نوع المهام جذريًا أو طريقة التدريب أو السكان، فقد لا تبقى المكونات نفسها. لذلك D-study أداة تصميم مبنية على الدليل الحالي، لا ضمانًا ميكانيكيًا.

مثال تطبيقي: تقييم أداء متعدد المهام والمقيمين

تخيل تقييمًا مهاريًا لـ120 طالبًا، لكل طالب أربع مهام، ويقيّم الأداء مقيمان. بعد G-study نجد أن تباين الأشخاص 35%، وتباين المهام 8%، والمقيمين 2%، لكن تفاعل الشخص × المهمة 25%، والشخص × المقيم 5%، وبقية التفاعلات والخطأ 25%. الرسالة الرئيسية ليست أن المقيمين «لا يهمون» لأن مكوّن r صغير؛ تفاعل p×r قد يظل مهمًا. كما أن p×t الكبير يشير إلى أن أداء الشخص يعتمد بقوة على المهمة، ما يعني أن عينة مهام صغيرة قد لا تمثل المجال جيدًا.

إذا أظهرت D-study أن زيادة المهام من أربع إلى ثمان تحسن G وΦ أكثر بكثير من زيادة المقيمين من اثنين إلى ثلاثة، فالأولوية التصميمية تصبح توسيع عينة المهام ما لم يمنع العبء أو التكلفة ذلك. وإذا كان القرار اجتياز/عدم اجتياز، نقارن Φ وAbsolute SEM قرب حد القطع، لا G وحده. المثال يوضح لماذا تعطي GT معلومات لا يقدمها معامل اتساق داخلي واحد: هي تخبرنا أين نستثمر موردًا إضافيًا.

استخدام GT في التقييمات عالية المخاطر

في التقييمات السريرية أو المهنية أو التعليمية عالية المخاطر قد يكون الأداء معتمدًا على الحالة أو المهمة والمقيم بصورة كبيرة. مراجعة منهجية وتحليل تلوي لتقييم المهارات التقنية في التعليم الطبي وجدت استخدامًا واسعًا لـG-theory لتحديد مصادر التباين وإجراء D-studies، مع متوسط تجميعي لمعامل G في الدراسات المشمولة يقارب مستوى متوسط، وأشارت إلى أهمية السياق وعدد الأداءات والمقيمين. هذه النتائج لا تنقل رقمًا معياريًا إلى كل اختبار، لكنها تبين قيمة النظرية في كشف أن «عدد الملاحظات» لا يساوي «عدد المعلومات المستقلة» إذا كانت الأوجه والتفاعلات غير ممثلة جيدًا.

في الاختبارات المهنية يجب ربط تصميم التعميم بحجة الصلاحية والعدالة. إذا كانت المهام لا تمثل المجال، فلن تعالج زيادة العدد وحدها نقص المحتوى. وإذا كان بعض المقيمين يطبقون معايير مختلفة بسبب غموض الروبرك، فقد يكون التدريب أو تحسين rubrics أهم من مجرد إضافة مقيمين. GT تشخص بنية عدم الاتساق؛ لكنها لا تستبدل مراجعة المحتوى أو العدالة أو أمن الاختبار أو جودة التدريب.

التصاميم غير المتوازنة والبيانات المفقودة

التصميم المثالي المتقاطع بالكامل قد يكون غير ممكن. بعض المقيمين قد يغيبون، وبعض المهام قد لا تطبق على جميع الأشخاص، وقد تختلف أعداد الملاحظات. يمكن تقدير مكونات التباين بتقنيات ملائمة للتصاميم غير المتوازنة، ومنها نماذج التأثيرات المختلطة، لكن معنى الوجه والتداخل لا يتغير. يجب وصف سبب عدم التوازن، وهل missingness عشوائي أو مرتبط بالأداء، وأي قيود على التعميم. ملء الخانات المفقودة آليًا قبل تحليل GT قد يخلق بنية تباين مصطنعة إذا لم يطابق نموذج التعويض تصميم القياس.

مكونات التباين الصغيرة والسالبة

التقديرات قد تعطي مكوّنًا قريبًا من الصفر أو سالبًا في بعض طرق ANOVA بسبب تقلب المعاينة، رغم أن التباين الحقيقي لا يكون سالبًا. بعض البرمجيات تقيد المكونات عند الصفر، وأخرى تعرض التقدير الخام. لا توجد فائدة في تحويل هذا إلى أزمة نظرية؛ المهم هو ذكر طريقة التقدير، إجراء تحليل حساسية عند الحاجة، وفهم أثر القرار على G وΦ وD-study. إذا كانت العينة صغيرة أو الخلايا قليلة فقد تكون المكونات غير مستقرة، لذلك ينبغي تقديم عدم اليقين وعدم المبالغة في دقة النسب المئوية.

GT متعددة المتغيرات

Multivariate Generalizability Theory توسع الإطار عندما توجد عدة درجات فرعية أو أبعاد نريد تحليل اتساقها ومصادر خطئها معًا. يمكنها دراسة تغايرات الإشارة والخطأ بين المقاييس الفرعية، وتقييم جدوى مركبات أو مجموعات درجات، وفهم كيف يتغير التصميم الأمثل حسب مستوى التجميع. الأدبيات الحديثة تعرض أدوات لتطبيق multivariate GT على التقييمات النفسية، لكنها أكثر تعقيدًا في التقدير والتفسير، لذلك لا ينبغي استخدامها لمجرد الحصول على نموذج أوسع إذا كان السؤال أحادي الدرجة ويمكن الإجابة عنه بتصميم أبسط.

اللا تجانس في خطأ القياس: امتداد حديث

تفترض الصيغ الكلاسيكية كثيرًا أن بنية التباين مناسبة لوصف السكان والشروط إجمالًا. أعمال حديثة تقترح دمج GT مع mixed-effects location-scale models عندما تختلف بقايا الخطأ باختلاف الأشخاص أو الشروط، بحيث يمكن التفكير في دقة أكثر محلية. هذه امتدادات بحثية واعدة وليست بديلًا تلقائيًا عن G-theory التقليدية. في أغلب التطبيقات يبدأ الباحث بتصميم صحيح ومكونات تباين واضحة وفحص residuals، ثم ينتقل إلى نماذج أكثر مرونة إذا أظهرت البيانات سببًا حقيقيًا لذلك.

GT مقارنة بـCTT وIRT

يمكن استخدام الأطر بصورة تكاملية. اختبار ثابت قد يبدأ بـCTT لتقدير الدقة الإجمالية، ويستخدم GT عندما يدخل المقيمون أو المهام أو المناسبات، ويستخدم IRT عندما تكون خصائص البنود والدقة الشرطية وبنوك البنود مركزية. الاختيار الأفضل هو أبسط نموذج يجيب عن سؤال القرار بوضوح دون إخفاء مصدر خطأ مهم.

كيف نصمم G-study جيدة؟

قبل جمع البيانات

حدد object of measurement، والكون الذي تريد التعميم إليه، والأوجه ومستوياتها، وما إذا كانت crossed أو nested، وأيها عشوائي أو ثابت. حدد هل القرار نسبي أم مطلق. ارسم التصميم قبل جمع البيانات، وقرر الحد الأدنى من الخلايا اللازمة لتقدير المكونات المهمة. إذا كنت لا تستطيع فصل وجهين في التصميم فلا تتوقع من التحليل أن يفصل تباينهما بعد ذلك.

أثناء التحليل

افحص التوازن والبيانات المفقودة، اختر estimator مناسبًا، وقدّر مكونات التباين مع توضيح ما يتداخل في الباقي. احسب G وΦ بما يطابق القرار، ثم نفذ D-study لسيناريوهات واقعية لا عشرات السيناريوهات التجميلية. لا تركز على معامل نهائي فقط؛ اعرض المكونات التي تشرح لماذا تحسن أو ساء التصميم.

عند الإبلاغ

اذكر السكان، موضوع القياس، الأوجه، أعداد المستويات، crossed/nested، fixed/random، طريقة التقدير، مكونات التباين، تعريف الخطأ النسبي والمطلق، G وΦ وSEM، ثم سيناريوهات D-study. إذا كانت هناك مكونات سالبة أو خلايا مفقودة فاذكر كيفية التعامل معها. التقرير الذي يقول «G coefficient = 0.85» بلا تصميم لا يسمح للقارئ بمعرفة ما الذي عُممت عليه الدرجة.

أخطاء شائعة

من الأخطاء تسمية أي ANOVA متعدد العوامل «G-theory» من دون تحديد object of measurement أو universe، وخلط crossed وnested، واستخدام G coefficient لقرار مطلق يحتاج Φ، أو تحويل رقم شائع مثل 0.80 إلى عتبة ثابتة لكل استخدام. ومن الأخطاء أيضًا افتراض أن وجهًا صغير التباين غير مهم مع تجاهل تفاعله مع الأشخاص، أو إجراء D-study لتصميم جديد جذريًا ثم التعامل مع التوقع كأنه تحقق تجريبي.

ومن الأخطاء التقنية عدم توثيق التعامل مع التباينات السالبة، تجاهل عدم التوازن، استخدام عدد قليل جدًا من مستويات الوجه ثم تعميم النتائج إلى كون واسع، أو تدريب المقيمين على عينة الدراسة بطريقة تجعل variance components متفائلة مقارنة بالتشغيل الحقيقي. يجب أن تعكس G-study ظروف الاستخدام التي نريد الدفاع عنها قدر الإمكان.

كيف يقيّم القارئ دراسة GT؟

اسأل أولًا: ما موضوع القياس وما الأوجه؟ هل التصميم يسمح بفصل المكونات التي يدعي الباحث تقديرها؟ هل مستويات الأوجه تمثل الكون المستهدف؟ هل القرار نسبي أم مطلق؟ ما أكبر مكونات الخطأ، وهل تفسيرها منطقي؟ كيف تغيرت G وΦ في D-study، وهل السيناريو المقترح قابل للتطبيق؟ ثم افحص حجم العينة، عدد مستويات كل وجه، missingness، طريقة التقدير، وفواصل عدم اليقين إن وجدت. دراسة GT الجيدة تشرح كيف تحسن تصميم القياس، لا تكتفي بإضافة معامل جديد.

خريطة تعلم مترابطة

ابدأ بنظرية الاختبار الكلاسيكية لفهم الدرجة الحقيقية والخطأ والثبات وSEM. انتقل إلى GT عندما تتعدد شروط التكرار وتحتاج تفكيكها. استخدم صفحة الثبات في القياس لاختيار معاملات مثل ICC وKappa وOmega في التصاميم المناسبة، والتحليل العاملي لفحص بنية الدرجة، وIRT عندما تحتاج معلومات البند والدقة الشرطية. أما صدق القياس فيبقى الإطار الأوسع الذي يسأل هل تفسير الدرجة واستخدامها مدعومان أصلًا.

أسئلة شائعة

الخلاصة

نظرية التعميم تجعل سؤال الثبات أقرب إلى الواقع: الدرجات تتأثر بمهام ومقيمين ومناسبات وتفاعلات، ولا يكفي دائمًا جمعها في «خطأ» واحد. G-study تفكك هذه المصادر، والتمييز بين القرار النسبي والمطلق يحدد G coefficient أو Φ والخطأ المناسب، ثم D-study تحول التحليل إلى أداة تصميم تتنبأ بأثر تغيير عدد الملاحظات. القوة الحقيقية لـGT ليست رفع معامل إلى عتبة معينة، بل اكتشاف أين تضيع الدقة وكيف نبني تقييمًا أكثر كفاءة وعدالة وتمثيلًا للمجال. عندما تتكامل مع CTT وIRT والصدق والبنية تصبح جزءًا من منظومة قياس مؤسسية قابلة للدفاع والمراجعة.