MRI-TRI

La construction habituelle des tests repose sur un modèle : la théorie classique des tests. Le problème de ce modèle est la relativité des propriétés métriques qui en découlent puisque les normes sont très dépendantes de l'échantillon de standardisation ou d'étude des items. Par exemple, la difficulté d'un item est définie comme la proportion de personnes qui répondent correctement à l'item dans l'échantillon. Si les personnes tes

tées sont "peu performants", l'item sera considéré comme plus difficile. Par contre, s'ils sont très performants,  l'item sera considéré comme plus facile (d'où la nécessité de bien échantillonner même dans la phase de construction et de sélection des items). De plus, la théorie classique des tests repose sur des postulats très forts qui ne sont pas toujours vérifiés (par exemple : l'erreur standard dans le cadre de la TCT  est supposée la même quel que soit la position de la personne sur la dimension examinée).

Lord et Rasch (dans les années 1950 et 1960) ont voulu développer une méthode indépendante de l'échantillon et ont proposé un premier modèle de réponse à l'item (MRI) appelé aussi théorie des réponses à l'item (TRI), qui permet d'estimer le niveau d'une personne en référence à l'ensemble de la population sans se baser sur les qualités intrinsèques des personnes qui ont été évaluées. Cette méthode est probabiliste et suppose (postulat) que la réponse à un item (la probabilité de répondre correctement) est une fonction des caractéristiques de l'individu (traits latents) et des caractéristiques de l'item (niveau de difficulté dans le premier modèle de Lord et Rash). D'un point de vue technique, la relation est formalisée par une fonction  appelée courbe caractéristique de l'item (CCI). 

Avantages  ...

→Cette méthode présente l'avantage de fournir des informations qui sont indépendantes des caractéristiques des personnes, ce qui permet de créer des banques d'items c'est-à-dire, de vastes ensembles d'items dans lesquels on puise pour construire des tests. A chaque création d'un nouvel ensemble d'items, une étude de leurs propriétés métriques est réalisée. 

→Les MRI permettent permet de  développer le testing adaptatif, c'est-à-dire le fait d'administrer des items à une personne en fonction de son niveau supposé qui sera ajusté pendant la passation. Cette méthode augmenterait la sensibilité des épreuves tout en réduisant le nombre des items présentés.

... et inconvénients

→Une analyse des items dans le cadre des MRI requiert une expertise statistique beaucoup plus poussée que la théorie classique des tests.

→Les MRI nécessitent de recueillir de  nombreuses réponses pour chaque item (et à minima variées) pour avoir vraiment une bonne indication des caractéristiques d'un item. L'indépendance des caractéristiques métriques des personnes à qui on a fait passer les items supposent  qu'il existe une variabilité minimum entre ces personnes  sur la dimension évaluée et un nombre suffisant d'observations.

Aller plus loin...

Pourquoi parle-t-on lors de l'étude des caractéristiques des items d'une estimation indépendante des caractéristiques des personnes ?

Le principe consiste à  modéliser  la probabilité qu’une personne réponde correctement à une question (item) en fonction de sa compétence latente (un score caché qu’on ne connaît pas). Lors de l'étude des paramètres des items (comme la difficulté), le niveau de compétence des personnes (θ |thêta) est  inconnu et θ comme les paramètres des items doivent être estimés ensembles. Il existe plusieurs techniques (estimations conjointes, estimations marginales, méthode du maximum de vraisemblance conditionnelle, etc.).  La structure spécifique des modèles de réponse à l’item permet d’estimer les caractéristiques des items indépendamment de celles des personnes car ils présentent une propriété mathématique appelée séparabilité des paramètres, qui permet de distinguer l'effet de la compétence des individus de celui de la difficulté des items dans la probabilité de réponse. Ainsi, les paramètres des items (tels que la difficulté) peuvent être estimés de manière fiable, quelle que soit la distribution des compétences dans l’échantillon de personnes, pourvu que celui-ci soit suffisamment varié.

(*) Séparabilité des paramètres :  c'est une propriété de certains modèles statistiques qui permet d’estimer un ensemble de paramètres sans avoir à connaître ou estimer précisément un autre ensemble de paramètres liés. Cette indépendance d’estimation repose sur une formulation mathématique dans laquelle les effets des différentes sources de variation  apparaissent de manière distincte dans le modèle. Prenons come exemple  un modèle linéaire classique en statistiques : Yij=μ+αi+βj+ϵij  (avec  Yij la mesure observée ; μ une constante ; αi l'effet d'un facteur ; βj l'effet d'un second facteur ; ϵij  l'erreur aléatoire). Ici  la contribution de chaque paramètre est additive et peut être séparée mathématiquement. Cela permet d’estimer l'effet des facteurs indépendamment tant que le modèle est bien spécifié et que les données couvrent suffisamment de données.