Intérêts et limites

La présentation des MRI faite ici est une présentation simplifiée. Le développement de ces modèles a permit de généraliser ces MRI aux questions polytomiques et aux échelles multidimensionnelles avec des modèles paramétriques et non paramétriques. Les avantages de ces MRI sont multiples même si leur utilisation peut paraître plus complexe. Ils permettent de répondre à des questions pour lesquelles la TCT n'apportaient pas de réponses. Par exemple :

®Ces modèles sont utilisés dans les grandes enquêtes internationales comme PISA (Program for International Student Assessment de l'OCDE) et permettent de comparer des niveaux de compétence même si une partie des items sont différents d'un pays à l'autre (cf. à ce sujet l'article de Pierre Vrignaud [2006] qui reprend les avantages et les limites de ce type de modèles pour ces études).

®Ces modèles devraient être à la base d'un renouveau des tests adaptatifs. Dans ces tests les items sont choisis en fonction du niveau de compétence calculé pendant la passation. Après chaque réponse on choisit comme item suivant celui qui a priori apportera le plus d'information. Dans ces tests, le niveau de compétence θ est donc estimé à partir des premières réponses, ce qui permet de choisir un item adapté à ce niveau a priori (à partir des courbes d'information des items). Le test est différent pour chaque individu et s'arrête quand on a obtenu un niveau de précision suffisant fixé préalablement. Les MRI, le développement de banque d'item et l'informatisation devraient permettre à ces tests adaptatifs de se développer et de raccourcir notablement, sans perte de précision, des questionnaires parfois beaucoup trop longs (dans la TCT on augmente le nombre d'item pour augmenter la fidélité de la mesure).

®Il est facile d'estimer l'erreur standard de mesure (ESM) en fonction de la performance observée (et donc de θ) et des items passés alors que la TCT, comme nous le verrons,  conduit à calculer un ESM identique quel que soit la valeur du trait latent.

Les MRI remplaceront probablement la théorie classique des tests. Ils sont de plus en plus utilisés. Cependant, ces méthodes ne sont pas sans critique ou sans problème :

®Comme la théorie classique des tests, la modélisation de la réponse à l'item repose sur des postulats et surtout une relation entre des probabilités de réussite à un item qui sont exprimées en fonction du trait latent. Malheureusement, il n'est pas possible d'étudier expérimentalement cette relation en contrôlant θ (mesure sur le trait latent que l'on ne connaît pas a priori). Le point zéro de l'échelle de difficulté est déterminé à partir de l'échantillon des personnes ayant passé le test.

®La qualité de l'estimation des paramètres dépend aussi des caractéristiques de l'échantillon qui se doit d'être hétérogène et de taille suffisamment importante (selon le modèle utilisé et le nombre d'items, l'effectif minimum dépasse très rapidement 500 personnes).

®La propriété d'invariance est la caractéristique principale des MRI. Elle postule que les paramètres des items sont indépendants de l'échantillon et en parallèle que l'estimation relative à l'individu est indépendante de l'échantillon d'items utilisés. Cependant cette invariance est relative et n'est assurée que si certaines conditions sont satisfaites comme l'ajustement du modèle aux données pour la population comme pour chacun des sous-groupes la constituant et pour lesquels ils pourraient exister des différences (exemple, catégorie socioprofessionnelles, sexe, etc.). La prise en compte du fonctionnement différentiel possible des items est possible mais complexe dans l'analyse des données.

®Lors du test d'ajustement aux modèles des CCI, on utilise en général le χ2  mais il est très sensible à la taille des échantillons. Lorsque celle-ci est faible, on a tendance à considérer que les ajustements sont bons et à l'inverse, lorsque l'échantillon est important (recommandé) on a tendance à rejeter l'hypothèse d'un bon ajustement.

®Les postulats concernant les TRI (MRI) sont forts et particulièrement celui concernant l'indépendance locale (la variabilité des résultats doit dépendre exclusivement du trait mesuré).