Le cas des items à choix multiples

L'analyse des items ne consiste pas à étudier uniquement les paramètres de difficulté et de discrimination pour sélectionner les meilleurs items possibles. Elle se doit aussi d'être un ensemble de techniques permettant d'améliorer le contenu et la forme des items. Dans ce cadre, un exemple courant est l'analyse plus détaillée des questions à choix multiples.

Nous avons vu que lors de la cotation des items, pour tenir compte des réponses au hasard dans le cas de choix multiples, on suppose que tous les distracteurs ont la même probabilité d'être sélectionné. Cette hypothèse est rarement vraie. Certains distracteurs peuvent être des attracteurs de mauvaises réponses ou à l'inverse n'être jamais sélectionnés. L'analyse des items doit permettre d'améliorer la formulation ou le choix de ces distracteurs.

Cette analyse des distracteurs pour les questionnaires à choix multiples est très discutée dans le champs de l'édumétrie (terme préféré à psychométrie pour les tests d'évaluation des connaissances par les enseignants). Pour cette analyse on ajoute aux indices de difficulté et de discrimination, différents indicateurs concernant les distracteurs ou les items :

•pour les  distracteurs :

-l'indice de non efficacité (ou non fonctionnement) des distracteurs (NFD pour "Non Fonctioning Distractor") : correspond au pourcentage de personnes ayant sélectionné ce distracteur parmi les répondants. En règle général, cet indice  ne doit pas être inférieur à 5% (sinon on considère que ce distracteurs ne sert à rien ou n'est pas suffisamment plausible).

-un indice de discrimination : similaire à l'indice de Findley, correspond au pourcentage de personnes sélectionnant ces distracteurs parmi les meilleurs moins les personnes qui sélectionne cet item parmi ceux qui ont les scores les plus faibles (Osterlind, 2002, p.271). Cet indice pour les distracteurs doit être faible voir négatif. Si ces valeurs sont positives, il doit être comparé au même indice calculé pour chaque bonnes réponses de l'item (le plus souvent une seule bonne réponse possible). S'il est proche voir supérieur, c'est que ce distracteur est un "attracteur" de bonnes réponses ou que ce choix est très (trop ?) proche d'une bonne réponse.

•pour chaque item

-on calcule parfois un indice d'efficience des distracteurs (ED ou DE pour "Distractor Efficiency") : correspond simplement au nombre des distracteurs efficients (NFD>5%) sur le nombre de distracteurs de l'item. Cet indicateur est cependant peu utile. L'intérêt de cet indice est qu'il permet de résumer les caractéristiques d'un questionnaire ou, lorsqu'il y a de nombreux items, permet aussi d'identifier rapidement les items qui présentent le plus de problème.

Ces analyses et ces indices s'interprètent facilement lorsque les épreuves sont des épreuves à choix multiples simples sachant que le format le plus habituel est une bonne réponse parmi 4 ou 5 (Tarrant, Ware, & Mohammed, 2009) . Généraliser ces indices à d'autres type de formats (k bonnes réponses parmi n) doit être fait avec prudence : l'interprétation de ces indices dépend du nombre de choix, du nombre des bonnes réponses mais aussi du niveau de difficulté de l'item (cf. un exemple d'analyse de distracteurs : Toksöz & Ertunç, 2017).

EXEMPLE D'ANALYSE DES DISTRACTEURS POUR 3 ITEMS

Un enseignant analyse les réponses données à un questionnaire à choix multiples (1 réponse correcte parmi 4). Il calcule pour chaque distracteur l'indice de non fonctionnement des distracteurs (NFD) et un indice de discrimination. Pour chaque item, il calcule aussi un indice d'efficience des distracteurs (ED). Le tableau suivant reporte pour 3 des 50 items les résultats observés :

❖Analyse

-ITEM 1: Cet item est de difficulté intermédiaire (45% de réussite) et un distracteur (le distracteur A) semble inutile car seul 4% des répondants le sélectionne (ce qui donne un ED de 66% car 2 distracteurs sur 3 semblent efficaces). Le premier distracteur pourrait être révisé (mais avec pour conséquence de modifier potentiellement les autres indices dont celui de difficulté de l'item).

-ITEM 2 : Cet item difficile (20% de bonnes réponses) présente des distracteurs dont tous les NFD sont compris entre 23% et 35%. Le distracteur A semble un distracteur attractif pour les meilleurs et le C pour les moins efficaces. L'indice de discrimination des distracteurs (différence) donne une valeur positive pour le distracteur A. Il est cependant bien inférieur à l'indice de discrimination de l'item (0.67) et pourrait être considéré comme acceptable.

-ITEM 3 : cet item facile (70% de bonnes réponses), présente deux items avec un indice NFD insuffisant (ils ne sont presque jamais sélectionnés). L'indice ED est donc de 33%. Le seul distracteur utile est le D. En modifiant les distracteurs A et B on peut les rendre plus utiles mais cela peut modifier (en conséquence) la difficulté de l'item.