Analyse et sélection des items

Un test est constitué d'un ensemble d'items (questions) devant différencier les sujets le plus correctement et le plus efficacement possible. Lorsque l'on construit une épreuve, la subjectivité et/ou les connaissances antérieures des chercheurs ou psychologues à l'origine de l'épreuve jouent un rôle important. Lors de la sélection des items, les définitions implicites et/ou explicites de la dimension que l'on souhaite « mesurer » peuvent aussi contribuer aussi à l'élimination ou non d'un item mais la sélection des items repose essentiellement sur une analyse  plus techniques (étude des propriétés de chaque question en fonction des objectifs).

Pour rappel, plusieurs étapes sont nécessaires pour la construction d'une épreuve. Un premier ensemble d'items constitue une version provisoire du test qui est administrée à un échantillon de personne. Cet ensemble d'items est remanié en fonction des premiers  résultats observés (analyse des items) ou de l'avis d'experts du domaine (lorsqu'il s'agit de questionnaires). On ne se contentera pas de supprimer des items, le plus souvent il peut être nécessaire soit d'en revoir certains soit même, d'en construire de nouveaux. Par exemple, pour les items à choix multiples une analyse des distracteurs (réponses fausses proposées) peut conduire à modifier un ou plusieurs distracteurs.

Lors de la sélection des items de nombreux critères rentrent en ligne de compte (longueur de l'épreuve, homogénéité de l'épreuve, difficulté souhaitée de l'épreuve, etc.). Pour les épreuves d'évaluation de « performances » cognitives, on prend en compte la difficulté (comme le p-index) des items et leur discriminabilité (comme le d-index). Pour les épreuves de personnalité ou des tests qui ne sont pas des épreuves de performances, c'est l'homogénéité interne ou la structure interne (en lien avec la validation) de l'épreuve qui sera pris en compte. On peut aussi appliquer des techniques qui ne feront pas référence à la théorie classique des test (TCT) mais aux modèles de réponses à l'item (chap. E §5).

Il n'est pas possible de présenter toutes ces méthodes et l'objectif est de comprendre et d'illustrer les critères pris en compte lors de la sélection d'item. On abordera donc que les principaux critères (p-index, d-index) à la base de la l'analyse des items dans la construction d'échelle de performance.