Difficulté et validité des questions

Les VRAI-FAUX sont plus complexes à élaborer que ce que l'on pense habituellement. La difficulté et la validité des questions vont dépendre de la formulation de la question. Par exemple, dans les questionnaires oui/non portant sur l'acquisition de connaissances la formulation des questions (négatives, avec ou sans connecteur logique, etc.) permet d'augmenter la difficulté des questions mais le risque est alors d'évaluer non plus seulement des connaissances, mais l'activité de raisonnement (ce qui peut entraîner une perte de validité de la mesure).

Le problème paraît plus simple avec les questionnaires à choix multiples, mais il faut savoir que la difficulté de la réponse dépend alors fortement des distracteurs et pas uniquement de la connaissance de la réponse. Par exemple à la question "quel est le poids d'un électron ?" peu de gens peuvent répondre, et la même question évaluée par le choix multiple suivant donnera probablement 100% de réponses justes :

Le poids d'un électron est de :  □ 1000g    □ 9,1*10-28g    □ 500g   □ 1 g

En fait le choix multiple permet ici d'évaluer la connaissance de l'ordre de grandeur du poids d'un électron. En proposant des valeurs plus proches de la réponse attendue, on pourrait évaluer une connaissance plus précise de cet ordre de grandeur.

Le poids d'un électron est de :   □ 9,1*10-26g        □ 9,1*10-27g    □ 9,1*10-28g    □ 9,1*10-30g

Exemples d'items d'un des premiers tests à choix multiples : Alpha Test, Yerkes, 1917

       • Les thermomètres sont utiles parce que :

□ Ils régulent la température

□ Ils indiquent la température

□ Ils contiennent du mercure

       • Chaussure – pied ; chapeau – ?

□ chaton

□ tête

□ couteau

Exemples d'item évaluant des connaissances

       • Binet a été le premier à introduire :

□  La notion de QI        

□  La mesure de l’âge mental        

□  La notion d’âge réel

□  Les tests mentaux

       • Qui serait à l'initiative des "QCM" ? :

□  J. Watson        

□  B.F. Skinner

□  F. J. Kelly        

□  E. Thorndike

□  A. Binet