Une des caractéristiques des questionnaires de type VRAI-FAUX ou des questionnaires à choix multiples (QCM) est que l'on peut répondre juste par hasard. Par exemple pour une question à choix multiple avec 4 réponses alternatives dont une seule correcte, la probabilité de répondre juste au hasard est de 25%.
Pour corriger l'effet de ces réponses au hasard, il existe plusieurs systèmes de cotation possibles. Par exemple, dans le cas de choix multiples (lorsque la personne ne connaît pas le nombre de bonne réponse), le score à la question i, peut-être calculé de la façon suivante :
avec : ri le nombre de réponses correctes données wi le nombre de réponses fausses données fi le nombre de non réponses attendues (cases à ne pas cocher) mi le nombre de réponses possibles |
Dans un système de choix forcés, on peut utiliser le système précédent mais la correction devient sévère dans le cas d'un nombre de réponse supérieur à 1, car le score est toujours égal à -1 en cas d'erreur alors que la probabilité de répondre correctement au hasard diminue.
avec : ri le nombre de réponses correctes données wi le nombre de réponses fausses données fi le nombre de non réponses attendues (cases à ne pas cocher) mi le nombre de réponses possibles |
Le score d'une personne à l'ensemble du questionnaire sera la somme (pondérée ou non) des scores à chaque question (xi).
Remarques :
■Ce système peut paraître sévère mais si on ne prend pas en compte les erreurs dans la cotation, il suffit pour les personnes dans les choix multiples de tout cocher et pour les VRAI-FAUX, de répondre au hasard et le hasard fera bien les choses (une fois sur deux en moyenne). On doit donc avoir un système de cotation qui tient compte des réponses au hasard.
■Pour un choix multiple, on suppose qu'il existe au moins une réponse à donner.
■Toujours dans le choix multiple, si la personne coche toute les cases, le score devient dépendant du nombre de choix à faire (ou par complément le nombre de réponses à ne pas cocher). Le score peut être alors positif ! C'est la raison pour laquelle le score de xi prend en compte cet élément.
■Pour les VRAI-FAUX, cas particulier du choix forcé connu, (m=2) la règle pour compenser le hasard consiste à mettre 1 pour une réponse correcte, -1 pour une réponse incorrecte et 0 pour une non réponse (règle souvent mal comprise mais la seule utilisable dans ce cas).
■On peut utiliser d'autres règles. Celles présentées ci-dessus sont des règles relativement sévères (adoptées dans le quizz SCALP sur la psychométrie). On peut par exemple (pour les questions qui ne sont pas des V-F) "adoucir la règle" en proposant pour les xi une borne inférieure égale à 0 (de façon à moins pénaliser les mauvaises réponses).