Cotation des QCM et des VF

Une des caractéristiques des questionnaires de type VRAI-FAUX ou à choix multiples (QCM) est que l'on peut répondre juste par hasard. Par exemple pour une question avec 4 réponses alternatives dont une seule correcte, la probabilité de répondre juste au hasard est de 25%. 

Par convention un score brut (non corrigé par les erreurs) est égal au nombre de réponses correctes dans une question (ri) divisé par le nombre de bonnes réponses possibles (mi-fi) à cette même question. Ce chiffre constitue une borne supérieure (si on fait l'hypothèse qu'il n'est fait aucune réponse au hasard, même les fausses). Par contre, le score corrigé totalement pour tenir compte du hasard constitue une valeur inférieure où l'on suppose que toutes les réponses sont faites au hasard. La réalité situe probablement entre ces deux bornes mais on ignore exactement où. C'est pourquoi, il existe plusieurs système de correction possible en fonction de la façon dont on va positionner notre curseur (qui sera plus ou moins sévère).

Par exemple, dans le cas de choix multiples (lorsque la personne ne connaît pas le nombre de bonnes réponses), le score à la question i, peut-être calculé de la façon suivante (on pénalise les mauvaises réponses proportionnellement au nombre de bonnes réponses possibles) :

Dans le système précédent, si la personne préfère ne pas répondre, son score sera de 0. S'il répond au hasard, dès que le nombre de mauvaises réponses dépassent les bonnes réponses, le score devient négatif mais ne dépassera pas -1. Cela conduit cependant à bien penser le questionnaire car si le nombre de bonnes réponses possibles est supérieur  au nombre de distracteurs, des réponses totalement au hasard donneront quand même un score positif. Le score corrigé ici n'est pas parfait, sauf si, le nombre de bonne réponses possibles est sufffisement inférieur au nombre de distracteurs.

Dans le cadre d'un questionnaire à  choix forcés (nombre de bonnes réponses connu), ce système de cotation peut être cependant considéré comme sévère, car la correction est proportionnelle au nombre de bonnes réponses attendues. On peut pénaliser alors en fonction du nombre de distracteurs.

Pour ces deux systèmes, le score d'une personne à l'ensemble du questionnaire sera la somme (pondérée ou non) des scores à chaque question (xi).

Remarques : 

▪Ces systèmes peuvent paraître sévères mais si on ne prend pas en compte les erreurs dans la cotation, il suffit pour les personnes dans les choix multiples de tout cocher et pour les VRAI-FAUX, de répondre au hasard et le hasard fera bien les choses (une fois sur deux en moyenne). On doit donc avoir un système de cotation qui tient compte des réponses au hasard.

▪Pour un choix multiple, on suppose toujours qu'il existe au moins une réponse à donner. 

▪Pour les VRAI-FAUX, cas particulier du choix forcé connu, (m=2) la règle pour compenser le hasard consiste à mettre 1 pour une réponse correcte, -1 pour une réponse incorrecte et 0 pour une non réponse (règle souvent mal comprise mais la seule utilisable dans ce cas). 

▪On peut utiliser d'autres règles pour pénaliser les erreurs et tenir compte du hasard. Celles présentées ci-dessus sont des règles relativement sévères (partiellement adoptées dans le SCALP-Quizz sur la psychométrie). On peut par exemple (pour les questions qui ne sont pas des V-F uniquement) "adoucir la règle"  en proposant pour les xi une borne inférieure égale à 0 (de façon à moins pénaliser les mauvaises réponses).