Cotation des QCM et des VF

Une des caractéristiques des questionnaires de type VRAI-FAUX ou à choix multiples (QCM) est que l'on peut répondre juste par hasard. Par exemple pour une question avec 4 réponses alternatives dont une seule correcte, la probabilité de répondre juste au hasard est de 25%.

Par convention un score brut (non corrigé par les erreurs) est égal au nombre de réponses correctes dans une question (ri) divisé par le nombre de bonnes réponses possibles à cette même question. Ce chiffre constitue une borne supérieure (si on fait l'hypothèse qu'il n'est fait aucune réponse au hasard, même les fausses). Par contre, le score corrigé totalement pour tenir compte du hasard constitue une valeur inférieure où l'on suppose que toutes les réponses sont faites au hasard. La réalité situe probablement entre ces deux bornes mais on ignore exactement où. C'est pourquoi, il existe plusieurs système de correction possible en fonction de la façon dont on va positionner notre curseur (qui sera plus ou moins sévère).

Cas des choix multipless (lorsque la personne ne connaît pas le nombre de bonnes réponses).

Il existe de nombreuses façons de calculer le score selon que l'on privilégie, lors de la cotation, de valoriser la prudence, l'exactitude ou de pénaliser les stratégies aléatoires. Il n'est pas possible de présenter toutes ces méthodes, mais pour les choix multiples en voici 2 :

○Pénaliser les mauvaises réponses proportionnellement au nombre de bonnes réponses possibles: cette cotation, sans divisé par ki-di est très sévères et est souvent utilisé dans les concours (décourage le hasard par une espérance mathématique négative). Dans la dernière version qu Quiz de Scalp on l'utilisait mais on normait le score en divisant par ki-di. On atténuait ainsi  cette pénalisation associée à des réponses aléatoires.

○Scores normalisés :  Cette méthode, plus simple, est utilisée en général lors d'évaluation (dont le  Quiz associé à ce cours). Il correspond à la proportion de bonne(s) réponse(s) parmi les cases à cochers auquel on retire  la proportion de mauvaise(s) réponse(s) parmi les distracteurs. Le score se situe dans l'intervalle [-1 ; +1]. Il est de 0 si tout coché ou si aucune case n'est  cochée. L'espérance pour ce score est nulle en cas de réponses choisies au hasard. Ceci assure que seule la connaissance réelle génère un score positif. Le score supprime les biais de stratégie (que les réponses soit faites avec peu de certitude ou nécessitant beaucoup de certitude = stratégie audacieuse vs prudente).

Dans le cadre d'un choix forcé on peut distingué 2 situations 

○1 choix possible parmi parmi n réponses possibles (donc di = ni -1). La cotation est simple. On attribue la note de 1 quand la réponse est correcte, 0 en cas de non réponse et une pénalité de  -1/di  en cas d'erreur (cela correspond à la formule 2 précédente). 

○le nombre de bonne réponse est connu et est  supérieur à 1. Il existe à nouveau plusieurs méthodes de cotation. On peut utiliser la proposition (1) mais elle est très sévère. On préfère alors pénaliser les fausses réponses  en fonction du nombre de distracteurs ce qui conduit à nouveau à la formule 2.

Pour ces systèmes, le score d'une personne à l'ensemble du questionnaire sera la somme (pondérée éventuellement) des scores à chaque question (xi).

Remarques : 

▪Pour un choix multiple, on suppose toujours qu'il existe au moins une réponse à donner. 

▪Ces systèmes sont souvent mal compris mais on doit donc avoir un système de cotation qui tient compte des réponses au hasard. Si on ne prend pas en compte les erreurs dans la cotation, une stratégie consisterait, dans les choix multiples, de tout cocher ! 

▪Pour les VRAI-FAUX, cas particulier du choix forcé connu, (n=2) la règle pour compenser le hasard conduit à mettre 1 pour une réponse correcte, -1 pour une réponse incorrecte et 0 pour une non réponse. Si on ne l'utilise pas, il est facile pour celui qui répond d'optimiser son score. 

▪On peut utiliser d'autres règles pour pénaliser les erreurs et tenir compte du hasard. Celles présentées ci-dessus sont des règles habituelles (adoptées pour certaines dans le SCALP-Quiz sur la psychométrie).