Fidélité(s)

Une question importante lors de l'élaboration d'un test mesurant une dimension est de se demander si les différences observées entre les personnes correspondent à des différences réelles ou si ces différences observées sont fortuites (dues au hasard, entachées d'erreur et donc non répétables). C'est ce que l'on étudie avec la fidélité (un test fidèle est un test avec une erreur de mesure faible). La fidélité est donc un indicateur de la précision et de la constance des scores. Plus un instrument est fidèle, plus le score observé sera proche du score vrai (celui qui serait obtenu si le test était parfait !)

Définition formelle de la notion de fidélité (dans  la théorie classique des tests)

Soit une mesure observée X, elle peut être décomposée en deux sources T et ε :  X = T + ε (rappel : T est la quantité représentant le score vrai et ε l'erreur de mesure. On appelle, index de fidélité la corrélation existante entre les scores observés (X) et les scores vrais (T). Le coefficient de fidélité (ρ2TX) est égal au carré de l'index de fidélité.

Le coefficient de fidélité est donc (cf. pré-requis : variance expliquée) le rapport entre la variance de T dans la population (qui évaluent l'amplitude des différences réelles entre les individus) et la variance de T + ε (qui correspond à la variance de X observée donc l'amplitude des différences observées).  En d'autres termes, c'est la proportion de variance des scores observés imputable à la variance des scores vrais (des différences réelles entre individus).

Le calcul du coefficient de fidélité peut paraître impossible car, si on peut connaître X, on ne connaît pas T (par définition). Dans le cadre de la théorie classique des tests, on a pu montrer que le coefficient de fidélité (ρ2TX) peut être estimé par la corrélation entre deux séries de mesures prises sur les mêmes individus (sous conditions).

Cette propriété à conduit à développer différentes  méthodes de mesure de la fidélité comme la méthode du test re-test, la méthode des tests parallèles, la méthode du partage, les méthodes s'appuyant sur la consistance interne, etc. (Revelle, & Condon, 2018). Il existe une quatrième méthode distincte des précédentes. Cette méthode dite  méthode inter-juges (ou accord inter-juges ou encore accord inter-cotateurs) est utilisée quand l'erreur de mesure à apprécier a pour origine "la difficulté de cotation" (contextes particuliers comme certaines épreuves de personnalité).

Remarques :

■La fidélité consiste à estimer la part d'erreur aléatoire dans la mesure. Un coefficient de fidélité n'est pas suffisant pour interpréter ou même garantir l'existence d'une dimension ou de la validité d'un test. Un test peut-être fidèle mais non valide (on mesure quelque chose mais on ne mesure pas ce que l'on voulait mesurer !).

■La fidélité est le rapport entre la variance vraie (due à un ou plusieurs facteurs de différenciation des sujets) et la variance observée dans le test (on la note souvent rxx).

®le coefficient de fidélité varie entre 0 et 1.

®si le coefficient de fidélité est de .80, cela signifie que 80% de la variance observée est de la variance vraie et 20% de la variance d'erreur.

®plus la fidélité est grande plus, plus l'erreur de mesure est faible. Une bonne fidélité assure donc que le test mesure quelque chose.

■Plusieurs méthodes permettent d'évaluer la fidélité et ces méthodes évaluent l'importance de l'erreur de mesure mais ces méthodes n'évaluent pas nécessairement la même source d'erreur de mesure.

■Il ne faut pas confondre indice (ou index) de fidélité (corrélation entre score vrai et score observé) et coefficient de fidélité (qui est le carré de l'indice de fidélité). C'est le coefficient de fidélité qui est reporté dans les manuels.

■T, la valeur vraie (écrite parfois X∝) est le score obtenu dans des conditions idéales avec un instrument parfait. C'est aussi, la moyenne des scores obtenus par un sujet suite à un nombre infini d'administration indépendante du même test. Cette définition reste donc théorique.

■Nous ne présentons pas ici toute les méthodes d'étude de la fidélité mais celles qui sont encore les plus utilisées même si certaines sont très critiquables. En fait historiquement les moyens de calculs ne permettaient pas d'appliquer les méthodes qui sont préconisées actuellement (Revelle & Condon, 2018) et les méthodes anciennes perdurent "par habitude".

Pour aller plus loin

Il est toujours surprenant de calculer un coefficient estimant la relation qui existe entre un score observé et un score vrai que l'on ne connaît pas. Il est indiqué ci-dessus que ce coefficient est estimé à partir de deux formes parallèles d'un test. Dans la théorie classique des tests (TCT), deux formes d'un test sont dites parallèles si leurs scores vrais et l'erreur type de mesure sont égales.  A partir de ce postulat, on peut démontrer que la corrélation entre deux tests parallèles est  une estimation du coefficient de fidélité (donc une estimation du carré de l'index de fidélité). Pour ceux que la démonstration intéresse, ils peuvent se reporter à la page 107 de l'ouvrage de Laveault et Grégoire (2014).