De façon générale, l'erreur de mesure correspond à l'écart existant entre la valeur réelle que l'on veut mesurer et la valeur mesurée. On doit cependant distinguer deux types d'erreurs.
Erreur systématique.
Le premier type d'erreur est ce qu'on appelle l'erreur systématique. Cette erreur est une "déviation" constante, négative ou positive introduit par l'instrument. De façon plus générale on parle d'erreur systématique quant, par rapport à une valeur de référence x, l'instrument donnera toujours comme valeur observée x+b (déviation positive ou négative). Par exemple, pour un instrument comme votre balance, si elle affiche systématiquement "+ 2 kilogrammes" par rapport au poids réel, l'erreur systématique est de +2 kg. Dans les tests mentaux une des causes possibles de cette erreur systématique est le biais d'échantillonnage lors de l'étalonnage de l'épreuve.
Erreur aléatoire.
Dans la construction des tests et l'analyse de la fidélité, quand on parle d'erreur de mesure, on fait référence à ce qu'on appelle l'erreur aléatoire. Cette erreur est le résultat d'un ensemble de facteurs (inconnus) qui font que parfois la mesure sera légèrement supérieure à la valeur réelle et parfois légèrement inférieure. Un instrument de mesure est toujours construit pour minimiser cette erreur aléatoire (la mesure observée doit être toujours proche de la mesure de référence ou plus exactement la dispersion autour de cette valeur de référence, lors d'observations multiples, est faible). Cette erreur aléatoire est celle qui est associée à la notion de fidélité et celle à laquelle on fait le plus souvent référence lorsque l'on parle d'erreur de mesure dans la construction des tests mentaux.
Remarques :
•Lors d'une opération de mesure, ces deux erreurs s'additionnent mais dans le cadre de la théorie classique des tests, (x = T + e) l'erreur systématique est confondue avec T (le score vrai). L'erreur systématique affecte donc la validité de la mesure alors que l'importance de l'erreur aléatoire est en relation avec la fidélité d'une épreuve.
•Si l'on répète une mesure et qu'on calcule la moyenne de ces mesures, l'effet de l'erreur systématique reste identique sur la moyenne mais, à l'inverse, l'effet de l'erreur aléatoire sur la moyenne diminue (en effet parfois l'erreur de mesure augmente la valeur et parfois la diminue et la moyenne de cette erreur tend vers 0).