Méthode de comparaison

La méthode utilisée est la même que celle présentée dans le cadre du calcul de l'intervalle de confiance d'un score observé. Cette fois on utilise l'erreur standard de mesure de la différence (ESMdif). Nous verrons plus loin que dans la théorie classique des tests, les erreurs ne sont pas corrélées. On peut en déduire que l'ESM de la différence (ESMdiff)  se calcule à partir de l'erreur standard de mesure de l'épreuve 1 (ESM1) et l'erreur standard de mesure de l'épreuve 2 (ESM2)  :

Pour dire que la différence entre 2 scores est suffisamment importante et probablement non due à des fluctuations aléatoires normales, on s'appuie sur le fait que la distribution du score de différence (sous l'hypothèse d'absence de différence) suit une loi normale de moyenne 0 et ayant pour écart-type ESMdiff. Comme pour le calcul de l'intervalle de confiance d'un score observé, on fixe alors un degré de certitude (par exemple, 69%, 95% ou encore 99%) et on lit dans une table de la loi normale la valeur u qui correspond à la probabilité (degré de certitude que l'on s'est fixé). On multiplie u par le ESMdiff  pour connaître les deux bornes de l'intervalle de confiance. Si, la différence observée est à l'extérieur de cet intervalle, on peut conclure que les deux scores sont différents

[- u * ESM ; + u * ESM]

avec u la valeur lue dans la table de la loi normale

Remarques :

■en raison des erreurs aléatoires, l'ESMdiff est toujours plus grand que l'erreur standard de mesure des deux scores (cf. la formule ci-dessus).

■Sachant que pour comparer deux scores il est nécessaire que les échelles de mesures soient semblables, la formule précédente peut-être remplacée par une formule équivalente  par :