Lorsque l'on fait passer un test, le score observé n'est pas nécessairement le score "réel" (score vrai). Cet écart ne peut pas être déterminé de façon absolue, mais le psychologue se doit de calculer ce qu'on appelle un intervalle de confiance, c'est-à-dire un intervalle de valeur pour lequel, si le score vrai ne s'y trouve pas il y avait a priori une faible probabilité d'obtenir le score observé. Il existe plusieurs méthodes de calcul de cet intervalle de confiance qui seront présentées dans un chapitre spécial concernant uniquement l'intervalle de confiance.
Cet intervalle de confiance est parfois mal compris. Il ne signifie pas que le score vrai se trouve dans l'intervalle de confiance. On ne sait pas ce qu'est le score vrai et il peut être à l'intérieur ou à l'extérieur de cet intervalle.
Par exemple, si le degré de confiance que l'on se fixe est de 95%, le calcul de l'intervalle de confiance nous indique, pour une épreuve donnée, qu'il y avait 5% (100-95) de chance d'obtenir l'intervalle calculé si le score vrai ne s'y trouve pas. Cet intervalle est donc plus important à connaître que le score observé seul. Si le degré de confiance que l'on se fixe est plus petit (p=.90 ou 90%), l'intervalle de confiance diminue pour le même score observé. A l'inverse si on augmente ce degré de confiance, cet intervalle augmentera (si l'on veut être certain de ne pas se tromper, il suffit de dire que l'intervalle est compris entre la note minimum possible et maximum possible !). En fait, l'intervalle de confiance va dépendre essentiellement de deux paramètres principaux (dans le cadre de la théorie classique des tests) : la fidélité du test et la probabilité (degré de confiance dans le résultat) que l'on se fixe.
Pour le praticien, cette notion d'intervalle de confiance est essentielle :
■Il permet de relativiser la note et de prendre conscience de la marge d'erreur (qui est souvent plus importante que l'on croit). L'intervalle de confiance devrait toujours accompagner le score.
■Il permet d'apprécier aussi, ou de rappeler, la qualité de l'épreuve utilisée (du point de vus de sa précision). En effet, si l'intervalle de confiance (pour une probabilité donnée usuellement utilisée par ce psychologue) est étroit, cela signifie que l'instrument utilisé est précis (fidèle). A l'inverse, si cet intervalle est important, l'instrument est peu précis.
Dans les manuels de tests, les intervalles de confiance sont souvent donnés avec des probabilités usuelles qui sont 68%, 90% ou 95%. On peut aussi les calculer soi-même (cf. intervalle de confiance - méthode classique et méthode alternative).