accord inter-juges

Cette technique, différente des précédentes, est utilisée dans les cas où il peut y avoir ambiguïté dans l'évaluation (cotation) des résultats au test, évaluation qui peut être entachée de subjectivité (par exemple : certaines mesures utilisant des techniques projectives). La principale source de l'erreur de mesure étant le cotateur, la mesure de la fidélité consiste à évaluer s'il existe un degré d'accord suffisamment élevé entre les jugements de plusieurs observateurs.

Plusieurs indicateurs statistiques permettent d'évaluer l'accord inter-juge, mais contrairement aux autres indices de fidélité, il n'y a pas de consensus véritable sur l'interprétation de ces coefficients qui font parfois l'objet de critiques importantes (pour le kappa de Cohen, cf. par exemple le billet de Stéphane Vautier "Le kappa de Cohen : une solution à un faux problème" ).

Pour ceux que cela intéresse, on peut aussi utiliser des coefficients de corrélations intraclasse (Shrout & Fleiss, 1979). Cette méthode se base sur les résultats d'une analyse de variance prenant en compte comme sources de variation, le facteur sujet (facteur aléatoire), le facteur juge et l'interaction entre ces deux facteurs. Ce coefficient s'interprète comme les autres coefficients de fidélité.

Pour aller plus loin...

Le κ (kappa) de Cohen. Ce coefficient proposé en 1960 par Cohen est destiné à mesurer l'accord inter-juge pour une variable qualitative (échelle nominale ou ordinale). Ce coefficient est compris entre -1 et +1 et le plus souvent on considère que l'accord est moyen entre 0.40 et .60, satisfaisant à partir de .60 et excellent pour plus de .80. Cette grille de lecture ne fait cependant pas consensus car le nombre de catégories de l'échelle utilisée influe sur la valeur du coefficient. Par ailleurs, ce coefficient ne fonctionne que si il y a deux juges uniquement. La formule du Kappa de Cohen peut-être adaptée si l'échelle est ordinale et non nominale (Kappa de Cohen dit pondéré) de façon à donner plus d'importance à l'erreur introduit par des jugements distants (= très différents) qu'à des jugements proches.

Le κ (kappa) de Fliess.  Ce coefficient introduit dans les années 80 par Joseph L. Fliess est utilisé lorsqu'il y a plus de deux observateurs ou cotateurs. Il est utilisable cependant uniquement pour les échelles nominales ou binaires (mais pas pour les échelles ordinales). Ce coefficient est compris entre -1 et +1 et l'interprétation est similaire à celle du Kappa de Cohen mais cette interprétation est remise en question car les valeurs dépendent aussi du nombre des catégories.

Calcul du Kappa de Cohen et de Fliess. Pour ceux que cela intéresse il existe sous R un paquetage (ou package) qui propose une interface graphique pour calculer ces coefficients (KappaGUI). Il existe aussi sur internet des plate-formes de calcul faciles à trouver.