Le terme homogénéité a été historiquement utilisé dans deux acceptations : soit comme synonyme d'unidimensionnalité, soit comme un indicateur de relations cohérentes entre items. Dans ce cadre, l'évaluation de l'homogénéité n'est pas forcément la même dans le cas d'une échelle ordinale que dans celui de l'échelle d'intervalle.
Échelle ordinale
L'homogénéité par implication : des items de difficultés différentes sont dits homogènes si l'on ne peut pas réussir les plus difficiles sans réussir les plus faciles (toutes les personnes résolvant une question de difficulté p parviennent à résoudre une question de difficulté moindre p-1). Un test conforme à cette propriété (échelle de Guttman), n'est bien sûr pas forcément homogène (mais le converse* est vrai : une échelle homogène respecte cette propriété).
L'homogénéité par implication est nécessaire car si elle n'existait pas cela signifierait qu'un score total (somme des scores aux items) pourrait être obtenu avec des patterns de réponses très différents (ce qui nuirait à la signification que l'on pourrait lui attribuer). Par exemple, si cette propriété n'est pas vérifiée sur une échelle en 10 items (items dichotomiques notés 1 ou 0), un même score de 3 peut-être obtenu par certains en réussissant les 3 items les plus difficiles et en échouant tous les autres alors que ce même scores pourraient être réussis avec 2 items faciles et un item de difficulté moyenne.
La technique statistique privilégiée pour mettre en évidence l'implication entre les questions est l'analyse hiérarchique proposée initialement par Guttman (1944) en psychologie sociale pour la mesure des attitudes. Si plusieurs questions (où le sujet doit répondre par oui ou par non, d'accord ou pas d'accord) sont supposées a priori exprimer une même attitude avec des degrés différents d'intensité, (par exemple, attitude à l'égard d'étrangers ou d'une religion), on doit pouvoir ordonner les réponses et on doit constater qu'une personne qui donne une réponse positive à une question d'intensité x doit avoir donné une réponse positive à toutes les questions d'intensité inférieure. S'il n'en était pas ainsi, l'échelle ne peut pas être considérée comme homogène ou unidimensionnelle.
L'homogénéité par équivalence : quand plusieurs questions sont de même difficulté, toutes les personnes résolvant une de ces questions doit réussir les autres questions de même difficulté.
Remarque : pour une épreuve donnée, on n'a pas obligatoirement un item par niveau de difficulté. Plusieurs items peuvent donc être équivalents et la hiérarchie (homogénéité par implication) existe alors uniquement entre groupes d'items. L'homogénéité des items peut être mise en évidence par des techniques comme l'analyse hiérarchique (coefficient d'homogénéité de Loewinger, échelle hiérarchique de Guttman ou de Lazarfield).
Échelle d'intervalle
Dans ce type d'échelle, le test est considéré comme homogène si les différents items demandent des capacités équivalentes pour être réussis. On peut mettre en évidence ce type d'homogénéité par le calcul des corrélations entre items ou encore par l'utilisation de technique comme l'analyse factorielle.
------------------
(*) converse = proposition dans laquelle l'attribut devient sujet et réciproquement