Les processus de réponses

L'analyse (théorique et empirique) de la façon dont les personnes répondent aux questions d'un test peut contribuer au processus de validation et peut permettre de s'assurer de l'adéquation qu'il doit exister entre la nature de la performance et le construit évalué. Cette forme de preuve de validité passe par l'analyse des réponses mais peut aussi concerner l'analyse des stratégies utilisées, l'enregistrement des modalités de réponses, l'enregistrement d'indicateurs physiologiques, l'enregistrement des mouvements oculaires, etc. En fait, tout élément permettant d'analyser les réponses et pouvant participer aux preuves de validité sont possibles. Il est évident que les moyens utilisés peuvent être très différents selon le test (test cognitif, tests de personnalité, test de connaissances, etc.).

Deux exemples peuvent illustrer ce qu'on entend par preuves basées sur les processus de réponses :

•Dans un test voulant évaluer le raisonnement mathématique, on doit s'assurer que les réponses données mettent bien en jeu ce raisonnement et n'implique pas un algorithme classique permettant de donner la bonne réponse (sans véritable raisonnement mathématique). Une analyse des stratégies utilisées (approche cognitive) doit assurer la nature de ce qu'on évalue (le raisonnement et non des connaissances ou des algorithmes de résolution automatiques préalablement acquis).

•Dans un questionnaire, on doit s'assurer qu'un effet de conformité sociale n'affecte pas les réponses ou la façon de répondre.

L'analyse des processus de réponses peut aussi, lorsque cela est pertinent, porter sur les procédures de cotation de façon à s'assurer qu'un utilisateur de l'épreuve  (psychologue par exemple) ne soit pas influencé, lors de la cotation, par des aspects non pertinent des réponses ou d'autres aspects de l'épreuve.