La contre-validation constitue une étape importante (parfois négligée) du processus de construction d’un test. Elle permet de s'assurer que les résultats obtenus ne dépendent pas des caractéristiques spécifiques d'un échantillon. Concrètement les propriétés psychométriques observées (fidélité, structure factorielle, indices de difficulté ou de discrimination des items) peuvent refléter les particularités de l’échantillon initial. Pour s’assurer de la possibilité de généraliser les résultats, la version finalisée du test devrait faire l'objet de vérifications. Dans l'idéal, on devrait administrer le test et reconduire les analyses avec un second échantillon indépendant, souvent appelé échantillon de contre-validation. Cette étape permet d’examiner la stabilité des propriétés psychométriques observées et de confirmer la qualité de la mesure..
En pratique, la contre-validation est rarement menée avant la publication d’un test, principalement pour des raisons de coût, de temps et de disponibilité des échantillons. Ce sont souvent des études ultérieures, parfois réalisées par d’autres chercheurs que les concepteurs ou adaptateurs du test, qui assurent la validité de l’outil.