In dit artikel analyseren we het probleem dat ontstaat wanneer de scientist-practitioner bij het interpreteren van een testscore op een psychologische test een betrouwbare uitspraak wil doen over een individu, maar zich hierbij laat informeren door groepsdata. In de testpraktijk beoogt men de betrouwbaarheid van een testscore te achterhalen door de bijbehorende meetfout te schatten onder gebruikmaking van een kans- en foutentheorie die oorspronkelijk in de astronomie en natuurkunde werden ontwikkeld. Deze theorieën vereisen onafhankelijke en oneindig vaak herhaalde metingen van hetzelfde subject (homogeniteit) onder gelijkblijvende omstandigheden (stationariteit). Dit levert idealiter een scoreverdeling (privéverdeling) op, waarvan het gemiddelde gezien wordt als de meest betrouwbare meetwaarde. Binnen de testpraktijk is dit ideaal echter vrijwel onhaalbaar. Men beroept zich daarom op een gedachte-experiment, waarin een testpersoon in een tijdsvacuüm blootgesteld wordt aan oneindig veel testafnames met hersenspoeling (wissen van het geheugen) na iedere afname. Uitsluitend op basis van dit gedachte-experiment kan men in de klassieke testtheorie uitgaan van de gewenste, doch niet-bestaande, privéverdeling. Het gemiddelde hiervan wordt gelijkgesteld aan de betrouwbare score en de standaardafwijking vormt de meetfout. Aangezien dit experiment fictief is, blijven de betrouwbare score en de meetfout van een individu onbekend. Bij wijze van oplossing meet men een (grote) steekproef van verschillende personen eenmalig en gebruikt men deze data als schatter voor de privéverdeling van een enkel individu. Kortom, interindividuele data worden gelijkgesteld aan intra-individuele data. Ongeacht de praktische noodzaak is een dergelijke uitruil theoretisch alleen te rechtvaardigen onder strikte voorwaarden, die gevat zijn in het zogeheten ergodisch theorema. Een van deze voorwaarden is dat alle privéverdelingen van alle personen in de steekproef identiek moeten zijn om een uitspraak over een individu te mogen doen. Het is onrealistisch te veronderstellen dat in de testpraktijk aan deze voorwaarde voldaan wordt. Het gevolg hiervan is dat er onverifieerbare uitspraken worden gedaan over het individu en onbekende risico’s worden genomen voor diens welzijn. Dit geeft aanleiding tot een korte verkenning van mogelijke alternatieven voor testgebruik.
Kernwoorden: intra- vs. interindividuele data, gemiddelden, ergodiciteit, betrouwbaarheid, psychologische testen
Over de auteurs
Nora Loretan, MSc, is promovenda en werkzaam als beleidsmedewerker en docent bij het onderwijsinstituut Pedagogische Wetenschappen en Onderwijswetenschappen van de Radboud Universiteit in Nijmegen. E-mail: n.loretan@pwo.ru.nl.
Bob Radstaak, MSc, is promovendus en docent bij het onderwijsinstituut Pedagogische Wetenschappen en Onderwijswetenschappen van de Radboud Universiteit in Nijmegen. E-mail: b.radstaak@pwo.ru.nl.
Prof. dr. Anna M.T. Bosman is verbonden aan het Behavioural Science Institute en directeur van het onderwijsinstituut Pedagogische Wetenschappen en Onderwijswetenschappen van de Radboud Universiteit in Nijmegen. E-mail: a.bosman@pwo.ru.nl.