Kan dat als verschillende meetinstrumenten zijn gebruikt?
Samenvatting
Het systematisch inzetten van feedbacktools, zoals vragenlijsten, binnen de (jeugd)hulpverlening is een manier om de effectiviteit van de hulpverlening te evalueren en waar nodig te verbeteren.
De Lerende Databank Jeugd (LDJ) is een databank met zorginhoudelijke gegevens van jeugdhulporganisaties waarin per behandelvorm de resultaten van de geboden hulp van de eigen organisatie worden afgezet tegen die van andere organisaties. Door resultaten onderling te vergelijken, kunnen organisaties van elkaar leren wat goed gaat en wat beter kan.
Om de vergelijking van resultaten mogelijk te maken, wordt gebruikgemaakt van statistische maten: de Effect size en de Reliable Change Index (RCI). Deze maten worden berekend uit scores op vragenlijsten die door ouders of kinderen worden ingevuld in het kader van de hulp. Veelgebruikte vragenlijsten binnen de jeugdhulp zijn de Child Behavior Checklist (CBCL) en de Strengths and Difficulties Questionnaire (SDQ). Deze vragenlijsten worden ingezet om veranderingen in probleemgedrag bij kinderen in kaart te brengen. Organisaties kiezen zelf welk instrument zij inzetten bij welke behandelvorm, maar hebben wel de behoefte om resultaten onderling te vergelijken. In dit artikel is onderzocht of dat verantwoord is als verschillende meetinstrumenten zijn gebruikt. Op basis van gegevens uit de LDJ is getoetst of behandelresultaten gemeten met de CBCL en de SDQ met elkaar te vergelijken zijn.
Uit het onderzoek blijkt dat de resultaten op beide vragenlijsten op basis van de RCI nauwelijks van elkaar verschillen. Met de CBCL wordt weliswaar een grotere Effect size behaald dan met de SDQ, maar er is geen significant interactie-effect. Dit betekent dat de verandering in probleemgedrag niet significant verschilt tussen beide meetinstrumenten. Op basis van deze bevindingen lijkt een vergelijking tussen behandelresultaten gemeten met de CBCL en de SDQ te verantwoorden, met daarbij wel enkele nuances die in dit artikel nader worden beschreven.
Kernwoorden: benchmarken, vragenlijsten, probleemgedrag, praktijkonderzoek, behandelresultaten, Effect size, Reliable Change Index
Over de auteurs
MSc. Luuk Geijsen is projectleider BergOp bij Praktikon, een zelfstandige en onafhankelijke organisatie voor onderzoek en ontwikkeling in jeugdzorg en onderwijs. E-mail: l.geijsen@praktikon.nl.
Dr. Ronald De Meyer is senior onderzoeker bij Praktikon. Zijn onderzoeksgebied is evaluatie van jeugdzorginterventies. E-mail: r.demeyer@praktikon.nl.
Dr. Marc J.M.H. Delsing is senior onderzoeker bij Praktikon. Zijn onderzoeksgebied is evaluatie van jeugdzorginterventies. E-mail: m.delsing@praktikon.nl.
Dr. Rachel E.A. van der Rijken is algemeen directeur bij Praktikon. Haar onderzoeksgebied betreft kwantitatief onderzoek naar de werkzame elementen en effecten van interventies, met als uitgangspunt het gebruik van gegevens die in de dagelijkse hulpverleningspraktijk worden verzameld. E-mail: r.vanderrijken@praktikon.nl.
Praktijklessen
- Behandelresultaten gemeten met de CBCL zijn vergelijkbaar met die van de SDQ wanneer gekeken wordt naar de totale probleemscores.
- Kleine verschillen zijn er wel: de CBCL meet wat nauwkeuriger en laat daardoor eerder een positief resultaat (grotere effecten) zien.
- Bij de keuze voor een bepaald instrument is het doel waarmee het wordt ingezet van belang: screening (SDQ) of nauwkeuriger in kaart brengen van de problematiek en volgen van specifieke aspecten van probleemgedrag (CBCL).
- Voor organisaties die gegevens bij elkaar willen brengen ten behoeve van onderlinge vergelijking, kan dit artikel aanknopingspunten bieden.
- Onderzoekers die willen weten of de behandelresultaten van bepaalde meetinstrumenten vergelijkbaar zijn, vinden in dit artikel handvatten om dergelijk onderzoek uit te voeren.
- Bij onderlinge vergelijking van behandelresultaten blijven de verhalen achter de cijfers, waaronder informatie over het gebruikte meetinstrument, essentieel.