Kan man
regne med konklusionen på en rapport, der bygger på data fra nationale test?
”Måske”,
lyder svaret fra professor emeritus og testekspert Svend Kreiner, der for nylig har skrevet en grundig skriftlig gennemgang af fire forskningsrapporter.
Igennem
flere år har Svend Kreiner kritiseret flere forskningsprojekter, der baserer deres undersøgelser på elevers besvarelser på de nationale test i folkeskolen.
Forskernes analysemodeller er ikke gode nok til at håndtere testdata, og
kvaliteten af data fra de nationale test er i flere tilfælde alt for dårlig
til, at man kan basere sin forskning på dem, lyder hans kritik.
De
resultater, som flere forskere når frem til, bør ifølge Svend Kreiners
præsenteres med et forbehold, der er så stort, at man ikke kan regne med
rapporternes konklusioner.
Omverden kan ud fra rapporterne ikke vide, hvor pålidelige resultaterne er, og der er ikke noget der tyder på, at forfatterne selv ved det.
Professor emeritus Svend Kreiner
“Man kan ud
fra rapporterne ikke vide, hvor pålidelige resultaterne er, og der er ikke
noget der tyder på, at forfatterne selv ved det”, siger Svend Kreiner. Hans skriftlige gennemgang fylder 27 sider, og konklusionerne bliver bakket op af flere personer
med indgående viden om psykometri, som Folkeskolen har bedt om at vurdere
notatet.
Forsker:
Vigtigt at undersøge problemets omfang
De fire gennemgåede
rapporter er alle en slags statistiske analyser, der forsøger at måle
forskellige faktorers indflydelse på elevers faglige udvikling. En af
rapporterne blev i sin tid bestilt af Undervisningsministeriet til at afgøre
effekten af to-lærer-ordninger, og resultaterne kan derfor have haft indflydelse på politiske beslutninger om resurser og metoder i folkeskolen.
Daniel Bergh, der er lektor på Göteborgs Universitet, har læst Svend Kreiners notat, og han mener, at kritikken bør sætte tanker i gang hos de skole- og uddannelsesforskere, der har benyttet data fra de nationale test i deres forskning.
“Som forsker må jeg jo være interesseret i at vide, om det resultat jeg kommer frem til, er korrekt. Her drejer det sig jo om data om børns kundskaber, og resultaterne kan få konsekvenser i forskellige sammenhænge. For forskning om præstationer i skolen leder til politiske beslutninger, som påvirker børnene, og det er derfor vigtigt, at man får undersøgt det her og får afdækket, hvor store de her problemer er”, siger Daniel Bergh.
Psykolog, ph.d. og ekspert i psykometri Tine Nielsen, der til daglig forsker på professionshøjskolen UCL har også gennemgået Svend Kreiners
notat. I en skriftlig vurdering af notatet skriver hun:
“At opdage at der var forhold, der kunne have betydning for resultaterne af min forskning, ville bestemt gøre mig nysgerrig på at undersøge om det var tilfældet ved at genanalysere og evt. korrigere resultaterne. Jeg mener, at vi er nødt til at arbejde sådan – det er den måde vi udvider videnskaben og skaber reel viden”.
Ekspert: Data fra test er noget særligt
Svend Kreiner kritiserer i sit notat to
overordnede problemer, som forfatterne bag de undersøgte analyser støder på,
når de arbejder med data fra nationale test. Det første problem er, at flere forskere bruger
analysemetoder, der ikke tager højde for den type data, som testdata er.
Eller som Tine Nielsen formulerer det i sin
vurdering af Svend Kreiners notat:
“Jeg mener
i princippet, at forskere skal vælge de analysemetoder, de finder egnede til at
besvare de forskningsspørgsmål eller hypoteser, som de undersøger. Men arbejdes
der med testresultater er det særligt vigtigt at validiteten og objektiviteten
af testresultaterne ikke smides ud med badevandet, og at det er muligt at
tolke resultaterne meningsfuldt og brugbart”.
Rockwool-forsker: Kritik ændrer ikke min holdning
Forskningsprofessor
Rasmus Landersø er chef for forskning i uddannelse og familie i Rockwool
Fondens forskningsenhed, og ansvarlig for en af de rapporter, som Svend Kreiner
kritiserer i sit notat.
Han afviser kritikken, og understreger, at forskerne fra fonden gør sig
meget umage med at vælge de rette metoder.
”Vi er enige om, at man skal gøre sig umage, når man
analyserer data, og at man skal sikre sig, at man benytter den rette metode, og
det er jo noget, som ligger til grund for alt det arbejde, vi laver herinde hos
Rockwool Fonden”.
Har du
ændret holdning til jeres brug af data fra de nationale test, efter at du har
læst Svend Kreiners notat?
”Nej. Det har jeg ikke. For de ting, som Svend Kreiner
påpeger, er lige præcis de ting, som vi er meget opmærksomme på i vores brug af
data. Ikke kun i forbindelse med nationale test, men helt generelt”, siger
Rasmus Landersø.
Sammen med otte andre forskere har han skrevet et svar til Svend Kreiners kritiske notat.
Flere hundrede projekter har fået adgang til tvivlsomme data
Det andet problem, som Svend Kreiner peger på, er,
at nogle rapporter bruger testdata, der er behæftet med målefejl, som ifølge ham er med til at gøre forskernes analyseresultater usikre.
Styrelsen for It og Læring (Stil) administrerer data om elevernes testresultater i de nationale test. Og da Svend Kreiner og en forskerkollega i 2019 pegede på, at der var målefejl i testdata i nogle prøver, undersøgte Stil sagen nærmere.
Det viste sig, at der var målefejl i alle test, og styrelsen lavede året efter nye beregninger af elevernes resultater for at løse problemet. Styrelsen undlod dog af forskellige årsager at genberegne testresultater fra perioden 2010-2014.
Det betyder, at al data fra før 2015 er behæftet med målefejl. Det betyder også, at analyser foretaget før 2020 per definition er baseret på fejlbehæftet data.
Vil forskere benytte data fra nationale test til forskning, skal de søge om adgang hos Styrelsen for It og Læring (Stil).
En opgørelse, som Stil har lavet for Folkeskolen, viser, at 227 forskningsprojekter har fået adgang til den omdiskuterede testdata fra 2015 og frem til i dag. Folkeskolen har ikke gennemgået alle projekterne på listen, og ved derfor ikke, om de alle er blevet til virkelighed, eller hvordan de i givet fald har brugt data fra de nationale test.
“227 er jo vældig mange projekter”, lyder Daniel Berghs reaktion, da Folkeskolen oplyser ham om antallet.
“Det gør det jo endnu vigtigere, at man får løst det her problem”, siger han.
Opgørelsen viser også, at 153 projekter fik udleveret data inden 2020, inden at målefejlene blev rettet, men i hvilket omfang den udleverede data har ført til rapporter, har Folkeskolen ikke undersøgt.
"Det bør slås fast, om de kan stå til troende"
Spørger man Tine Nielsen, mener hun, at
forskerne bør kigge nærmere på publicerede rapporter og artikler, som er
baseret på de fejlbehæftede data.
“Jeg mener
at det mest alvorlige i Svend Kreiners kritik er, at der er publicerede
forskningsresultater, som er baseret på, hvad vi ved er fejlagtige (både
usystematisk og systematisk fejlagtige) målinger af elev-dygtigheder. Disse
resultater bør undersøges for om genberegningerne gør en forskel, således at de
ikke fortsat kan have politiske, bevillingsmæssige eller faglige konsekvenser i
samfund og forskning, hvis det er tilfældet. Det bør slås fast, om de kan stå
til troende”, siger Tine Nielsen.
Rapporten
fra Rockwool Fonden benytter de data, som Svend Kreiner og Tine Nielsen kalder
for fejlagtige. Men spørger man Rasmus Landersø kunne de to eksperter i
psykometri sparer sig bekymringerne, hvis de havde læst Rockwool Fondens
studier lidt grundigere.
”Den
statistiske usikkerhed er jo rapporteret i rapporterne”, siger Rasmus Landersø,
og understreger, at studierne ikke var blevet publicerede, hvis resultaterne
ikke var statistisk signifikante.
”Den kritik, som Svend Kreiner fremfører omkring, hvordan usikkerhed bliver beregnet, tager det pågældende studie om skilsmisse bestemt højde for. Og det står også eksplicit i studiet for enhver at læse i ved stort set samtlige tabeller og figurer”, siger Rasmus Landersø.
Professor: Data med målefejl gør ingen praktisk forskel
Professor i statskundskab ved Aarhus Universitet Simon Calmar Andersen er en af de forskere, som bliver kritiseret i Svend Kreiners notet.
Han har benyttet sig af ikke-genberegnet data i sit arbejde, og har i forbindelse med et af sine studier haft anledning til lave den samme analyse med både genberegnede og ikke-genberegnede data, fortæller han.
Og resultatet er "praktisk talt det samme", har han tidligere udtalt til folkeskolen.
”Der er så tæt på 100 procent korrelation (sammenfald, red.) mellem de to resultater, at jeg må konkludere, at det ikke har det store praktiske betydning”, siger han til Folkeskolen.