”Jeg hilser velkommen, at vi får kritikken på bordet. Sådan er forskning jo”. 

Sådan siger professor i statskundskab fra Aarhus Universitet Simon Calmar Andersen, efter at han har læst det 27 sider lange notat, hvor Professor Emeritus og ekspert i pyskometri, Svend Kreiner, argumenterer for, hvorfor man lidt groft sagt ikke kan stole på meget af den forskning, der bygger på data fra nationale test. 

Notatet gennemgår fire forskningsartikler. Simon Calmar Andersen er medforfatter på to af dem, og i en tredje takker forfatterne den Aarhusianske professor for ”helpfull comments”. Men selvom kritikken i særdeleshed går ud over Simon Calmar Andersen, er han faktisk glad for at læse notatet. 

”Det har været afklarende at få konkretiseret Svend Kreiners indvendinger, og det har hjulpet os til at kunne svare på dem punkt for punkt. Men det bestyrker mig også i, at vores resultater stadig står til troende”, siger Simon Calmar Andersen.

Calmar: Målefejl har ingen praktisk betydning

Et af kritikpunkterne er, at flere forskere inklusive Simon Calmar Andersen baserer deres forsknings på data fra nationale test, som er behæftet med målefejl, og det betyder, at hverken forskerne selv eller andre kan vide, om de effekter, som studierne viser, er store eller så små, at resultatet bliver uinteressant.

Hundredvis af forskningsprojekter bygger på testdata, men: Kan man stole på forskning, der bygger på nationale test?

Styrelsen for It og Læring (Stil) anerkendte for knap fire år siden problemet med målefejl i data, og det fik styrelsens ansatte til at genberegne en del af resultaterne. På trods af det mener Simon Calmar Andersen, at det er fuldt forsvarligt at benytte de fejlbehæftede data.

“Jeg mener helt klart, at det er forsvarligt. Svend Kreiner skriver selv, at han ikke kan sige, hvor meget det betyder for resultaterne om data er genberegnede eller ikke er. Jeg vil sige, at den der genberegning ikke har nogen praktisk betydning”, siger Simon Calmar Andersen og peger på tre grunde til, at han når frem til dén konklusion.

Den første grund er, at Simon Calmar Andersen og hans kollegaer netop har gennemført den samme analyse med henholdsvis genberegnede og ikke-genberegnede data fra de nationale test. Det har de gjort med en undersøgelse af modermålsundervisnings effekt på elevers faglige færdigheder, som stammer fra 2014. Og hvad enten man bruger de genberegnede eller ikke-genberegnede data, bliver resultatet stort set de samme, forklarer han.

Sammenligningen viste for det andet, at der var 97 procents sammenfald mellem elevernes testresultater, når man kiggede på de gamle testdata og de genberegnede data, forklarer Simon Calmar Andersen. 

”Der er så tæt på hundrede procent korrelation (sammenfald, red.) mellem de to resultater, at jeg må konkludere, at det ikke har det store praktiske betydning”, siger han. 

Skævhed i data betyder næsten intet for forskningen

Svend Kreiner kritiserer i sit notat et studie, der undersøger effekten to-lærerordningers effekt på elevernes testresultater. I det pågældende studie blev eleverne opdelt i to grupper ud fra et lodtrækningsprincip. Og det løser et af de problemer, som kritikerne peger på. 

”Fordelen ved lodtrækningsprincippet er, at hvis der er unøjagtigheder i data, så rammer det begge grupper lige meget. Så hvis de har fået skæve testresultater i den ene gruppe, så har de det også i den anden”, siger Simon Calmar Andersen. 

For så længe grupperne er ramt ligeligt og på samme måde af skævheder i data, er det stadig muligt at sammenligne dem op imod hinanden, forklarer han. 

Simon Calmar Andersen medgiver, at skævheder i data langt fra er ligegyldige for vurderingen af den enkelte elev ude i klassen, men når man samler resultater for større grupper af elever, og når de er inddelt i to grupper ved en tilfældighed, betyder skævhederne næsten ingenting, mener han.

Har skrevet et svar og håber på enighed

I Svend Kreiners kritiske notat bliver Simon Calmar Andersen og hans kollegaer også kritiseret for deres måde at fortolke data fra nationale test på. Målinger af elevers færdigheder er i sagens natur behæftet med en del usikkerhed, forklarer Svend Kreiner, og den måde som Simon Calmar og hans medforskere omregner elevernes testresultater til et samlet tal, der kan indgå i en større analyse, giver ifølge Svend Kreiner et så usikkert resultat i analyserne, at ”konklusionerne er i bedste fald ligegyldige og i værste fald misvisende”, som han siger.

Men hverken de potentielle fejl i nationale testdata eller valget af fortolkningsmetoder har nogen praktisk betydning for forskningen, lyder Simon Calmar Andersens vurdering.

Det gør et indtryk på Simon Calmar, at Svend Kreiners kritik bliver bakket op af flere forskere, med et indgående kendskab til psykometri, som er den videnskabelige gren, der beskæftiger sig med, hvordan man udformer og evaluerer mentale test af mennesker.  Men det ændrer ikke på Simon Calmar Andersens tiltro til egne forskningsresultater.

”Jeg er egentlig enig i de fleste af Svend Kreiners psykometriske betragtninger. Men selv hvis vi udregnede vores resultater på den måde, som Svend Kreiner mener, at man burde gøre, så vil det ikke gøre den store forskel for vores konklusioner”, siger Simon Calmar Andersen. 

Simon Calmar har skrevet et modsvar i samarbejde med forfatterne bag de fire rapporter, som er blevet underkastet Svend Kreiners kritiske gennemgang. Og han håber, at de argumenter, som kommer til at fremgå af det svar, vil få kritikken til at forstumme.

“Når kritikerne har læst vores modsvar, så håber jeg, at de vil være enige med os i, at det ikke har nogen praktisk betydning for vores forskningsresultater”.