Skoleleder: Tetsresultater svinger, som vinden blæser

At Norddjurs Kommune oplever, at de nationale test måler, som vinden blæser, er næppe et enestående fænomen. Danmarks to eksperter i pædagogiske test, Peter Allerup og Svend Kreiner, vurderer, at problemet formentlig er generelt.

»Hvor er det trist, at Norddjurs ved et tilfælde skal opdage, at kejseren ikke har noget tøj på. Det er virkelig en torn i øjet, at man opdager, at når man måler de samme børn flere gange, kan man ikke forklare variationerne med reelle forandringer hos eleverne. Hvis man ikke griber ind, så taber man et projekt til 160 millioner kroner på gulvet«.

Det siger professor i pædagogisk statistik Peter Allerup om de nationale test, som i Norddjurs Kommune har vist sig at give vidt forskellige resultater, når den samme elev tager den samme test med kort tids mellemrum.

Gennem ti års arbejde med de nationale test har man forsømt at teste deres målesikkerhed - altså om man får det samme resultat, hvis man måler det samme flere gange i træk. Man kunne have opdaget problemet, hvis man havde afprøvet testene på de samme elever flere gange, dengang de blev udviklet. Man kunne også have opdaget det, mener Peter Allerup, hvis man havde set på målesikkerheden, da testene første gang blev evalueret i 2007, men det gjorde man ikke, og man forsømte det også, da den store Rambøll-evaluering af testene blev gennemført i 2013. Dengang var Peter Allerup hyret til at kigge på testenes virkemåde, men han blev nægtet adgang til de mange millioner testresultater, der på det tidspunkt var opsamlet fra både frivillige og obligatoriske test, og måtte nøjes med at gennemføre sin evaluering ud fra litteraturstudier. Og nu kan Folkeskolen så afsløre, at tager de samme elever de samme test med kort tids mellemrum, så svinger deres testscorer, som vinden blæser.

Test-evaluering giver ingen svar på, om testene duer

Flovt

»Det er flovt. For man kan sige, at ministeriet har haft tid nu til at sunde sig oven på kritikken af opgaverne, og så kunne man jo have igangsat nogle initiativer til at undersøge det her - det er ikke ret dyrt«, siger Peter Allerup. Han ser store muligheder i selve konstruktionen bag de nationale test som en mulighed for at sammenligne resultater over tid. Så han ærgrer sig på systemets vegne over, at man i sin »iver for at holde ting hemmelige« ikke har lagt tingene ud til åben afprøvning.

»Der er kun én vej ud - at se at få undersøgt, om det, de oplever i Norddjurs, er et generelt fænomen. Men det tror jeg, det er«, siger han.

Danmark har to store eksperter i psykometri, det vil blandt andet sige pædagogisk statistik. Den anden er professor emeritus Svend Kreiner, der i sin tid rådgav Undervisningsministeriet om kravene til den særlige testform, man har valgt til de nationale test, nemlig adaptive test, der løbende tilpasser sig elevens niveau undervejs i testen. De mener ikke, at lærerne kan sidde med forældre og elever og formidle nogle testresultater, hvor de samme elever svinger mellem top og bund og middel. Spørgsmålet er også, om testresultater, der siger så lidt om hver enkelt elevs niveau, kan bruges til at måle, hvordan det går med et helt skolevæsen i en kommune, endsige hvordan det går med skolereformen i hele Danmark.

De to professorer har ikke haft adgang til testresultaterne, som er fortrolige, så de kan kun gisne om årsagerne til, at testene altså giver forskellige resultater for de samme elever.

Grundfejl i skalaen

Svend Kreiner ser to mulige årsager. Den ene er, at man forsøger at måle tre forskellige profilområder i løbet af de 45 minutter. Der kan derfor kun stilles et relativt begrænset antal opgaver per profilområde, og det medfører en »ikke ubetydelig« usikkerhed på de enkelte målinger selv i et adaptivt testdesign. Den anden er, »at spredningen af det store flertal af eleverne formodentlig er relativt begrænset, således at der er risiko for, at den svageste af to tilfældigt udvalgte elever får det bedste testresultat af rent tilfældige årsager«.

»Hvis denne mistanke er korrekt«, forklarer Kreiner, »kan det betyde dramatiske variationer i percentilværdier (tallene mellem 0 og 100, der angiver, hvordan den enkelte elev er placeret i forhold til de elever, der blev testet, da percentilskalaen blev fastlagt), hvis man sammenligner resultaterne af gentagne forsøg på at måle, hvor eleverne er placeret«, forklarer han og understreger, at percentilværdier derfor altid bør ledsages af oplysninger om usikkerheden i værdierne, når de lægges frem for forældre eller andre interesserede uden indsigt i pædagogiske test.

Svend Kreiner understreger, at han ikke kan vurdere, om det er hele årsagen til udsvingene i Norddjurs, men det er helt klart en mulighed.

Hverken han eller Peter Allerup vurderer, at det, man har oplevet på Ørum Skole, kan skyldes de dårlige opgaver, som ministeriet nu har udskiftet.

Sidste år blev det klart, at der var problemer med den statistiske sikkerhed, men det er ikke det, som er i spil her, mener Peter Allerup (læs artiklen om udskiftning af opgaver side 12, redaktionen). Når den samme elevs test svinger kraftigt med kort tids mellemrum, handler det om testens evne til at måle den samme ting ens hver gang, den såkaldte reliabilitet. Og det er reliabiliteten, som man efter hans vurdering fuldstændig har forsømt at undersøge for de nationale tests vedkommende. Først da Norddjurs benytter sig af de maksimale muligheder for at tage frivillige test, nemlig to frivillige plus den obligatoriske, bliver det tydeligt, at måleresultaterne svinger.

»Det er ikke nogen trøst, at det jævner sig ud på skoleniveau«, understreger han.