I morgen onsdag kommer de nyeste resultater fra en af de helt store internationale skoleundersøgelser, når den nyeste Timss-måling af 4.-klassers præstationer i matematik og naturfag præsenteres. Og selvom det nok skal få en del opmærksomhed i den danske skoleverden, så tillægger vi langt fra de internationale målinger lige så meget vægt som i Sverige.

For her er det helt officielt anerkendt fra styrelsen under det svenske undervisningsministerium Skolverket, at det er de internationale målinger, der mest pålideligt fortæller, hvordan det går med den faglige udvikling på de svenske skoler.

Det oplyser Maria Axelsson, der er undervisningsrådgiver for Skolverket og projektleder for den svenske del af Timss-undersøgelsen.

”Karakterer og resultater fra nationale test i Sverige er ikke designet til at måle den faglige udvikling over tid. I Sverige har vi kun de internationale undersøgelser (Pisa, Timss etc.), der måler den faglige udvikling over tid, fordi de er baseret på trendstudier (studier, som over tid på tværs af populationer kan måle den samme dygtighed på samme skala, redaktionen) mm.”, oplyser hun i et skriftligt svar til Folkeskolen.

”Det siger ikke nødvendigvis noget om den reelle faglige udvikling”

De to danske eksperter - forsker på DPU og ansvarlig for den danske del af Timss-undersøgelsen Christian Christrup Kjeldsen og nuværende matematikkonsulent i Horsens Kommune og tidligere læringskonsulent i Børne- og Undervisningsministeriet Rasmus Ulsøe Kær - problematiserede for nylig det danske undervisningsministeries sammenligninger af elevernes karakterer år for år.

Ifølge dem er måden, ministeriet forsøger at sikre, at karaktererne kan sammenlignes, ikke god nok.

Konsekvensen er, at det ikke er til at vide, om eleverne rent faktisk er blevet dårligere, selvom elevernes karakterer ved sommerens prøver sammenlignet med året inden corona var faldet ganske markant både i matematikprøverne med og uden hjælpemidler, læseprøven og prøven i retstavning.

Selvom man i Sverige ikke bruger elevernes afgangskarakterer som et mål for, hvordan det går, offentliggør Skolverket dog ligesom i Danmark både årets afgangskarakterer og resultaterne fra de svenske nationale test.

”Vi offentliggør hvert år karakterer og resultater i de nationale test, hvilket også giver et billede af ændringen over tid for disse målinger. Skolverket skriver rapporter, hvor det fremgår, om karaktererne ændrer sig over årene. Men det siger ikke nødvendigvis noget om den reelle faglige udvikling”, fortæller Maria Axelsson.

Forsker holder fast: Brug de internationale studier ”langt mere”

Herhjemme er der siden 2015 blevet foretaget en såkaldt forcensur, der har til formål at gøre alle de selvrettende skriftlige prøver samt prøven i matematik med hjælpemidler sammenlignelige år for år.

Konkret sker det ved, at en række klasser landet over udgør en form for kontrolgruppe. Kort inden årets afgangsprøver afvikler klasserne forcensurprøver, hvor de som ved terminsprøver testes i et prøvesæt fra et tidligere år.

Det er så efter en sammenholdning af disse klassers resultater i det gamle og nye prøvesæt, at der bliver fastlagt en omsætningstabel for årets prøve over, hvor mange point der skal til i prøven for at score en given karakter.

Udfordringen ved den metode ifølge de to forskere er blandt andet, at metoden er for simpel til at indfange, at prøverne ændrer sig over årene – og nogle år er ændringerne ret markante.

Christian Christrup Kjeldsen mener, at man i Danmark bør gøre som i Sverige og tillægge de internationale undersøgelser større vægt end udviklingen i afgangskarakterne.

”Jeg mener, at man bør bruge de internationale studier langt mere. De måler på pålidelig og valid vis udviklingen over tid og i øvrigt også med tilpas mellemrum, så man kan identificere reelle forandringer. Og ikke mindst så er de dokumenteret helt ned i mindste detalje, og alle kan efterprøve resultaterne, da data stilles til rådighed anonymiseret”, siger han.

Efterspørger mere gennemsigtighed

Udover at tillægge de internationale undersøgelser større vægt herhjemme, mener DPU-forskeren også, at ministeriet kan benytte de samme metoder, der anvendes i de internationale undersøgelser til i højere grad at sikre, at de danske karakterer er sammenlignelige.

En del af det handler blandt andet om at analysere sig frem til nogle opgaver – også kaldet anker-items - der er særligt egnede til at fastlægge pointskalaen ud fra.

Men det har ministeriet afvist. For hvor spørgsmålene i de internationale undersøgelser er fortrolige, så det er folkeskolens prøver frit tilgængelige, så snart årets 9.-klasser har været til eksamen.

Fortroligheden er dog ikke et argument for, at man ikke kan bruge nogle af de samme metoder, mener Christian Christrup Kjeldsen.

”Når man laver forcensur, bruger ministeriet et helt sæt af opgaver som anker-items. Til gengæld kan man så ikke tage højde for de enkelte opgavers sværhedsgrad, eller om det har betydning, hvilken rækkefølge opgaverne har”, siger han og peger på sin største anke:

”Når alt kommer til alt, så er det svært at vurdere, om karakterfordelingen er sammenlignelig over tid af den helt simple grund, at ministeriet ikke dokumenterer, hvad de gør. For så er der eksempelvis ikke nogen, der kan efterprøve det”.

Karakterer fylder også i den svenske skoledebat

Selvom karaktererne ikke tillægges samme vægt i Sverige i forhold til at følge skolens faglige udvikling, er det ikke, fordi karakterer ikke fylder i den svenske skoledebat, fortæller Maria Axelsson.

”Der er en stor diskussion i Sverige om karakterinflation i visse fag og ulige karaktergivning. Det er lærerne, der giver karaktererne, og som retter elevernes nationale prøver. Lige nu pågår en statslig undersøgelse af, hvordan man håndterer karaktergivning på en mere lige måde. Den skal være klar næste år”, fortæller hun.

Hun fortæller også, at de svenske nationale prøver også er ved at gennemgå forandringer. Det indebærer både en digitalisering af dem, men også forsøg med central bedømmelse, så lærerne ikke retter deres egne elevers prøver.