Lars Løkkes præmiepulje er dømt til succes. Uden at gøre noget nyt vil lavt præsterende skoler nemlig samlet set altid opleve bedre resultater med tiden, mens nye skoler vil overtage pladsen i bunden.

Fænomenet er kendt inden for en lang række områder. Og det handler om, at resultaterne bygger på skolernes faktiske evne til at løfte eleverne plus en række tilfældigheder, og derfor vil de allerdårligste altid forbedre sig, mens de allerbedste omvendt vil blive dårligere, hvis man følger dem isoleret fra år til år.

Dumpekarakter til Løkkes præmiepulje

Sådan lyder det i dag fra lektor på DPU med speciale i udsatte børn og unge og kvantitativ forskning i internationale uddannelsesstudier Christian Christrup Kjeldsen.

"Fænomenet hedder regression-to-the-mean, og det har været velkendt siden slutningen af 1800-tallet. Det går ud på, at når man har en fordeling af resultater, hvor der indgår en grad af tilfældighed, så vil yderpunkterne over to eller flere målinger nærme sig det samlede gennemsnit, og andre punkter vil overtage pladsen som yderpunkter ", forklarer han.

I mellemtiden vil andre skoler altså overtage bund- og topplaceringen.

"Skolernes karakterer svinger, som vinden blæser. Så det er vigtigt at være opmærksom på, at de her 104 skoler lå i bunden i gennemsnit over netop de tre år, som ministeriet har valgt at beregne på, da de skulle finde nogle skoler til puljen. Havde de valgt nogle andre år, ville det have været nogle andre skoler, der var kommet med", siger han og fortsætter:

"Der er således et element af tilfældighed, og derfor vil vi se det statistiske fænomen".

Løkkes konklusion holder ikke

Skolerne er blevet udvalgt ud fra deres andele af elever, der i de tre skoleår i perioden 2014-2016 havde et karaktergennemsnit under 4 i afgangsprøverne i dansk og matematik. Siden er der gået to skoleår, hvoraf det ene var det første puljeår, som sluttede med prøverne i juni.

SF kalder Riisager i samråd om præmelotteri

61 af de 104 skoler fik i år del i præmiepuljen. Det fik statsministeren til at udtale, at disse skolers resultater bør være "en god løftestang til dem, som ikke tidligere har formået at få alle elever med". Lars Løkke bemærkede også, at løftet af eleverne tilmed var sket på "blot ét år".

Men det har ingen hold i virkeligheden, lyder det fra Christian Christrup Kjeldsen. Når man plotter skolernes resultater ind på et diagram, tager de enkelte skoler gevaldige hop både op og ned fra år til år.

Samlet er skolernes andel af lavt præsenterende elever imidlertid faldet. Men sådan har det været igennem hele perioden, viser det sig.

"Grafen viser, at skolerne - som regression-to-the-mean jo siger - at de her lavt præsterende skoler samlet forbedrede sig helt naturligt, allerede før puljen gik i gang", fortæller han.

Artiklen fortsætter under tweetet

Modelen viser, hvordan skolerne gennem den seksårige periode opnår vidt forskellige resultater. De blå viser de 61 skoler, der i år har fået en præmiesum. De navngivne skoler er tilfældigt udvalgt af Christian Kjeldsen til at vise, hvordan skolerne hopper op og ned. Den stiplede linje viser, hvordan den samlede andel af lavt præsterende elever på skolerne løbende er faldet.

Uden statistisk lov ville vi have kæmpe mennesker

For at eksemplificere det statistiske princip peger han på to eksempler fra metodelitteraturen på området. Meget høje forældre får ikke automatisk højere børn - faktisk får de i gennemsnit typisk lidt lavere børn end dem selv. Og meget lave forældre får i gennemsnit typisk børn, der er lidt højere end dem selv.

Samlet er højden afhængig af to faktorer: arv og tilfældighed.

"Og det er tilfældigheden, der her er vigtigt at have for øje. Hvis ikke det skete, så ville vi have en verden, som bestod af kæmpe- og mikromennesker. For store mennesker vil få endnu større børn og omvendt. Det ville gå helt amok", siger han og fortæller en anekdote fra det israelske forsvar.

15 præmiepuljeskoler har fået hjælp af eksterne

Her blev det undersøgt, om 'pisk' eller 'gulerod' giver den bedste effekt. På forsvarets uddannelse af jagerpiloter blev de piloter, der klarede dagens øvelser bedst, belønnet, mens dem, som klarede opgaverne dårligst, fik en straf.

Næste dag klarede dem, der havde været de dårligste sig bedre, mens de bedste klarede sig dårligere end dagen før.

"På den baggrund konkluderede de, at pisk er bedre end gulerod. Men sagen er, at det i stedet er det statistiske fænomen. Man bliver lidt populært sagt ikke ved med at være uheldig - eller omvendt heller ikke med at være heldig", siger han og peger på, at skolerne eksempelvis kan være mere eller mindre heldige med deres årgange af elever, om deres lærere har været langtidssygemeldte, og hvad der sker på fødeskolerne.

Hvorfor følger man ikke de samme elever?

Ligesom professor i økonomiske gulerodsmodeller Per Nikolaj Bukh tidligere har gjort, påpeger Christian Christrup Kjeldsen, at præmiepuljen heller ikke tager højde for, at modelen ikke måler på de samme elever år for år.

Han mener ligesom professor  Per Nikolaj Bukh, at man burde måle på de samme elevers faglige progression.

Forsker: Sådan burde præmiepuljen have set ud

"Man burde ikke måle på skoleniveau ved afgangsprøver, men i stedet tidligere eksempelvis ved de nationale test - selv om det jo også indebærer nogle usikkerheder - til at følge specifikke elever".

Riisager: Modellen er ikke perfekt

I morgen formiddag har SF's undervisningsordfører Jacob Mark kaldt undervisningsminister Merete Riisager i samråd, hvor hun skal forsvare sin og statsminister Lars Løkkes Rasmussens skolepulje.

På samrådet er Merete Riisager specifikt blevet bedt om at forholde sig, hvad hun mener om, at skolerne har blandt andet har brugt første skoleår på intens eksamenstræning, som Folkeskolen tidligere har kunnet berette om.  

Svage elever har øvet eksamen hver uge i et år 

Undervisningsministeren kommenterede allerede på en massiv kritik fra Per Nikolaj Bukh og professor i pædagogisk statistik Peter Allerup tilbage i november sidste år.

Her medgav hun, at modellen ikke er perfekt.

"Man kan altid diskutere indikatorerne, og jeg tror ikke, at det er muligt at udvikle en perfekt model", lød det den gang fra ministeren.

Kun 16 procent af puljen er blevet udbetalt

Folkeskolen har siden Lars Løkke og Merete Riisager sammen annoncerede deres præmiepulje berettet om en lang række kritikpunkter. Blandt andet er det langt fra bliver alle afsatte 500 millioner, som ser ud til at ende ud på skolerne.

Riisager bekræfter: Hele præmiepuljen udmøntes ikke til skolerne

Størrelsen på skolernes mulige præmiesummer blev nemlig bestemt ud fra, at der skulle have været 120 deltagende skoler, og der er bregnet med, at de alle klarer kravet alle tre år. Men efter første puljeår måtte 43 af skolerne sande, at de ingen penge får.

I alt udmøntede skolernes præstationer på det første af tre år i en samlet udskrivning på 81,7 millioner - altså kun lige over 16 procent af den halve milliard.

Undervisningsministeren har tidligere sagt, at regeringen ikke har taget stilling til, hvad der vil ske med de resterende penge, når puljen er overstået.

På 20 skoler var én elev afgørende

Årets resultater har vist, at det er ganske få elever, der er forskellen på præmiemillioner eller en lang næse. På 20 skoler var det én elevs resultater, der gjorde forskellen efter første puljeår.

Økonomiprofessor Per Nikolaj Bukh har  peget på, at puljen kan få skolerne til at tage kneb i brug, der intet har med et fagligt løft af eleverne at gøre.

En elevs afgangsprøve afjorde præmielotteriet på 20 skoler

Ifølge han vil skolerne kunne score nemme point, hvis skolernes undervejs får elever ind i klasserne, som kan score mindst 4 i de to fag. Omvendt har skolerne også mulighed for at skaffe sig af med nogle af deres svage elever ved at arbejde på at få dem flyttet til en specialskole eller forsøge at få dem til at tage på efterskole.

Alternativt kan skolerne indgå et samarbejde med en af kommunens andre skoler. Så kan man flytte eleverne over på den anden skole og så efterfølgende deles op med præmiesummen.

Tidslinje: Præmiepuljens korte og turbulente historie

Folkeskolen.dk dækker morgendagens samråd.