Københavnerdrenge skal lære nye vaner på camp

"På bare 14 dage kan LøkkeFonden få fagligt udfordrede drenge til at rykke sig over 2,5 læringsår inden for stavning, læsning og matematiske færdigheder".

Sådan lød det i pressemeddelelsen, efter LøkkeFonden i sommerferien for syvende gang havde afholdt DrengeAkademiet, hvor omkring 100 udfordrede elever får intensiv undervisning i 14 dage i sommerferien.

De seneste uger har artikler i Weekendavisen kaldt det for falsk varebetegnelse, når LøkkeFonden påstår at kunne rykke elever flere år på få dage.

Kritikken går på brugen af begrebet "læringsår", som ikke må forveksles med skoleår. For hver 0,4 point eleverne scorer højere på en skala i den afsluttende test end i den indledende, konkluderer man, at de har rykket sig lige så meget fagligt, som den pågældende elev ville have rykket sig i løbet af et år i folkeskolen.

Forskere: Turboforløb er et laboratorium - ikke et quick-fix   

Fejloversættelse af Hattie

Ifølge statistiker og professor emeritus Peter Allerup er LøkkeFondens brug af begrebet uvidenskabelig. For at forstå hvorfor, må man begynde med det statistiske begreb effect size, som måler effekten af en indsats i en gruppe af mennesker over tid.

I 2009 tager skoleforskeren John Hattie begrebet til sig og konkluderer, ifølge Peter Allerup, at der som tommelfingerregel er "grundlag for at kigge nærmere på tingene", hvis skoletiltag har en effect size på 0,4 eller mere.

Det er i en dansk kontekst ifølge statistikeren blevet oversat meget stift til, at effekten af et års undervisning er præcis 0,4.

"Men Hattie er dog på så sikker statistisk grund, at han taler om forsøg med tilfældigt udvalgte forsøgspersoner og en kontrolgruppe. Ingen af de ting har man gjort i regi af LøkkeFonden", siger Peter Allerup til folkeskolen.dk.

Når man arbejder med så lille en gruppe mennesker og uden kontrolgruppe, vil man altid være på statistisk usikker grund, hvis man vil konkludere noget om, hvor meget de har rykket sig i forhold til en anden gruppe, tilføjer han:

"Og hvis man begiver sig i kast med at regne det ud for enkeltindivider, så har man virkelig ikke forstået en brik af det. Det er modellen komplet uegnet til. Den er lavet til at måle den gennemsnitlige udvikling i store populationer".

Kan oversættes til kroner og øre

Han mener, at effect size-regnemetoden har vundet indpas i skoleverden, fordi den er direkte oversættelig til økonomi.

"Kan man på 14 dage løfte elever med hvad der svarer til et år i folkeskolen, og man ved hvad skolegang koster per elev per år, ja så lader det sig nemt oversætte til sparede kroner og øre. Og det er grunden til, at den er så populær i den kommunale verden, hvor gevinsterne ved et forsøg altid vægtes meget skarpt op imod deres omkostninger for skatteborgerne", siger Peter Allerup.

"Derfor æder folk det råt for usødet, selv om alle alarmlamper naturligvis bør blinke, når man får at vide, at man kan flytte folk mere end hvad de rykker på syv år i folkeskolen, som man har konkluderet, at enkelte af eleverne gør".

Drenge voksede fagligt og menneskeligt på camp 

Ville selv betale sig fra prøver

Hvis Peter Allerup selv skulle måle effekten af et 14-dages forløb på DrengeAkademiet, ville han først og fremmest udskifte de prøver, eleverne tager i starten og slutningen af forløbet.

"For eksempel har det psykologiske forlag Hogrefe standardiserede og gennemtestede prøver, hvor man efterhånden har et fornuftigt overblik over, hvor meget elever gennemsnitligt flytter sig i løbet af et skoleår", siger han.

Bruger man dem, får man resultater, der skriver sig ind i så stor og valideret et talmateriale, at man kan sammenligne med andre forsøg foretaget på samme præmisser og dermed fastslå præcis hvor meget eleverne har flyttet sig i forhold til andre elever, pointerer Peter Allerup.

Han ville allerhelst, at man holdt sig fra at tale om læringsår i det hele taget og i stedet snakkede om, om en indsats løftede eleverne statistisk signifikant.

Men var undersøgelsen lavet på baggrund af godkendte prøver, med tilfældigt udvalgte forsøgspersoner og med en kontrolgruppe, så ville han kunne leve med, at man sammenlignede fremskridtet med det, man ser på et år i folkeskolen.

"Jeg har selv igennem et langt liv været med til at undersøge indsatser, der har virket i mindre end et år, dog aldrig så kort som 14 dage. Så det kan godt lade sig gøre at undersøge, hvor langt man i en kortere periode kan flytte sig fagligt i sammenligning med et helt år i folkeskolen. Hvis man i øvrigt kunne stole på de nationale test, var det jo faktisk meningen, at de skulle kunne udgøre sådan en målestok", siger han.

DrengeAkademiet er ikke et forskningsprojekt

Fra 2013 til 2015 var det lektor Frans Ørsted Andersen fra DPU, der stod for testene på DrengeAkademiet, og det er stadig ham, LøkkeFonden henviser spørgsmål om prøverne til.

Han påpeger, at der hvert år er nye lærere med på DrengeAkademiet, og at man bruger de materialer, de anvender i deres hjemkommune.

"Det er typisk det, man vil kalde pædagogiske prøver bundet op på undervisningsmateriale fra forskellige forlag, man kan bruge til at måle den enkelte elevs faglige progression", siger han.

Fordelen ved at bruge de pædagogiske prøver, lærerne bruger til hverdag, er, at det skaber en sammenhæng mellem det, der foregår på DrengeAkademiet og den normale skolegang, fortæller Frans Ørsted Andersen.

Dermed er der også bedre mulighed for at arbejde videre med metoderne fra sommerkurset, når eleverne kommer tilbage til hverdagen. Men de kan ikke bruges til hardcore effektmålinger, der kan gøres op i læringsår og sammenlignes med resultater fra andre indsatser, medgiver han.

"Men det er stadig helt i orden at nævne, at man har fået en procentvis fremgang målt ved en pædagogisk prøve. Det er nøjagtig det samme man gør i PPR og ude i skolen, når man skal dokumentere en faglig progression over for forældrene".

I bund og grund handler det om, hvorvidt man anser DrengeAkademiet som et forsknings- eller et pædagogisk projekt, opsummerer Frans Ørsted Andersen.

"Hvis det bliver alt for forskningsbaseret, bliver lærerne nok hægtet lidt af i forhold til, hvis man bruger materialer og metoder, de kender i forvejen og kan arbejde videre med, når de kommer hjem. Desuden bliver det meget omstændigt at lave den slags indsatser, hvis der skal være dyr og standardiseret forskning omkring det".

"Men det er klart, at man ikke kan tage resultaterne med på en forskningskonference og sammenligne med andre lignende indsatser ude i den store verden. Der har LøkkeFonden på deres hjemmeside og i pressemeddelelser ikke været tydelige nok omkring det forskningsmæssige belæg for resultaterne", siger Frans Ørsted Andersen, der tilføjer, at han selv har droppet at bruge begrebet 'læringsår', fordi det for ofte bliver misforstået.

Dropper læringsår

LøkkeFonden møder også kritik for at skrive, at rapporten, der dokumenterer resultaterne, er udarbejdet af "metodeforsker" Alexander Forbes McClellan.

Han er dog hverken forskeruddannet eller tilknyttet et universitet. Desuden ligger metoden fast, når Alexander Forbes McClellan hvert år modtager resultaterne fra DrengeAkademiet. Han skal mere eller mindre bare sætte dem ind i en skabelon, hvor det allerede er givet, at resultatet skal angives i læringsår, skriver Weekendavisen.

På baggrund af kritikken har LøkkeFonden valgt at droppe læringsår som måleenhed.

"Begrebet har igennem længere tid været benyttet af diverse aktører inkl. EgmontFondens 'Lær for livet' og af LøkkeFonden siden 2013. Både begrebet og algoritmen, der ligger til grund, mener vi stadig er fuldt ud holdbar, hvilket også er grunden til at både Undervisningsministeriet samt forskere på DPU har benyttet sig af denne måleenhed", oplyser fonden i sit nyhedsbrev uden at komme nærmere ind på, hvad ændringen bliver. Fonden skriver videre:

"Når det er sagt, så er vi enige i, at der kan forekomme misforståelser, når dette fagudtryk bliver brugt i offentligheden. Derfor har vi i samarbejde med DPU valgt, at vi fremadrettet vil ændre kommunikationen, der vedrører elevernes progression".

Sælger turboforløb

Den ikke-erhvervsdrivende fond LøkkeFonden har ifølge Weekendavisen og Ekstra Bladet tjent omkring tre millioner kroner de seneste år på at sælge konsulentydelser og 'intensive læringsforløb' til Esbjerg, Kolding og Københavns Kommuner.