OM UNDERSØGELSEN
Når de nationale test diskuteres, hævderdebattørerne ofte - afhængig af standpunkt - at danske lærere entenhar (eller ikke har) taget de nationale test til sig. Men der harikke hidtil været forskningsmæssigt belæg for synspunkterne, menerprofessor Jeppe Bundsgaard. Han mener, firmaet Rambølls evalueringaf testene fra 2013 lider af alvorlige metodiske fejl. Bl.a. blevlærer-respondenterne udvalgt af skoleledere, og lærere fra mindreskoler tæller lige så meget i det samlede gennemsnit som lærere frastørre skoler. De to DPU-forskere har derfor gennemført deresspørgeskemaundersøgelse blandt en tilfældigt udtrukket stikprøve afalle danske folkeskoler. Stikprøven er udtrukket, sådan atfordelingen af skoletyper i stikprøven modsvarer fordelingen ipopulationen. Forskerne stiller desuden data (anonymiseret) tilrådighed for alle på korturl.dk/f2k
Bemærk
Denne artikel er flyttet fra en tidligere version af folkeskolen.dk, og det kan medføre nogle mangler i bl.a. layout, billeder og billedbeskæring, ligesom det desværre ikke har været teknisk muligt at overføre eventuelle kommentarer under artiklen.
Fænomenet teaching to the test, hvor lærere underviser med henblik på, at eleverne skal klare sig godt i test frem for at fokusere på fagets mål, er velkendt fra mange lande med centralt udstukne test, der har betydning for fx skolernes økonomi. Det var noget, forskere og andre advarede imod, da de nationale test blev indført i Danmark. DPU-professor Jeppe Bundsgaard har sammen med statistikeren Morten Rasmus Puck på eget initiativ besluttet sig for at undersøge læreres og skolelederes brug af testene, fordi han ikke mener, de hidtidige rapporter om emnet har været forskningsmæssigt i orden. Og deres undersøgelse, som professor Jeppe Bundsgaard har med på Christiansborg-høringen om de nationale test onsdag, viser altså, at næsten halvdelen af danske lærere faktisk er begyndt at undervise med testene som mål.
Lærere: Vi lægger vægt på noget uvæsentligt
De fleste lærere forbereder eleverne til testen ved at tale med dem om den forestående test - 30 procent af dem taler med klassen om testene tre eller flere gange i tiden før testen. Næsten halvdelen af lærerne bruger undervisningsmateriale rettet mod nationale test, og flere end halvdelen underviser specifikt i stof, der er relevant for testen, fordi eleverne skal til test. At så mange lærere forbereder testene så meget, overrasker Bundsgaard:
"At så mange bruger særlige undervisningsmaterialer som optakt til testen - noget som selv fortalerne for test siger, man ikke må - er et problem. For resultatet er, at vi fremmer noget i undervisningen, vi ikke ønsker fremmet", siger han til folkeskolen.dk
Træning underminerer nationale test
"Én ting er de helt groteske ordkæder, eleverne træner, men det gælder også for eksempel almindelige tekstforståelsesopgaver, hvor eleverne bliver trænet i strategisk søgning efter nøgleord i en tekst, så de hurtigt kan vælge den overskrift, der passer bedst. Den type strategisk læsning er jo kun én ud af mange læsestrategier, og skoleelever skal lære at anvende forskellige læsestrategier til forskellige teksttyper og formål", påpeger Jeppe Bundsgaard.
Lærerne erkender selv problemet i undersøgelsen - over halvdelen af de adspurgte lærere svarer, at de nationale test får dem til at lægge vægt på noget uvæsentligt.
Jeppe Bundsgaard trådte i januar i år frem som skarp kritiker af de nationale test med en kronik i Politiken. Han beskrev, at testene måler så upræcist, man at ikke kan regne med, at Peter, der har fået 55 point, er bedre end Niels, der har fået 32 point, og han kritiserede, at de netop ikke fremmer den skole, man har ønsket med reformen.
Du har jo stået frem offentligt og fortalt, at du ikke mener, de nationale test kan bruges til noget fornuftigt, at de ikke måler præcist nok, og de ikke måler det, vi har brug for at få målt. Mange lærere har gentaget nogenlunde det samme i årevis. Hvorfor skal man tage en undersøgelse alvorligt, hvor du har spurgt en masse lærere om brugbarheden af de nationale test?
"Det kan man jo vælge ikke at gøre, men vi lægger meget tydeligt frem, hvad vi har spurgt til og hvem, vi har spurgt - i modsætning til, hvad Rambøll gjorde ved den evaluering, de lavede for ministeriet i 2013. Selvfølgelig har vi interesser som alle andre, men det, der kendetegner forskning er, at man lægger data frem, så andre kan gå det efter. Så vi lægger alle data frem og beskriver klart, hvordan vi har udvalgt lærere og skoleledere osv. Så jeg mener, der i meget højere grad er tale om en troværdig undersøgelse", siger Jeppe Bundsgaard og sammenligner med den store officielle evaluering af de nationale test, som firmaet Rambøll stod for med unavngivne forskere og anonyme såkaldte "faglige eksperter", som Bundsgaard senere har fået oplyst var ministerielle fagkonsulenter.
Test-evaluering giver ingen svar på, om testene duer
"Undersøgelser skal være gennemført ordentligt - ellers bliver det uredeligt", siger Jeppe Bundsgaard. Han oplever det som et generelt problem, at Undervisningsministeriet hyrer konsulenthuse til at levere en undersøgelse frem for forskere. Resultatet er, mener han, at man får undersøgelser, der bekræfter, at ministeriets tiltag virker.
Bundsgaard har ikke kun undersøgt, hvordan lærerne forbereder sig på testene, men også hvor dyb forståelse, de har, for hvad man kan læse ud af elevernes testpoint. Lærerne blev blandt andet bedt om at tage stilling til sandhedsværdien af disse fem udsagn:
En elev der scorer 50 er altid cirka dobbelt så dygtig som en elev der scorer 25 (forkert) En elev der scorer 40 er med 95 procents sikkerhed bedre end en der scorer 35 (forkert) Man kan meningsfuldt sammenligne resultater fra to årgange for den samme elev (i matematik og dansk læsning) (forkert) Der er en vis usikkerhed på resultatet, så to resultater der er tæt på hinanden kan godt være udtryk for at eleverne har samme dygtighed (rigtigt)
En elev der scorer 10 point, kan svare på cirka 10 procent af opgaverne i testen (forkert) For ingen af udsagnenes vedkommende svarede mere end halvdelen af lærerne korrekt.
"Det er tankevækkende, så lidt lærerne ved om de tekniske virkemåder, selvom det er en forudsætning for at kunne tolke elevernes testresultater", siger Jeppe Bundsgaard og understreger, at det skyldes, at det ikke fremgår nogen steder, hvordan man skal læse resultaterne. Han oplever, at informationerne til lærerne fremstår, som om tallene er præcise, og at det ikke fremgår klart, at eleverne måles op mod historiske skalaer, og at man ikke kan sammenligne resultaterne fra klassetrin til klassetrin.
Kunne du selv de rigtige svar på de spørgsmål, før du for alvor begyndte at beskæftige dig med testene?
"Selvfølgelig ikke - det er jo ret kompliceret stof", medgiver Jeppe Bundsgaard, hvis forskningsområde er didaktisk anvendelse af it. Testenes statistiske virkemåde begyndte han først at interessere sig for, da han skulle bruge dem til at måle effekten af et tiltag, han var med til at afprøve i folkeskolen - og opdagede, at de slet, slet ikke målte præcist nok.
Skoleprofessor: Problemer med nationale test er større, end jeg troede
Risiko for forkerte tiltag over for eleverne
Er det nødvendigt for at have gavn af testresultaterne, at man forstår de nærmere detaljer ved percentilskalaen?
"Ja, hvis man som lærer skal tolke sine klassers testresultater, så er det nødvendigt. Det er vigtigt, at man ved, at man ikke kan bruge testscorerne til at sammenligne to elever med fx 10-15 points forskel. For det er jo et problem, hvis man begynder at lave indsatser i forhold til den forkerte elev eller fortæller en god elev, at han er dårlig til stor skade for elevens motivation".
Jeppe Bundsgaard har også - via spørgeskemaet til lærerne - forsøgt at afdække, hvordan eleverne reagerer på de nationale test - både de dygtigste, midtergruppen og de fagligt svageste. En af ideerne med de adaptive test, som tilpasser sig elevens faglige niveau undervejs i testforløbet, er at testoplevelsen i princippet bliver den samme, hvad enten man er dygtig eller ej, fordi alle møder opgaver, der svarer nogenlunde til deres niveau. Men lærernes besvarelser viser noget andet. Op mod halvdelen af lærerne mener, at de dygtigste og mellemgruppen af eleverne i nogen grad har en god og meningsfuld testoplevelse - kun 10 procent af lærerne mener, det gælder de fagligt svageste elever. De fagligt svageste elever er også klart overrepræsenterede, når lærerne bliver spurgt, om eleverne ligefrem bliver kede af det under selve testen - det har godt 30 procent af lærerne oplevet blandt de svageste elever.
De nationale test kommer ikke til at kunne bruges
DLF: Lad os gå sammen med forskerne om at finde afløseren for de nationale test
Onsdag skal de nationale test gennemgås på en offentlig eksperthøring i Folketingets Børne- og Undervisningsudvalg. Derfor har folkeskolen.dk spurgt Jeppe Bundsgaard, om han mener, testene kan tilpasses, så de kan blive det velfungerende pædagogiske redskab for lærerne, de i sin tid var tænkt som.
"Nej", lyder svaret. "Det faglige indhold, man kan teste rigidt nok i en onlinetest på 45 minutter kan aldrig blive det indhold, man er interesseret i at fremme i den danske folkeskole. Jeg har lige været til møde i den internationale gruppe om Icils-undersøgelsen (international undersøgelse af skoleelevers digitale kompetencer, red.), hvor vi måler én dimension på 1½ time og alligevel ikke vurderer, at testen kan bruges til at udtale sig om en enkelt elev. Det er den ærlige og redelige måde at gøre det på - og det ved de eksperter, der har været involveret i udviklingen af de nationale test lige så godt som mig", understreger Jeppe Bundsgaard.
Nationale test til fire timers eksamen
Er de nationale test egnede til deres formål på landsplan og politisk - til at måle om skolen leverer den vare, politikerne har betalt, og om reformen virker?
"Hvis folkeskolereformen gik ud på, at eleverne skulle være gode til tekniske mikrofærdigheder, så ja. Men reformen går jo ud på en mere interessant skoledag med virkelighedsnært indhold i samarbejde med det omgivende samfund, hvilket jeg synes er nogle superfede mål at sætte op. Så det er jo som at bruge et alkometer til at måle forskellen på Rundetårn og Rådhustårnet. I praksis vil vi nu se nogle stigende resultater i de nationale test, hvilket betyde, at folkeskolen ikke lever op til reformens pædagogiske mål om bl.a. en mere virkelighedsnær skoledag. Det er helt sikkert det, der er ved at ske - det kan man se vores undersøgelse som udtryk for. Og det er det værste, der kan ske".
Kan testene tilpasses til at kunne bruges til at måle på reformens mål?
"Nej, det mener jeg ikke, man kan inden for de her rammer. Men jeg er ikke afvisende over for, at man kan udvikle en eller anden form for test - for eksempel en stikprøve, som det OECD-review, der var startskuddet til de nationale test, faktisk foreslog. For mig at se bør vi lære af det store udland, fx USA og Ontario, hvor man har været igennem det her og er kommet frem til, at man skal lave test, der varer længere tid og bliver vurderet af mennesker - dog ikke af elevernes egne lærere. Det arbejder man for eksempel med i Smarter Balanced-projektet i USA.
Professor: Overdrevet kritik af nationale test