Hvis danske elever havde fået mulighed for at besvare Pisa-testen i naturfag i samtale med andre elever eller via praktiske eksperimenter, ville de have scoret op til 125 Pisa-point mere.

Til sammenligning er forskellen mellem Danmarks præstation i den seneste Pisa-test og topscoreren Finland på 67 point. Danmark lå i midtergruppen i Pisa. En del af de danske elever ville altså kunne konkurrere med de finske elever. Et ændret testformat ville især være kommet de svageste elever til gode.

Det viser resultater fra projektet »Validering af Pisa«, »Vap«, hvor forskere har givet tre Pisa-opgaver et nyt opgavedesign og prøvet dem af på 120 elever.

Vap er finansieret af Undervisningsministeriet og begyndte i 2005. Det er leder af Institut for Naturfagenes Didaktik ved Københavns Universitet, cand.scient., ph.d. Jens Dolin, og cand.scient., ph.d. i naturfagsdidaktik ved Center for Scienceuddannelse ved Aarhus Universitet, Lars Brian Krogh, der står for projektet.

Et mål med den internationale Pisa-test er at undersøge, om de 15-årige er godt forberedt som borgere efter deres skolegang. Men er det en relevant kompetence at kunne sidde alene et par timer i en gymnastiksal med papir og blyant? spurgte Vap-forskerne. I Danmark går vi jo normalt ind for dialog og samarbejde i undervisningen.

Derfor tog de tre af Pisas naturfaglige opgaver og lavede opgavernes design om. De gav dem til 120 elever, der tidligere havde deltaget i Pisa-testen, og de har så sammenlignet de nye resultater med elevernes Pisa-resultater i de samme opgaver. Forskerne har scoret eleverne, så de kan sammenlignes med Pisa-scoren.

»En opgaves design betyder vildt meget. Det har tidligere forskning vist. Hvis en tekst på 17 ord ændres til en tekst med 21 ord, er der færre elever, der løser opgaven. Alt forrykker sig, når man ændrer på designet«, fortæller Jens Dolin.

»Jeg er blevet overrasket over, hvor svært det er at udforme sådan en stor international test som Pisa. Hver test vrider skævt på sin måde, og bestemte opgaver tilgodeser bestemte elever«.

Dolin kender Pisa-systemet godt, har været med i Undervisningsministeriets Pisa-styregruppe og med til møder om testen i hele verden. Han har intet imod test, men han har længe undret sig over, om Pisa måler det, man ønsker at vide om danske elevers naturfaglige kunnen.

»Pisa tester ikke det, man ønsker at teste. Man ønsker at sammenligne lande, men det er Pisa-testen alt for kompliceret til. Det kræver en meget enkel test. Pisa er lavet som input til de mennesker, der står for uddannelsespolitikken. De ønsker at tjekke, om man får noget for pengene i uddannelsessystemet. Man kan spørge, om det er rimeligt, at Pisa betyder så meget«, mener Jens Dolin og Lars Brian Krogh, der under interviewet er med via Skype fra Aarhus Universitet.

De to forskere ønsker med Vap-testen at undersøge og komme nærmere en forståelse af, hvad elever egentlig kan, sat i forhold til hvad Pisa viser.

»Det handler om at blive klog på, hvor skrøbelige testresultater er. Hvordan meget lidt kan forrykke rigtig meget«, siger Lars Brian Krogh.

»Læseforståelse og socioøkonomiske forhold betyder enormt meget, når man tester elever. I alle test er der et direkte forhold mellem antallet af forældrenes bøger i reolen, og hvordan børnene klarer en test«, siger Jens Dolin.

Han forklarer, at naturfag - science - nok er det sværeste af Pisa-testenes områder, når det gælder at konstruere opgaver. Han mener, at matematik og læsning vil være lettere at udvikle gode opgaver til.

De to forskere understreger, at Vap ikke er den ultimative måde at teste på. De har bare valgt tre gode opgaver fra Pisa-testen - opgaver, som passer ind i folkeskolens Fælles Mål for fysik/kemi, biologi og geografi.

De synes, at mange af opgaverne i Pisa er okay. Men de har også en kritik af nogle af Pisa-opgaverne.

»Det er interessant læsning«, siger Jens Dolin. »Vi forstod ikke altid opgaverne. Vi sad tre højt uddannede forskere og forstod dem ikke. Der burde forskes i de opgaver«.

Han fortæller, at oversættelse af opgaverne også har stor indflydelse på resultaterne.

»Det er meget svært at oversætte opgaver. De tyske matematikopgaver bliver for eksempel 15 procent længere end de engelske alene på grund af sproget. Det betyder, at de tyske elever simpelt hen ikke kan nå lige så mange opgaver som de engelske elever«, siger Jens Dolin.

Fysik/kemi-opgaven var et forsøg med solcreme. Forsøget er beskrevet i tekst og tegninger i Pisa-opgaven, men i Vap-projektet skulle eleverne udføre forsøget i praksis.

»Eleverne udførte forsøget to og to, fordi samarbejde er vigtigt i den danske folkeskole. Desuden er naturfagsundervisning meget bundet op på eksperimenter her i landet«, siger Jens Dolin.

»Man kan mene, at det hele er blevet lidt lettere, fordi man kan tale med én undervejs, men egentlig stiller det større krav til elevernes faglighed«, mener Lars Brian Krogh.

De to forskere forklarer, at eleverne jo i flere af Pisa-testens opgaver har 25 procent chance for at gætte rigtigt på spørgsmålene, fordi de pågældende spørgsmål er udformet som multiple-choice-opgaver med fire svarmuligheder.

»I en samtale lever eleverne bedre op til Pisas kriterier. Så det går bedre i Vap-testen, når man måler dem på Pisas skalering«, siger Lars Brian Krogh.

Han forklarer, at hvis man i stedet måler eleverne ud fra de krav, der stilles til dem i den danske folkeskoles Fælles Mål, så klarer de sig langt dårligere.

Pisa tester på et helt andet og lavere niveau, mener forskerne, mens Fælles Mål er nogle meget ambitiøse mål.

»Eleverne bliver omkring 25 procent bedre i Vap-testen. Især er de meget bedre i den praktiske øvelse. Jeg tror, der vil være en stor skævhed landene imellem, fordi man har forskellige traditioner. For eksempel har vi i Danmark en stor mundtlig tradition«, siger Jens Dolin.

Forskerne havde delt eleverne ind i tre grupper. Dem, der havde klaret Pisa-opgaverne dårligt, middel og godt. De elever, der fik mest glæde af Vap-testens design, var dem i den dårlige gruppe. De forbedrede sig gennemsnitligt med 36 procent. I gruppen af stærke elever oplevede forskerne kun en forbedring på tre procent.

Vap-projektet undersøgte noget andet væsentligt. Nemlig om de danske elever var dygtige til naturfaglige spørgsmål, men ikke fik vist det godt nok i Pisa-testen. Men sådan forholder det sig ikke. Elever, der har klaret Pisa-opgaverne tilfredsstillende, har store faglige mangler, når det gælder viden om naturfaglige emner og begreber.

Ud af 120 elever er der for eksempel kun fire, der kender ordet »hydroterm«.

Geografi er i øvrigt det fag, hvor de danske elever klarer sig dårligst. I opgaven om klimaforskelle var der kun syv elever, der kom med en korrekt forklaring på, hvorfor det regner. Det viste sig, at disse elever alle havde haft en lærer med linjefag i geografi.

»Pisa-testen viser noget. Nemlig at vi har en stor bund af elever og ikke mange, der ligger højt i naturfaglig viden. Men Pisa siger intet om, hvad der sker i klasserummet. Ud fra testresultaterne kan man ikke sige noget om undervisningen«, siger de to forskere. |

I Norge har en gruppe klasserumsforskere fulgt op på Pisa-testen med videoobservationer i klassen. Læs Forskning & udvikling.

Forskerne har udvalgt tre Pisa-opgaver, som ligger centralt i Fælles Mål. De har interviewet 120 elever om deres viden inden for de tre naturfaglige områder. Eleverne har tidligere været gennem Pisa-testen.

Forskerne har udarbejdet en omfattende interviewguide og uddannet seks lærerstuderende med naturfaglige linjefag til at interviewe de 120 elever. De indkøbte materialer til eksperimenter og til brug under samtalerne.

De studerende foretog individuelle interview med eleverne om to af Pisa-opgaverne, som handlede om klimaforskelle og resistens. Interviewene blev optaget på video.

Endelig var der en opgave om solcreme, hvor eleverne to og to udførte et praktisk eksperiment og var i dialog med hinanden og eventuelt med den studerende. Dette blev også filmet.

Videooptagelserne blev scoret, så de kunne sammenlignes med elevernes Pisa-scorer, og elevernes øvrige viden på området - ud over Pisa-kravene - blev også scoret.

De tre opgaver har i alt tolv spørgsmål. Når man sammenligner resultaterne, scorer eleverne meget højere i Vap-testen i syv af spørgsmålene. I to spørgsmål scorer de bedre i Pisa-testen.