"I alle årene har der været tre områder - læsning, matematik og naturfag. Nu kommer et fjerde felt, collaborative problem solving. Vi ved endnu ikke, præcis hvordan det skal foregå, men det bliver formentlig noget med robotteknologi - en form for kunstig intelligens, som eleven skal interagere med", forklarer medlem af Pisas bestyrelse Júlíus K. Bjornsson.

Han er forsker og til daglig direktør for Institut for prøver og evaluering på Island. I 1990'erne, da Pisa-undersøgelserne blev sat i søen, kom to tredjedele af bestyrelsesmedlemmerne fra de pædagogiske forskningsmiljøer - i dag er han som forsker næsten alene i flokken, efterhånden som de fleste OECD-lande vælger at sende ansatte fra undervisningsministeriet til bestyrelsen.

Hvert tredje år, når en ny Pisa-undersøgelse offentliggøres, kæmper forskerne for at få journalisterne til at tage begrebet statistisk signifikans alvorligt - at man simpelthen ikke kan vide, om der er reelle forskelle mellem landene på en rangliste, når forskellen ikke er statistisk signifikant.

"Pisa differentierer dårligt mellem de bedste og mellem de dårligste. Den er bedst på midten", fremhæver Júlíus Bjornsson og håber på, at undersøgelsen bliver bedre til at differentiere, når testen fremover bliver adaptiv ligesom de danske nationale test.

Måler systemer, ikke personer

Júlíus Bjornsson ser mange fordele ved Pisa, men rejser gerne rundt og fortæller om alt det, man ikke kan bruge Pisa til.

"Pisa er en måling af uddannelsessystemer, ikke af personer. Blandt andet er det jo en syv timer lang prøve, som man ved forskellige metoder afvikler på to timer, og derfor er det vigtigt, at man ser helt anderledes på Pisa end på eksaminer", understreger han, da han fortæller om Pisa på et møde i Dansk Selskab for Surveyforskning i København.

"Pisa har en stærkere tilknytning til politikdannelsen end for eksempel Timss-undersøgelsen, og den bliver stadig stærkere. Den bruges til rangering mellem lande, og efterfølgende leder man efter ansvar og skyld. Pisa er ikke som Timss baseret på læreplaner, men er skabt "baglæns" ud fra de færdigheder, man antager, at unge får brug for i fremtiden. Det er meget vanskeligt, og det har fået til følge, at kompetencerne har fået en bred definition er blevet sværere at måle".

Som eksempel på, hvor svært det er at bedømme, hvilke færdigheder, der kan blive brug for, nævner han, at næsten ingen troede på fremtiden for den filmskole, der blev etableret på Island for 10 år siden. I dag tjener filmbranchen milliarder på Island, og flere af de film, der spiller i København lige nu, er indspillet på Island.

Júlíus Bjornsson påpeger en række problemer ved den måde, mange forskellige sider af det at læse en tekst er blevet slået sammen til kun tre Pisa-måleskalaer. Men han vurderer, at det hele vil blive ændret i det nye rammeværk, som tager eksplicit hensyn til, at prøverne fremover bliver 100 procent elektroniske. I 2014 skal de nye opgaver pilottestes, så man sikrer sammenlignelighed og ligeværdighed med de fem foregående Pisa-undersøgelser.

Det misbrug af Pisa-undersøgelserne, som i høj grad bekymrer den islandske forsker, er politikerne jagt på kausalitet i undersøgelsesresultater, som absolut intet siger om kausalitet. Som eksempel nævner han, hvordan en tidligere undervisningsminister glædede sig offentligt over den dengang helt utroligt store ensartethed i Pisa-niveau imellem de islandske skoler, og hendes partifælle kort efter udtrykte kæmpe frustration over, at Island mangler privatskoler, der kan rage fagligt op og skabe dynamik i systemet.

De nordiske lande nærmer sig hinanden

Ved sit besøg i København deler han en undren med de fremmødte surveyforskere og studerende.

"Finland er som bekendt i en klasse for sig selv. Men kigger man på de fire øvrige nordiske lande, er vi på vej mod at nå nøjagtigt den samme placering i Pisa både i læsning, matematik og naturfag. Er det et tegn på Pisas indflydelse? Jeg forstår det ikke helt! Er det udtryk for, Pisa betyder, vi lægger mere og mere vægt på de samme ting? Men jeg er ikke sikker".

"Vi har så meget data, at vi ofte har problemer med at tolke modstridende resultater i fx Timss og Pisa, og foreløbig findes der ingen virkelig god forklaring. Vi ved meget lidt om kausalitet - intet er enkelt, alt er multidimensionelt. Fx spiller socioøkonomisk status to-tre gange så stor rolle i Danmark som i Island. Det vigtigste er læreren, og det læreren gør, men det mangler vi data om", siger Júlíus Bjornsson.

"Vi ved for lidt om hvad der sker i klassen. Vi ved ganske vist lidt om lærernes holdninger, men intet tyder på, at de gør det, de siger! Fx når det gælder diskussionen om direkte trans-mission af viden fra lærer til elev versus konstruktivisme. Der ligger islandske lærere nærmest uden for skalaen i konstruktivistisk tilgang - men det er bare ikke udtryk for, hvad de gør i klassen".