"Vi ved ikke, om danske unge læser bedre eller dårligere end unge i Estland, Schweiz, Polen, USA, Liechtenstein, Sverige, Tyskland, Irland, Frankrig, Taipei, Storbritannien, Ungarn og Portugal. Og vi ved, at de læser dårligere end dem i Finland og Korea, men bedre end dem i Aserbajdsjan og Kirgisistan".

Kan du huske, at du læste den overskrift, da Pisa-undersøgelsen blev offentliggjort for tre år siden? Nej, vel - det er ikke et budskab, der egner sig til overskrifter.  Men det er hvad man med statistisk sikkerhed kan uddrage af Pisa-resultaterne.  Ikke engang OECD selv står på mål for de berygtede ranglisteplaceringer, men indrømmer, at de faktisk kun kan placere Danmark i en gruppe sammen 13 andre lande.  Folkeskolen har spurgt lederen af OECD's børne- og skoledivision Michael Davidson, hvordan man kan kalde noget så upræcist for en robust måling af landenes præstationer:

"At vi offentliggør ranglisten i form af grupper af lande giver ingen grund  til tvivl om målingens robusthed.  Tværtimod - at ignorere den uundgåelige usikkerhed i data (eftersom de er stikprøvebaserede) og sammenligne individuelle ranglisteplaceringer ville være at drage konklusioner, som ikke er robuste", siger han og understreger, at mange af landene ligger meget, meget tæt, og at forskellene mellem de unges besvarelser inden for det enkelte land er meget større end forskellen mellem landene. Derfor kan Pisa-forskerne ikke sige, at det ene lands præstationer er højere end det andets.

Verdensmesterskab for politikere Alligevel meldte Undervisningsministeriet dengang vanen tro ud, at Danmark var henholdsvis nr. 18 i læsning, nr. 19 i naturfag og nr. 12 i matematik.

"Vi er ikke i stand til at forklare nedgangen i elevernes matematikpræstationer", sagde den danske Pisa-chef Niels Egelund, fordi Danmark var faldet fra en 10.-plads til en 12.-plads. Og det tror da pokker, eftersom det af rapporten fremgik, at placeringen på grund af den statistiske usikkerhed lige så godt kunne være en 9.- eller en 13.-plads.

Hver eneste Pisa-undersøgelse koster omkring 12 millioner danske skattekroner.  Og det er da også muligt at trække brugbar viden ud af undersøgelsen. Såvel Pisa-kritikeren, professor emeritus Svend Kreiner, som Pisa-konsortiets egne læseeksperter Elisabeth Arnbak og Jan Mejding, har gravet særdeles lærerig viden ud af de danske elevers besvarelser i sammenligning med besvarelser fra andre lande. Det viser sig for eksempel, at danske elever er dårligere til at reflektere over og fortolke tekster end til at finde konkret information i teksterne. Og modsat Kreiner har de to Pisa-forskere mulighed for at gå ind i selve de hemmelige Pisa-opgaver og forsøge at uddrage yderligere lære om, hvad det konkret er, der har drillet de danske elever særligt. Det kunne så give anledning til en diskussion i Danmark af, om der er nogle danskfaglige områder, der skal opprioriteres i undervisningen.

Men erfaringen viser, at det ikke er det, Pisa-undersøgelserne bliver brugt til. De bliver brugt til en slags verdensmesterskab for politikere, som vi så det i sin allerreneste form i Lars Løkkes berømte drømmetale fra 2009, hvor han satte sig mål om en top 5-placering i Pisa inden 2020.

Får en læsescore uden at have svaret på læseopgaver

Pisa præsenteres som en måling af læse-, matematik- og naturfagskompetencer for en halv million 15-årige fra 60 lande og omkring 10.000 alene i Danmark. Men Svend Kreiner har nu henledt opmærksomheden på, at hver elev kun har fået opgaver inden for to af fagene. Pisa-folkene har så sat computerne til at generere en kunstig læsescore til de elever, som kun har besvaret opgaver inden for matematik og naturfag - beregnet ud fra deres besvarelser i de fag, hvor de har svaret, og ud fra andre elevers besvarelser inden for læsning. Reelt er der Pisa-opgaver til syv timers test, men hver elev sidder kun i to timer og svarer på et udvalg af opgaverne.

Statistikere uden for Pisa-konsortiet, senest Svend Kreiner, har kritiseret Pisa for ikke at leve op til forskningsmæssige standarder, og Pisa har svaret igen og afvist kritikken. Men fra Pisa-rapport til Pisa-rapport er både de internationale og de danske forskere blevet mere og mere tydelige i deres forbehold, når de præsenterer de forkætrede ranglister. Så når Pisa 2012 bliver fortolket i denne så læg mærke til, at det forskerne tør lægge navn til, er hvilken gruppe af lande, Danmark ligger i - ikke hvilken plads, vi har på en rangliste.