Professor Svend Kreiner er den ud af de to førende danske eksperter i pædagogisk statistik, som har medvirket ved udarbejdelsen af de danske nationale test. Sidste år besluttede han sig for at finde ud af, om fundamentet holder under de Pisa-undersøgelser, som har været styrende for skolepolitikken i Danmark de seneste ti år. Han har længe undret sig over Pisas påstand om, at testene skulle være psykometrisk valide, så man kan sammenligne elevernes besvarelser på tværs af sprog, geografi og kultur.

"Pisa siger selv, at de har brugt Rasch-modellen", forklarer Svend Kreiner.

Rasch-modellen er udviklet af den danske statistiker Georg Rasch. Hvis opgaver har en bestemt sværhedsgrad, er det et krav i Rasch-modellen, at sværhedsgraden er den samme, uanset om opgaven gives til drenge eller piger, jyder eller bornholmere, danskere eller englændere. De letteste Pisa-opgaver for danske elever skal altså også være de letteste for engelske og mexicanske elever, og de sværeste skal være sværest for alle uanset kulturbaggrund. De tekniske rapporter, som udkommer sammen med Pisa-testene hævder, at testene overholder Rasch-kravene. Men sådan er det ikke, viser Svend Kreiners analyse af læseopgaverne fra Pisa 2006.

Han har valgt at kigge på Danmark og England, der ligger kulturelt og geografisk tæt på hinanden og sprogligt heller ikke ligger alt for langt fra hinanden. Det viste sig, at otte af de 27 læseopgaver levede op til Rasch-kravene i de to lande - men det viste sig også, at ni af opgaverne var meget lettere for danske elever end for britiske - så lette, at Danmark var blevet nr. 3 i Pisa, hvis det kun var de opgaver, der talte. Tilsvarende var der opgaver, der gav briterne et klart forspring.

"Til gengæld kan jeg se, at Danmark og Sverige ligger meget tæt - det er de samme opgaver, som er lette for danske elever og svenske elever", fortæller Svend Kreiner.

Han mener, at problemet er så alvorligt, at rangordning af landene mister enhver mening;

"Konsekvensen er, at vi på det foreliggende grundlag overhovedet ikke kan udtale os om, hvor Danmark ligger i forhold til de lande, vi gerne vil sammenligne os med. Danmark kan være nr. 5, 10, 15, 25 eller værre - vi ved det ikke. Blandingen af opgaver kommer til at påvirke resultatet - det er der glasklar evidens for", siger Svend Kreiner.

Pisa har ambitioner om at teste 15-åriges læsekompetencer i forhold til, om de kan klare sig i voksenlivet - altså om de fx kan uddrage information af en tekst, fortolke og læse mellem linjerne. Og personligt tror Svend Kreiner slet ikke på, at projektet kan lade sig gøre - at man kan lave nuancerede læsetest, som er 100 procent kulturelt neutrale.

Man kan heller ikke stole på matematik-Pisa

Han har ikke set selve opgaverne, da de er fortrolige. Men han er overbevist om, at det er en blanding af noget kulturelt, noget sprogligt og noget i landenes skoleundervisning, der gør, at nogle opgaver er lige til at gå til for en dansk elev, men vanskelig for en engelsk.

Svend Kreiner har kun kigget på læseopgaver. Men han peger på, at den britiske professor S. J. Prais allerede i 2003 konstaterede, at man på samme måde kunne bytte rundt på opgavebunkerne i IEA's og Pisas matematiktest og dermed flytte landenes placeringer, og han mener simpelthen ikke, at man kan tage Pisa-resultaterne i naturfag og matematik alvorligt, så længe Pisa ikke har dokumenteret, at der ikke er tilsvarende landeforskelle her.