Kære Julius.

Tak for sidst. Jeg var jo rigtig glad for at du tog mod invitationen til at komme til København i november sidste år for at deltage i diskussionen af mit Pisa-foredrag. Som jeg husker det, havde vi en fornuftig diskussion ligesom vi havde det i november 2010, hvor du overværede generalprøven på mit første foredrag i Undervisningsministeriet.

Jeg skriver dette åbne brev, fordi jeg kan forstå på dit åbne brev til mig, som er kommet mig i hænde via en af Undervisningsministeriets hjemmesider, at vi alligevel ikke er færdige med diskussionen. At der er spørgsmål, som du ikke fik stillet sidste år, eller ting, som du måske har fortrudt, at du ikke fik sagt. Jeg vil naturligvis gerne hjælpe med at kaste lys over, der mangler. Jeg har derfor bedt Folkeskolen.dk om at lægge en version af dit indlæg i diskussionen ud på deres hjemmeside (se nedenfor), hvor jeg har tilladt at afbryde og kommentere, det du siger, hver gang jeg synes, der er brug for det. Det, som du har skrevet, står med almindelig skrift, mens mine replikker er skrevet med fed skrift, så der ikke er diskussion om hvem, der siger hvad. Jeg har også tilladt mig at citere både de tekniske rapporter og udtalelser fra Andreas Schleicher, selvom du naturligvis må kende mere til dem, end jeg gør. Disse citater er skrevet med rødt.

Mine kommentarer i dit notat er relativt uredigerede, så der kan forekomme trykfejl. Det undskylder jeg for, men der er trods alt grænser for hvor megen tid, det har mening at lægge i et sådant arbejde. Hvis du finder fejl, der er forstyrrende, må du endelig sige til, så jeg kan rette dem.

Når jeg læser dit notat får jeg en fornemmelse af, at du ikke rigtig har læst vores artikel. Du skriver, at der ikke er meget nyt i forhold til den tekniske rapport fra 2011. Det er ganske enkelt forkert. Hele anden del af artiklen er ny, og der er analyser i første del, som også er nye.

Lad os tage dine bekymringer en for en.

Du synes vores analyse er baseret på et spinkelt grundlag, fordi vi kun ser på data fra godt 30.000 elevers besvarelser af 20 opgaver, men i den nye version af artiklen analyserer vi også data fra alle de elever (mere end 200.000), der har svaret på læseopgaver. Disse analyser overser du. I øvrigt svarer vores analyser af resultaterne til Pisas egne analyser af data fra 15.000 tilfældigt udvalgte elever, som i gennemsnit kun har svaret på godt otte læsespørgsmål. Hvis vores datagrundlag er for tyndt, hvad synes du så om Pisas tilsvarende analyser?

Vores analyser viser, at Pisas skalamodel ikke passer til data, og at der er store forskelle på opgavernes sværhedsgrader i forskellige lande. Det betyder ikke nødvendigvis, at PISAs rangordninger er forkerte, men kun at der er risiko for, at det kan være tilfældet. Vi bruger derfor den sidste og helt nye del af artiklen til at undersøge det.

Vi undersøger først hvorledes rangordningen af landene afhænger af, hvilke opgaver der bruges. Hvis Pisas Rasch-model holder, skal der ikke være større forskel på rangordningen end den, der kan forklares som ren tilfældighed på grund af antallet af opgaver og antallet af elever. Du skriver at vi ikke gør opmærksomhed på denne usikkerhed, men artiklens Appendiks C beskriver præcis hvordan usikkerheden skal beregnes, og vi drager ingen konklusioner uden at tage højde for usikkerheden. Rangordningen af lande baseret på forskellige opgaver er langt udover det, der kan bortforklares som tilfældigheder. Vores beregninger fortæller i øvrigt noget interessant om forskellen på læseopgaver om information, forståelse og refleksion. Det nævner du ikke med et ord.

Dernæst rangordner vi landene ud fra en anden statistisk model end Pisas Rasch model, hvor der bl.a. tages højde for at opgaverne har forskellige sværhedsgrader i forskellige lande. Denne model er heller ikke fejlfri, men den passer klart bedre til data end Pisas model (og modbeviser derfor påstanden om at Pisas metode er den bedst mulige) og den rangordner landene på en anden måde end Pisas model. Denne analyse ignorerer du fuldstændig.

Du beklager du dig også over, at vi har set på læsning i 2006 og ikke på et andet fag eller nogle andre år. Jeg valgte i sin tid læsning, fordi jeg er specielt interesseret i læsning, og jeg valgte 2006, fordi det var 2006 data, der var tilgængelige, da jeg fortog de første analyser. Det må vist være svar nok. Eftersom jeg ikke modtager nogen penge for dette arbejde, kan andre naturligvis ikke kræve at jeg i stedet gør noget andet. Og uanset hvad jeg også kunne have gjort, så fjerner det jo ikke fejlene ved læseprøven. Jeg synes naturligvis også, at det kunne være interessant at se på noget af det andet, men er det egentlig ikke mere rimeligt at Pisa, som har taget imod mange penge for at foretage arbejdet, også selv gør det. I øvrigt påstår de tekniske rapporter at Pisa allerede har foretaget analyserne. Hvad med at I selv lægger resultaterne frem, når de efter sigende allerede eksisterer? Det kunne I have gjort allerede i 2010, da vi talte om det første gang. Hvis jeres resultater tåler dagens lys ville der være lagt låg på diskussionen med det samme.

Undervejs i din argumentation falder du tilbage til det gamle Pisa-trick med at sige, at man kan læse ting i de tekniske manualer, som ikke findes. Du skriver f.eks. at ”den tekniske manual viser, at det ikke er tilfældet” at opgaverne fungere forskelligt i forskellige lande. Det er jo usandt, Julius. Du ved det. Og Andreas Schleicher ved det. Han har endda sagt i et brev til Times Educational Supplement, at det er nonsens at antage, at opgaverne fungerer ens i alle lande. Der er flere af den slags klassiske Pisa-usandheder i dit notat, og jeg er lidt forundret over, at du falder tilbage på den form for argumentation. Det har du ikke gjort før, og det er ærlig talt lidt for pinligt nu. Hvis jeg var dig, ville jeg gå dit notat igennem igen, og sende en forbedret version uden usande udsagn til Undervisnings¬ministeriet.

Jeg har mange flere kommentarer, men dem må du og andre læse i den kommenterede version af din vurdering. Du spørger om det er muligt, at det kun er Kreiner og Christensen, der har opdaget fejlene i Pisa, når der er mange hundrede mennesker (inklusiv tekniske eksperter) der arbejder med Pisa. Det spørgsmål vil jeg gerne svare på. Svaret er nej. Det er utænkeligt. Jeg synes, at du og andre skal fundere over, hvad det svar i virkeligheden betyder.

Og så til sidst. Hvis jeg har ret i, at du enten ikke har haft adgang til den version af artiklen, som Psychometrika har optaget, eller hvis du ikke har haft tid til at læse den, så synes jeg, at du skal fortælle Undervisningsministeriet, at det forholder sig sådan og tilbyde at lave en revideret udgave af dit notat, der handler om artiklen. I den synes jeg du skal forholde dig til tre ting: om der er egentlige fejl i vores analyser, om man kunne undersøge robustheden af Pisas rangordninger i forhold til fejlene på en bedre måder end de to, som vi har brugt, og om du – hvis du ikke har noget bedre at byde på med hensyn til robustheden – er uenig med os i de konklusioner vi drager ud fra vores analyser. Og naturligvis med konkrete argumenter for hvorfor du læser resultaterne anderledes end vi gør. Alt andet – inklusiv dine betragtninger om, at vi skulle have gjort noget, som jeres tekniske rapporter siger, at I allerede har lavet – er vores artikel uvedkommende. Jeg er sikker på at du i virkeligheden er enig med mig på det punkt.

Venlig hilsenSvend