Der er store problemer med den danske Pisa-rapport. Den efterlader så mange ubesvarede spørgsmål, at resultaternes troværdighed er yderst begrænset. Arbejdet fremtræder simpelthen videnskabeligt utilstrækkeligt.

Den danske Pisa-rapport er for eksempel påfaldende tavs om undersøgelsens validitet. Men i Folkeskolen nummer 12 refererer Niels Egelund til psykometrikerne i et hollandsk evalueringsinstitut, og dermed medgiver han, at spørgsmålet om læseprøverne blandt andet er et psykometrisk problem. Det er et rimeligt valg at bruge de såkaldte Rasch-modeller, fordi de er udtryk for optimale måleegenskaber. Men kan vi være sikre på, at der ikke er tale om såkaldt »differentiel item-funktion«? Eller med andre ord: Fungerer opgaverne i læseprøven på en og fuldstændig samme måde i de forskellige lande uanset kulturelle og sproglige forskelle? Hvis det ikke er tilfældet, vil konsekvensen ifølge psykometrikerne være, at landenes målinger ikke automatisk kan sammenlignes, fordi forskellene vil være påvirket af andet end ren læsefærdighed. Den tekniske rapport gør en del ud af det i forbindelse med problemløsningsopgaverne, men ikke så vidt jeg har kunnet læse mig frem til i forbindelse med læseprøverne, hvor problemet må være langt mere påtrængende. Det betyder ikke nødvendigvis, at Pisas læseprøver har sådanne problemer. Men lad os se dokumentation for, at den differentielle item-funktion har været afprøvet. Og lad os høre, hvad der er sket for at korrigere for eventuelle problemer af den art.

Jeg er ikke i tvivl om, at der er gjort et stort arbejde med udvikling af opgaverne, som professor Mogens Niss er inde på i Folkeskolen nummer 13-14. Jeg vil også være parat til at tro på, at det fungerer, lige så snart jeg ser, at det er blevet afprøvet. Men hvis det ikke kan dokumenteres, må det skyldes, enten at det ikke er blevet afprøvet, eller at Pisa-folkene ikke vil vedkende, at problemerne er der, hvilket er endnu værre.

Da Pisa-rapporterne kom, gik skrækmeldingerne først og fremmest på, at danske elever ligger midt i eller lidt under midten af feltet. Men som jeg læser den tekniske rapport, befinder Danmark sig i en stor gruppe lande, hvor der ikke er statistisk belæg for at på­stå, at der skulle være væsentlige forskelle på læsefærdighederne. Danmark befandt sig i 2000 på en delt 10.-17.-plads ud af 31 lande og i 2003 på en delt 12.-24.-plads ud af 40 lande sammen med en række andre ganske respektable lande. Og forskellen op til den næste gruppe er så beskeden, at man udmærket kan forestille sig, at det skyldes differentiel item-funktion og ikke reelle forskelle i læsefærdigheden. Det kunne være rart at høre, om det er korrekt forstået. Hvis ikke, er problemet for mig at se ganske beskedent og slet ikke noget, som i sig selv kræver nogen som helst politisk opmærksomhed.

Det er kommet frem, at udtrykket »funktionelle analfabeter« er et pop-udtryk, som ikke henviser til personer, der fungerer som analfabeter, selvom de teknisk set godt kan læse, hvis de bliver tvunget til det. Udtrykket dukkede op i 70erne og 80erne, hvor vi blandt skolebegynderne kunne dokumentere, at andelen af meget dårlige og meget gode læsere havde været svagt stigende. Blandt de helt svage læsere fandt vi så de funktionelle analfabeter. Men der var tale om nogle ganske få procent. Altså et lille, men selvfølgelig vigtigt problem.

Men hvis det ikke er disse funktionelle analfabeter1, Pisa finder, hvad er det så? For mig at se viser Pisa-undersøgelsen ikke andet, end at de 17 procent dårligste læsere er de 17 procent dårligste læsere! Hvilket naturligvis er korrekt, men måske ikke så overraskende for ret mange. Man leder desværre forgæves efter ny viden om disse dårlige læsere i Pisa-rapporten.

1. I publikationen »A Profile of Student Performance in Reading and Science«, en af publikationerne fra 2003-undersøgelsen, omtales en særlig gruppe af svage læsere på side 298 på følgende måde: »These students may still be able to read in a technical sense, but they show serious difficulties in applying reading literacy as a tool to advance and extend their knowledge and skills in other areas«. Denne definition kan sammenlignes med definitionen af funktionelle analfabeter, men der er trods alt ikke tale om personer, der fungerer som egentlige analfabeter. I Danmark fandt undersøgelsen 4,6 procent ikke 17 procent læsere i denne gruppe. Andelen af funktionelle analfabeter er selvsagt mindre. Hvor meget mindre fortæller undersøgelsen ikke.