Internationalt førende eksperter er garanti for, at den forskningsmæssige kvalitet i Pisa er i orden, siger Niels Egelund igen og igen, når Pisa bliver kritiseret.

Men Mogens Niss der sidder i ekspertgruppen for matematik og er en af disse eksperter kan ikke påtage sig det ansvar. Af to grunde: Dels styrer ekspertgrupperne ikke Pisa-undersøgelsen, de kan derfor kun være garant for deres egen rådgivning, dels er Pisa ikke et forskningsprojekt som sådan.

»Der er ikke nogen i Pisa, der har styr på det hele. Det er ligesom med internettet: Der er heller ikke nogen altkontrollerende centralhjerne i Pisa«, siger Mogens Niss.

Mogens Niss mener, at det nu er på sin plads at udrede, hvad Pisa egentlig er. Den korte udgave er, at »Pisa er et sammensurium af forskning, udviklingsarbejde, test og politik«.

Den lange forklaring er, at OECD i 90erne sendte et signal til medlemslandene om, at det ville være en god idé, hvis de tjekkede, om de fik valuta for pengene i deres uddannelsessystem.

Medlemslandene sagde ja, og et sekretariat blev dannet i OECD, som udbød undersøgelsen på verdensmarkedet. Et konsortium af sektorforskningsinstitutioner fra Belgien, Holland, USA og Australien vandt opgaven på et design, som blandt andet indbefattede, at der skulle nedsættes grupper af internationalt førende eksperter i læsning, naturfag og matematik.

»Ekspertgrupperne skulle udtænke en rammebeskrivelse for, hvad det betyder at få valuta for pengene. I matematik nåede vi frem til, at det handler om at besidde funktionelle kompetencer for tilværelsen i samfundet«, siger Mogens Niss.

Han betegner ekspertgruppernes arbejde som et »analytisk udviklingsprojekt, ikke et forskningsprojekt«.

Mogens Niss er professor i matematik og matematikkens didaktik på Roskilde Universitetscenter og eneste dansker i det fornemme selskab af førende eksperter i Pisa. Norden er desuden repræsenteret ved en nordmand i ekspertgruppen for naturfag.

Tovtrækkeri i kulissen

Ud over ekspertgrupper blev der også nedsat et såkaldt »board of participation countries«, siden omdøbt til »Pisa Governing Board«, en slags bestyrelse bestående af en regeringsrepræsentant fra hvert land, typisk embedsmænd fra undervisningsministerierne.

Disse fire meget forskellige instanser ekspertgrupper, OECDs sekretariat, politisk bestyrelse og internationalt konsortium skabte sammen Pisa-undersøgelsen.

Ekspertgrupperne formulerede deres rammebeskrivelse, det internationale konsortium videreudviklede det, og OECD-sekretariatet skrev om på det på foranledning af bestyrelsen.

»Der var en hel del tovtrækkeri mellem de forskellige instanser, men til sidst fandt vi noget, som vi kunne leve med, og som de også kunne leve med«, siger Mogens Niss.

»Den proces er naturligvis i sin karakter overhovedet ikke processen for et forskningsprojekt, hverken som fri forskning eller som sektorforskning. Pisa er ikke nogen klar ting. Det er en blanding af udviklingsarbejde og forskning og sammenligning og politik«.

På flere tidspunkter undervejs overvejede matematikgruppen både sin rolle og sin stilling, men endte med at finde nettobalancen tilfredsstillende.

»Hvis ikke jeg selv havde fundet slut-resultatet fornuftigt, ville jeg naturligvis været gået«, siger Mogens Niss. »Jeg har ikke fortrudt, at jeg blev«.

Som fagperson kan han altså godt stå inde for opgaverne, selv om han har indvendinger mod nogle af formuleringerne. Han finder det også beklageligt, at ekspertgruppen ikke fik lejlighed til at se kompositionen af de enkelte opgavehæfter igennem, inden de blev givet til eleverne.

»Men i så stort et projekt er der mange kokke, deadline og megen stress og derfor også mange undladelsessynder«.

Eleverne havde for lidt tid

Desuden finder han og de øvrige eksperter det problematisk, at eleverne ikke har så meget tid til de enkelte spørgsmål, kun omkring to minutter per styk.

Endvidere havde eksperterne foretrukket en større andel med mere eller mindre åbne svarmuligheder, så man kan se, hvordan eleverne har tænkt, og som følge deraf en mindre andel af multiple choice-opgaver.

»OECDs sekretariat ønskede en stor del mutiple choice- opgaver, fordi det var billigere og nemmere, blandt andet ved ikke at kræve så mange bedømmere af den enkelte opgave. Plus at der er nogle lande, der bruger multiple choice-test meget, så dem skulle der også være nogle af i Pisa«.

»Så det blev et miks af forskellige opgaveformer multiple choice, åbne opgaver og forskellige mellemformer. Den balance var genstand for et par heftige diskussionsrunder mellem de forskellige Pisa-aktører«.

Nogle lande frygtede, at Pisa ville måle kompetencer, som var for fjerne fra deres egne normale undervisningsmål, derfor nedsatte bestyrelsen et såkaldt »matematikforum«. Det skulle modvirke, at Pisa-eksperterne, som stod for en mere progressiv matematik- og testforståelse, gik for vidt, og det skulle sikre en større national accept af Pisa blandt deltagerlandene.

Burde ekspertgrupperne have stået for styringen af Pisa?

»Hvis vi havde gjort det, var det pludselig blevet et forskningsprojekt, og det var jo ikke det, der var meningen fra OECDs side. Det skulle være et politikunderstøttende projekt, som forskere ikke skulle rende af sted med«.

»Når der så er nogle internationalt anerkendte forskere indblandet i det, har det mange gode og letforståelige grunde. Men det er naturligvis også for at kunne sige, at der sidder nogle internationalt førende forskere, som kikker på det her og sørger for, at der faktisk er mening med galskaben«.

»Og der er mening i galskaben, men det er bestemt ikke det samme, som at eksperterne bestemmer. Så ville mange ting have set anderledes ud«.

Så I har ikke haft magt nok til, at argumentet om, at førende forskere står bag Pisa, holder?

»Nej, overhovedet ikke. Der er jo ikke tale om, at forskere står bag Pisa. Vi har slet ikke haft den magt. Det er ikke forkert, at der er internationalt førende forskere med i Pisa, men vi har ikke haft den rolle at være forskere. Vi har haft den rolle at være en slags panel, en slags bedømmelses- og udviklingspanel«.

»Nogle af mine kolleger i Danmark siger: Hvorfor bliver du ved med at insistere på, at det ikke er et forskningsprojekt? Ja, fordi i et forskningsprojekt beslutter de indgående forskere alt, hvad der skal foregå, bortset fra de økonomiske rammer, og det er ikke situationen i Pisa. Der er ikke en eneste forsker i det projekt, der har været herre i eget hus. De har heller ikke været forskere i sagen. Det er et projekt uden forskningsmæssig centralkomité«, siger Mogens Niss.

hlauritsen@dlf.org

jvolsen@dlf.org