PROFESSOR: UFORSTÅELIGT AFSLAG
Det undrer professor Jeppe Bundsgaard fra DPU, at ChristianChristrup Kjeldsen har haft så svært ved at få adgang til de sammedata fra de nationale test, som han selv købte sig adgang til forsmå to år siden.
"Jeg sendte en ansøgning, ganske som Christian har gjort. Så fikjeg data leveret plus en regning på cirka 10.000 kroner for etenkelt datasæt i læsning i 2. og 8. klasse" fortæller JeppeBundsgaard fra DPU.
Helt præcist betalte han i begyndelsen af 2018 ti konsulenttimerá 1.125 kroner eksklusiv moms for dataene, viser den aktindsigt,folkeskolen.dk har fået i korrespondancen mellem Styrelsen for Itog Læring og forskere, som har bedt om adgang til de bagvedliggendedata i de nationale test.
Jeppe Bundsgaard brugte dataene til sammen med professor SvendKreiner at analysere sig frem til, at testene i læsning målerforkert.
"Styrelsen må have haft en frygt for, at Christian ville gørenoget med dataene, som man ikke synes er rart. Men jeg kan ikkeforstå det. Med de resultater Svend og jeg har frembragt, er detret klart, at forskere er nødt til at have adgang til data påitem-niveau. Afslaget til Christian kan enten skyldes manglendeviden om, hvad der tidligere har kunnet lade sig gøre, eller etønske om at undgå, at flere problemer med testene kommer frem ilyset. Men jeg undrer mig over det, ikke mindst når Svends og mineresultater har givet genlyd", siger han.
Det nytter ikke at tage udgangspunkt i de resultater fra denationale test, man kan få fra Undervisningsministeriet, da debygger på forkerte items sværhedsgrader, tilføjer professoren.
"Vi kan sammenligne med en gammeldags vægt med lodder, hvor vitror, at lodderne vejer det, der er angivet på dem. Men ivirkeligheden vejer de forkert. Det er på samme måde med denationale test, men fordi vi har haft adgang til data påitem-niveau, har vi kunnet analysere os frem til, at testene ilæsning måler forkert", siger Jeppe Bundsgaard.
Ligesom Christian Christrup Kjeldsen gør Jeppe Bundsgaardopmærksom på, at når der træffes politiske beslutninger på baggrundaf ministeriets fejlagtige data, sker det selvagt på et forkertgrundlag.
"Derfor fæstner jeg heller ikke lid til evalueringen afskolereformen. Det kan stå meget værre til, end evalueringen viser.Det kan også stå meget bedre til. Vi ved det ikke, fordievalueringen bygger på fejlagtige data fra de nationale test.Derfor tenderer den til at være blevet til ved terningekast. Det erderfor, Christian har brug for at få adgang til data påitem-niveau, så vi kan blive klogere på de nationale test", sigerJeppe Bundsgaard.
Ud over at analysere de nationale test fra nye vinkler vilChristian Christrup Kjeldsen også afprøve Svend Kreiner og JeppeBundsgaards resultater i læsetesten.
"Christian er både interesseret i at afprøve Svends og mineresultater og i at stille andre spørgsmål end os. Det er godpraksis at gå andre forskeres resultater efter, for Svend og jegkan have lavet fejl. Derfor er det også i ministeriets interesse,at der er flere, som forsker i de nationale test" siger han.
Bemærk
Denne artikel er flyttet fra en tidligere version af folkeskolen.dk, og det kan medføre nogle mangler i bl.a. layout, billeder og billedbeskæring, ligesom det desværre ikke har været teknisk muligt at overføre eventuelle kommentarer under artiklen.
Det vakte opsigt, da forskerne Jeppe Bundsgaard og Svend Kreiner fandt ud af, at de nationale test i læsning måler forkert. Christian Christrup Kjeldsen vil gerne afprøve resultatet og også undersøge testene i matematik. Men Styrelsen for It og Læring har afvist at give ham adgang til de bagvedliggende data.
Christian Christrup Kjeldsen er ellers ikke hr. hvem som helst. Som viceinstitutleder for forskning på DPU, Aarhus Universitet og leder af Nationalt Center for Skoleforskning forsker han i folkeskolen. I første omgang fik han da også stillet i udsigt af en konsulent i Styrelsen for It og Læring, at han kunne få adgang til de data, som er nødvendige for at kunne analysere, om de nationale test måler korrekt. Men han skulle betale for arbejdet med at finde dem frem.
"Jeg har fuld forståelse for, at styrelsen ikke kan hoppe og springe for enhver forsker, som henvender sig, så jeg fandt pengene til 30 timers konsulenttakst i mit budget", fortæller Christian Christrup Kjeldsen.
Han understreger, at han ikke ønsker adgang til opgaverne i de nationale test, som er hemmelige. Han har alene brug for baggrundsdata fra nedbruddet i de nationale test i 2010 og til såkaldte mikrodata på item-niveau.
"Jeg behøver ikke kende opgaverne. Min interesse går alene på, om eleverne har svaret rigtigt eller forkert på den enkelte opgave, så jeg kan analysere det og lave psykometri", fortæller Christian Christrup Kjeldsen og tilføjer, at målet er at gøre testene mere anvendelige for lærere, elever og forældre.
Kronik: Hvornår er godt godt nok, og bør de nationale test stoppes nu?
Styrelsen underkendte sin egen medarbejder
Men da Christian Christrup Kjeldsen meddlete, at han var klar til at betale styrelsen for arbejdet med at fremskaffe data, fik han en kontramelding:
"Jeg beklager, at vi har givet indtryk af, at data vedrørende it-nedbruddet i 2010 kunne udleveres til dette projekt, når det ikke er tilfældet. Vi har ikke tidligere udleveret disse data til fri forskning", skrev en chefkonsulent fra Styrelsen for It og Læring. Hun underkendte dermed den konsulent, som Christian Christrup Kjeldsen først var i kontakt med.
Chefkonsulentens svar fremgår af den aktindsigt, folkeskolen.dk har fået i korrespondancen mellem styrelsen og en række forskere, som har bedt om adgang til data fra de nationale test, herunder Christian Christrup Kjeldsen.
Norske nationale test lykkedes først efter en to-årig time-out
I forhold til data på item-niveau (om eleverne har svaret rigtigt eller forkert på hver enkelt opgave, red.) forklarer chefkonsulenten, at Undervisningsministeriet ikke tidligere har udleveret disse data. Hverken til ministeriets egne projekter eller til fri forskning.
"Jeg kan godt forstå, at det ville være interessant med denne grad af detaljering, men det er som nævnt ikke en del af vores databeredskab. Vi udleverer data fra de nationale test til rigtig mange forskningsprojekter, og jeg har ikke tidligere mødt ønsket om at få oplysninger på item-niveau", skriver hun.
Andre forskere har fået adgang til dataene
Ikke desto mindre har andre forskere haft adgang til nøjagtig de data, Christian Christrup Kjeldsen efterspørger.
Professorerne Simon Calmar Andersen og Helena Skyt Nielsen har brugt data fra nedbruddet i de nationale test i 2010 til at forske i, hvordan det er gået de elever, som henholdsvis nåede at deltage i testene og ikke nåede det. Og professorerne Svend Kreiner og Jeppe Bundsgaard havde adgang til mikrodata på item-niveau, da de for et lille år siden påviste, at testene i læsning måler forkert. Det fremgår således af de dokumenter, folkeskolen.dk har fået aktindsigt i, at Jeppe Bundsgaard betalte ti konsulenttimer á 1.125 kroner eksklusiv moms for dataene.
Fortalere for de nationale test trækker sig fra konference med Kreiner og Bundsgaard
"Jeg sendte en ansøgning, ganske som Christian har gjort. Så fik jeg data leveret plus en regning på cirka 10.000 kroner for et enkelt datasæt i læsning i 2. og 8. klasse", fortæller Jeppe Bundsgaard fra DPU til folkeskolen.dk.
Christian Christrup Kjeldsen har i sin korrespondance med Styrelsen for It og Læring gjort opmærksom på, at andre har forsket i de samme data, som han ønsker adgang til. Lige lidt hjalp det. Styrelsen holdt fast i sin afvisning, og viceinstitutlederen fra DPU så derfor ikke anden udvej end at skabe offentlig debat om afvisningen.
"Det er en uheldig lukkethed i mit perspektiv, som jeg vil gøre til genstand for en offentlig diskussion", skrev Christian Christrup Kjeldsen lige efter nytår til Styrelsen for It og Læring.
Styrelsen vender rundt på en tallerken
På baggrund af Christian Christrup Kjeldsens oplevelser og aktindsigt i korrespondancen har folkeskolen.dk spurgt Styrelsen for It og Læring ind til hele forløbet og årsagen til afslaget. Men efter to dages betænkningstid svarede Styrelsen for It og Læring, at man 'ikke ønsker at deltage i et interview om disse spørgsmål'. I stedet ville man sende et skriftligt svar. Dette svar kom efter yderligere to arbejdsdage og viser, at styrelsen har vendt rundt på en tallerken.
"I forhold til sagsforløbet i efterår/vinter 2019 vedrørende Christian Christrup Kjeldsens ansøgning er det beklageligt, at han undervejs har fået forskellige meldinger om mulighederne for adgang til nogle af de efterspurgte data. Styrelsen vil imidlertid se positivt på Christian Christrup Kjeldsens ansøgning om adgang til bookingdata fra it-nedbruddet i 2010, der tidligere er blevet brugt i en af ministeriet bestilt evaluering. Vi vil nu snarest muligt drøfte den konkrete dataleverance nærmere med Christian Christrup Kjeldsen", hedder det i svaret fra kontorchef Jesper Lund fra styrelsens center for data og analyse.
Han tilføjer, at de omtalte data fra it-nedbruddet i 2010 blev overladt til Rambøll Management, som evaluerede de nationale test for Undervisningsministeriet sammen med forskere fra Økonomisk Institut på Aarhus Universitet. Ifølge styrelsen har disse data aldrig været videregivet til fri forskning, så når Simon Calmar Andersen og Helena Skyt Nielsen har forsket i dem, er det sket, uden at de har fået tilladelse til det.
Der er sket en misforståelse om data på item-niveau
Styrelsens kovending gælder også de data på item-niveau, som Christian Christrup Kjeldsen har efterspurgt til sit forskningsprojekt.
"Vi har ved en gennemgang af sagen konstateret, at der formentlig foreligger en misforståelse af, hvad det præcist er for data, som er blevet efterspurgt. Det er korrekt, at nogle data på item-niveau tidligere har været videregivet til forskningsprojekter (Kreiner/Bundsgaard), hvorfor de samme data naturligvis som udgangspunkt også kan stilles til rådighed for andre forskere, hvis de er nødvendige for deres forskningsformål", skriver Styrelsen for It og Læring til folkeskolen.dk.
På den baggrund vil styrelsen gå i fornyet dialog med Christian Christrup Kjeldsen 'for at få klarhed over de konkrete afgrænsninger af data, som er nødvendige for det konkrete forskningsprojekt'.
Forskeren vil se ændringen udført i praksis
Selv om styrelsen lægger sig fladt ned, er Christian Christrup Kjeldsen skeptisk.
"Jeg har kun modtaget et opkald om, at styrelsen på baggrund af medieopmærksomheden har genovervejet sin praksis, og at det er en fejl, at jeg ikke har fået stillet data til rådighed. Jeg har ikke fået noget på skrift, og opkaldet kommer alene i kølvandet på bevågenheden fra folkeskolen.dk. Jeg har søgt dialogen, men først når et medie stiller spørgsmål, giver det styrelsen anledning til at ændre praksis. Det er godt for forskningen og for udviklingen af de nationale test og for folkeskolen i øvrigt, men fordi der i mange år har været lukkethed om de nationale test, vil jeg gerne se styrelsens ændrede holdning udført i praksis", siger han og tilføjer, at forløbet adskiller sig fra det samarbejde, han har med Undervisningsministeriet om blandt andet de internationale undersøgelser Timss og Pirls.
"Jeg har et godt samarbejde med ministeriet, og derfor kommer denne sagsgang hos en styrelse under ministeriet bag på mig", siger Christian Christrup Kjeldsen.
Styrelse indskærper reglerne for forskningsdata overfor to professorer
Styrelsen er bange for at videregive persondata
I sit svar til folkeskolen.dk forklarer Styrelsen for It og Læring, at man i forlængelse af persondataforordningens implementering generelt har haft en skærpet bevågenhed på videregivelse af persondata.
"Udgangspunktet har her været, at styrelsen alene udleverer persondata til fri forskning, der har været behandlet i styrelsens eget statistikberedskab, eller data, som styrelsen på anden vis har godt kendskab til indholdet af. Dette sikrer, at styrelsen kan foretage den nødvendige overoverordnede vurdering af, om de ønskede data er relevante for det pågældende forskningsprojekt, og hvordan de skal afgrænses, så der ikke videregives flere persondata end nødvendigt", lyder det.
Christian Christrup Kjeldsen vil ikke kalde det en dårlig undskyldning, men han undrer sig over styrelsens holdning.
"Alle skal finde deres ben at stå på i forhold til GPDR. Det medgiver jeg, og det kan sagtens ske, at styrelsen har været nervøs for det. Men vi har altid skullet behandle data efter gældende forskrifter, og loven om GPDR giver netop hjemmel til at bruge statistik til forskning. Derfor bliver data lagt i anonymiseret form hos Danmarks Statistik. Vi skal selvfølgelig opføre os ordentligt, og det er der et system til at sikre".
Christian Christrup Kjeldsen forstår heller ikke, hvordan styrelsen har kunnet være i tvivl om, hvilke data på item-niveau han har efterspurgt.
"Jeg ved selvfølgelig ikke, hvad andre kan forstå og misforstå, men jeg har givet eksempler på, at de samme data tidligere er blevet udleveret til andre forskere. Desuden gjorde den konsulent, som oprindeligt svarede, at jeg kunne få dataene mod betaling, opmærksom på detaljer om nogle af item-dataene, så hun vidste, hvad jeg talte om", siger han.
Almindelig praksis at prøve andres forskning af
Trods sin skepsis anerkender Christian Christrup Kjeldsen, at det nu ser ud til, at forskere får lettere adgang til data fra de nationale test. Det hilser han velkomment.
"Det her er ikke mit personlige raid. Det kommer også andre forskere til gode. Det har været et uskønt forløb, men jeg håber, at vi nu kommer tættere på åben og tilgængelig adgang til vigtige uddannelsesdata, og at Styrelsen for It og Læring vil se indad og sørge for, at lignende forløb ikke opstår", siger skoleforskeren.
Når han har bedt om data fra it-nedbruddet i 2010 er det for at efterprøve den forskning, som professorerne Simon Calmar Andersen og Helena Skyt Nielsens har lavet af, hvordan det er gået de elever, som henholdsvis deltog og ikke deltog i testene.
"Det er helt almindelig forskningspraksis, at man prøver andres forskning af for at se, om man når frem til samme resultat. På den måde sikrer vi os, at der er kvalitet i forskningen. Samtidig vil jeg bruge nedbrudsdata til andre analyser", siger Christian Christrup Kjeldsen.
Hvis kun nogle forskere kan få adgang til data, kan man ikke tale om fri forskning, tilføjer han.
"Vi skal kunne forske frit ved at stille de spørgsmål og anvende de data, vi finder nødvendige. På den måde kan vi bidrage til udviklingen af velfærdsstaten".
Forskning kan skabe bedre tilbagemeldinger fra testene
På samme vis vil Christian Christrup Kjeldsen efterprøve Jeppe Bundsgaard og Svend Kreiners forskning i de nationale test i læsning.
"Det vil også være spændende at se på de nationale test i matematik, hvor opgaverne ligger tættere på de opgaver, eleverne møder i skolen, end i dansk", siger Christian Christrup Kjeldsen, som leder den danske del af den internationale Timss-undersøgelse om matematik og naturfag.
Han har svært ved at forestille sig, at man kan evaluere de nationale test og tjekke, om de måler pålidelig,t uden data på item-niveau.
"Uden adgang til item-data skaber man en situation, hvor forskere ikke kan afprøve de nationale test. Resultatet er, at politikerne skal træffe beslutninger om de nationale test på et forkert grundlag.
Vi har set, hvordan forskningen fra henholdsvis Calmar og Skyt og fra Kreiner og Bundsgaard har skabt debat om, at enten bibeholder vi de nationale test eller også sætter vi dem på pause. Lukkethed om de nationale test er både skadelig og unødvendig".
Christian Christrup Kjeldsens hypotese er, at man vil kunne få testene til at give en markant mere præcis tilbagemelding til lærere, elever og forældre end i dag.
"Det vil jeg gerne bidrage til", siger han om sit mål med at forske i testene.
Ny undersøgelse: Nationale test måler både forkert og usikkert
Data bag evalueringen af nationale test bør være tilgængelige
Undervisningsministeriet er på trapperne med evalueringen af de nationale test. Christian Christrup Kjeldsen forventer, at den gennemgår alle de nationale test, altså på alle trin og fag over tid, og at man har re-skaleret items for at se, hvordan de fungerer, når de anvendes adaptivt i testen.
"Jeg forventer også, at de fremlægger nye analyser af, om der er forskel i opgavernes sværhedsgrad alt efter elevens baggrund. Det er en bias, vi altid kontrollerer i internationale undersøgelser som Pisa, Pirls og Timss, og hvor rigtigt mange opgaver smides ud efterfølgende".
Enhver god evaluering kendetegnes af transparens, tilføjer han.
"Det vil ikke være for meget at forvente, at alle data, som evalueringens analyser bygger på, stilles frit tilgængeligt til download i anonymiseret form på ministeriets hjemmeside, specielt når man tager i betragtning, at evalueringen af den mere tekniske side af testene er varetaget af ministeriets egen styrelse", siger Christian Christrup Kjeldsen.
Vive får evalueringen af nationale test uden udbud
