Åbent brev til Undervisningsminister og undervisningsudvalg

Jeg vil starte med et præsentere mig selv: Jeg er læsevejleder på en skole i Nordjylland, og på mit arbejde bruger jeg bl.a. værktøjet Sprogvurdering 3-6. Det er mig, der har klaget til ligebehandlingsnævnet over kønsopdelingen/kønsdiskriminationen i resultaterne i Sprogvurdering 3-6. Fagbladet Folkeskolen har skrevet om min bekymring, som blev bragt på bladets forside.

Lige nu er sagen ved at blive behandlet i Ligebehandlingsnævnet, og det bliver op til dem at vurdere, om det er rimeligt, at der stilles forskellige krav og forventninger til de to køn i børnehaveklassen, fx om det er rimeligt, at drenge skal kende 15 bogstaver, når piger skal kende 18 bogstaver i begyndelsen af børnehaveklassen. Det bliver sikkert en nem sag for ligebehandlingsnævnet at afgøre.

Gennemgåede fejlberegning af resultater

Desværre er skævvridning af resultater på grund af køn ikke det eneste problem i beregning af resultater i Sprogvurdering 3-6. Der er problemer i den måde, som testene beregner resultaterne, der langt overstiger det problemer, som kønsopdelingen giver. Fejlberegningen giver store problemer i Sprogvurdering 3-6. Fejlberegningen er mest markant for elever i sproglige vanskeligheder, der har behov for at blive set og få de sproglige vanskeligheder afhjulpet.

Jeg ved, at Undervisningsministeriet har modtaget flere klager/henvendelser omkring fejlberegning af resultater af Sprogvurdering 3-6 igennem de mange år, sprogvurderingen har eksisteret, men at fejlberegningen er fortsat. Det er åbenbart vanskeligt at forstå matematikken i fejlberegningen, og derfor let at tro, at der er tale om minimale problemer uden praktisk betydning.

Sprogvurdering giver alle elever et forskelligt resultat, selvom de har lige mange rigtige

Jeg vil begynde med begyndelsen: For cirka to år siden modtog jeg en henvendelse fra en børnehaveklasseleder, der havde forsøgt at skrive et orienteringsbrev til forældrene om resultaterne af Sprogvurdering 3-6. Hun synes, at det hele så mærkeligt ud: Der var nogle områder, der ikke hang sammen i resultaterne, og derfor havde hun hentet arkene med elevernes rå-score så hun kunne se, hvad eleverne havde svaret under testene. Det var slet ikke til at finde hoved og hale i.

Jeg lavede analyser af sammenhænge mellem elevernes besvarelser under testene og jeg nåede frem til dette resultat. I de to børnehaveklasser havde 11 elever svaret rigtigt på 14 ud af 15 opgaver i rim.

Elev 1 - 14 rigtige - 100-percentilen - fejlen i opgave nummer 2

Elev 2 - 14 rigtige - 55-percentilen - fejlen lå i opgave nummer 4

Elev 3 - 14 rigtige - 61,4-percentilen - fejlen lå i opgave nummer 8

Elev 4 - 14 rigtige - 50,9-percentilen - fejlen lå i opgave nummer 16

Elev 5 - 14 rigtige - 56,2-percentilen - fejlen lå i opgave nummer 10

Elev 6 - 14 rigtige - 53,5-percentilen - fejlen lå i opgave nummer 10

Elev 7 - 14 rigtige - 58,9-percentilen - fejlen lå i opgave nummer 10

Elev 8 - 14 rigtige - 58,8-percentilen - fejlen lå i opgave nummer 10

Elev 9 - 14 rigtige - 57,7-percentilen - fejlen lå i opgave nummer 10

Elev 10 - 14 rigtige - 58,8-percentilen - fejlen lå i opgave nummer 10

Elev 11 - 14 rigtige - 53,1-percentilen - fejlen lå i opgave nummer 12

Som I kan se, så er resultaterne meget forskellige. I vejledningen til Sprogvurdering 3-6 kunne jeg læse, at resultaterne blev beregnet ud fra elevernes køn og alder. Jeg tog kontakt til ministeriet for at høre nærmere og fik adgang til de translate-filer, der omsætter antal rigtige til et resultat på en percentilskala for den enkelte elev. Ud fra disse kunne jeg danne mig et overblik over resultater for elever med 14 ud af 15 rigtige rimopgaver i børnehaveklassen.

Det er jo tydeligt at kønsopdelingen af resultater medfører en kønsdiskrimination, hvor drenge og piger bliver vurderet forskelligt på grund af deres køn. Jeg tog kontakt til ministeriet og til folketingets udvalg for undervisning og udvalg for ligestilling uden at få nogen forståelse for problemet, og derfor måtte jeg henvende med til Ligebehandlingsnævnet som mor til to døtre, der har deltaget i Sprogvurdering 3-6.

Det er oprørende at se, hvordan elever, der har klaret 14 ud af 15 opgaver, får helt forskellige resultater, og man kan sagtens forstå formanden for børnehaveklasselærerforeningen, der har udtalt, at hun helst ser, at alle børn i en klasse får samme resultat på percentilskalaen uanset alder og køn.

Men en af børnene med 14 uf af 15 rigtige på skolen hvor jeg arbejder, fik et helt andet resultat, der ligger helt uden for rammerne af ovenstående diagram: Barnet fik et resultat på 100,0.

Når børn ikke svarer på alle opgaver

”Hvis barnet har flere ”intet svar” men nok antal besvarede spørgsmål til, at der beregnes en score, udgår de ubesvare­de spørgsmål af beregningen. Det betyder, at et barn får en bedre score, hvis barnet f.eks. har 5 ubesvarede spørgsmål, end hvis barnet har 5 forkerte svar.” Vejledning til Sprogvurdering 3-6 2019

Her finder man forklaringen på, at en af eleverne på skolen med 14 ud af 15 opgaver fik et resultat på 100: Barnet havde sprunget en opgave over, og havde nu et resultat på 14/14 rigtige, der giver samme resultat på percentilskalen som 15/15 rigtige.

Omberegningen af resultater ved intet svar har store konsekvenser for det enkelte barns resultat, når barnet støder på en opgave, der er vanskelig at besvare. Gætter barnet på et forkert svar indgår det i beregningen af barnets resultat. Svarer barnet Det ved jeg ikke, så udgår spørgsmålet af beregningen, og barnet opnår et bedre resultat.

Sprogvurdering 3-6 til de 3-årige, 4-årige og 5-årige foregår ved, at barnet besvarer opgaverne sammen med en pædagog, der noterer svarene. Svarene skal noteres efter følgende vejledning:

Scoring: Sæt plus i kassen på sprogvurderingsskemaet, hvis barnet peger på det rigtige sted eller svarer rigtigt. Sæt minus i kassen, hvis barnet peger på det forkerte sted eller svarer forkert. Hvis barnet ikke svarer eller ikke gennemfø­rer en opgave, markerer du det som ”intet svar” i ”IT-syste­met. (Vejledning til Sprogvurdering 3-6, 2019)

Omberegning af resultater ved intet svar betyder, at et barn, der svarer; Det ved jeg ikke på en del af opgaverne, får et bedre resultat end et barn, der forsøger at komme med et gæt, når pædagogen spørger. Det strider mod al viden om pædagogik og læring at anse det tavse barn for mere sprogligt kompetent end det barn, der forsøger at komme med et gæt. Ganske vist findes det ordsprog der siger, at tale er sølv, men tavshed er guld, men det er vel ikke et princip at håndhæve i sprogvurderingsøjemed?

Rockwoolfondens betragtninger over Sprogvurdering 3-6

Rockwoolfonden har undersøgt, hvor ofte det sker, at et resultat noteres som ”intet svar. Dette er sket i forbindelse med RFI-undersøgelsen.

Ud fra Rockwoolfondens optællinger kan man se, at det ofte sker, at pædagogen noterer intet svar, særligt for de lavest præsterende elever. Rockwool skriver om intet svar.

Da sprogvurderingerne er foretaget med små børn, er sprogvurderingerne ofte ukomplette – f.eks. kan der være hele deltest eller enkelte spørgsmål inden for en deltest, som barnet ikke har besvaret. I analyserne i RFI Indsigten har vi valgt at betragte en manglende besvarelse/registrering af et spørgsmål i en deltest på lige fod med et forkert svar. Dette har vi gjort, da der er en korrelation mellem sværhedsgraden af et spørgsmål og sandsynligheden for, at spørgsmålet ikke er besvaret.

Det skal her påpeges, at vi har valgt at håndtere manglende svar anderledes, end hvad der er beskrevet i vejledningen til ”Sprogvurdering 3-6.” I vejledningen til at beregne den samlede sprogvurderingsscore ekstrapoleres gennemsnittet af de udfyldte (ikke-manglende) items til alle items. Vi har valgt ikke at ekstrapolere i vores analyser, fordi denne metode kan komme til at favorisere børn, som ikke svarer på de svære spørgsmål, som det ses i nedenstående eksempel.

Eksempel: Hvis et barn har besvaret 10 ud af 15 spørgsmål korrekt i deltesten Rim, har svaret forkert på 2 spørgsmål ud af 15, og ikke har svaret på de resterende 3 spørgsmål, har barnet efter vores metode besvaret 10/15 spørgsmål korrekt (66,6%) og ved vejledningens metode besvaret 10/12 spørgsmål korrekt (83,3%).

Nedenfor vil vi vise, at der er en korrelation mellem sandsynligheden for ikke at svare på et spørgsmål og sværhedsgraden af spørgsmålet. Pga. dette har vi valgt at bruge en metode, der udelukkende krediterer korrekte svar og ikke skelner mellem forkerte og manglende svar….

Der er altså en sammenhæng mellem, hvorvidt et svar på et item mangler, og sværhedsgraden af spørgsmålet defineret ved procenten af børn, der svarer forkert på spørgsmålet. Det er altså ikke tilfældigt, hvilke items børnene ikke besvarer, hvorfor vi betragter manglende besvarelser som ikke-korrekte. Teknisk note bag TipsByText RFI Indsigt December 2020, Rockkwool Fonden

Mon forskerne i Rockwoolfonden har henvendt sig til undervisningsministeriet med disse betragtninger? Ifølge Rockwoolfondens analyser er der nøje sammenhæng mellem sandsynligheden for intet svar og elevens sproglige kompetence. Når eleverne ikke svarer på et spørgsmål, så er det ikke udtryk for sjusk eller manglende samarbejdsvilje. Intet svar forekommer mest, når opgaverne overstiger elevens sproglige formåen, og bør derfor håndteres på samme måde som forkert svar.

Omberegning af resultater ved intet svar får markant betydning i praksis

Der sker en omberegning af elevens resultat ved intet svar, hvis over to tredjedele af opgavesættet er besvaret. Som bilag bagerst i denne mail har jeg beregnet nogle eksempler i på, hvordan det går, når elever ikke svarer på alle opgaver i Sprogvurdering 3-6.

Det er en masse tal, og den korte beskrivelse er, at det er en god ide at kigge alle elevers resultater igennem for at se, om der er tale om intet svar på opgaver i elevernes besvarelse. Alle resultater kan være præget af omberegningen ved intet svar. Det kræver stor tålmodighed og empati at være pædagog eller børnehaveklasseleder, men selv den største tålmodighed og empati kan sættes på prøve, når man erfarer, at den test der er brugt timer på at udføre, giver resultater hvor 6,93 og 100 betyder det samme. Den eneste forskel er, at Sprogvurderingen fungerer efter ordsproget Tale er sølv, men tavshed er guld hvor elever, der vælger intet svar på op til en tredjedel af opgaverne, bliver belønnet for deres tavshed med et flot resultat.

Udviklerne bag Sprogvurdering 3-6 ser ikke problemerne ved omberegning

Nu skriver jeg til undervisningsministeriet og undervisningsudvalget om problemerne med Sprogvurdering 3-6. Det har jeg gjort før, uden at der skete noget som helst. Hvis problemerne skal løses, skal der ske noget mere end blot at sende min klage videre til udviklerne af Sprogvurdering 3-6. Der er allerede blevet klaget mange gange over omberegningen af resultater med Sprogvurdering 3-6 I min undersøgelse af testene, har jeg været i kontakt med flere, der har klaget. Ingen af disse klager har givet anledning til at revidere testene. I stedet har udviklerne vurderet, at der ikke skal ske ændringer i resultatberegningen af Sprogvurdering 3-6.

Man kan læse udviklernes holdning til omberegning af resultater ved intet svar, og der er ikke noget at tale fejl af: Udviklerne mener, at det er udtryk for et forsigtighedsprincip når man beregner resultaterne sådan, at Tale er sølv, men tavshed er guld. Det er jo ikke sikkert, at barnet har svaret; det ved jeg ikke, fordi barnet ikke kender svaret. Der kan jo være tale om andre grunde fx træthed eller uopmærksomhed.

Udviklerne har ikke beskrevet hvordan omberegningen af resultater ved intet svar indebærer, at pædagoger og børnehaveklasseledere skal acceptere, at et resultat på 6,93 og et resultat på 100 kan betyde det samme antal rigtigt besvarede opgaver. Det er ikke en situation som udviklerne af Sprogvurdering 3-6 har beskrevet og taget ansvar for i vejledningen.

I stedet for at lave udregningen af scoren på denne måde, kunne man have valgt at antage, at Hassan ikke svarede på de 5 ubesvarede items, fordi han ikke kendte ordet. Den ene metode synes ikke at være mere åbenlyst rigtig end den anden, for nogle spørgsmål vil være ubesvaret, fordi barnet ikke kender svaret, og i andre tilfælde vil det være andre årsager, som f.eks. at barnet er blevet distraheret eller er blevet for træt til at ville være med.

Valget af den konkrete behandling af ubesvarede spørgsmål er i dette materiale foretaget ud fra et forsigtighedsprincip om kun at regne med besvarede spørgsmål, og ”lade tvivlen kommer barnet til gode”. Men uanset om den ene eller den anden metode var valgt, betyder det, at nogle børn overvurderes og andre undervurderes. Derfor er det vigtigt, at den voksne, som gennemfører sprogvurderingen, opnår erfaring i at få et svar ud af børn på alle spørgsmål. Vejledning til Sprogvurdering 3-6 2019

Rockwoolfonden har undersøgt svarfordelingen ved sprogvurdering 3-6, og her er det åbenlyst, at det rigtige vil være at betragte intet svar på samme måde som forkert svar. Det er eleverne, der ligger under middel, der har flest intet svar. Når eleverne vælger intet svar, skyldes det oftest, at de ikke kender det rigtige svar på spørgsmålet.

At lade et barn med resultatet 6,93 opnå et langt højere resultat, fordi nogle af opgaverne står med intet svar er ikke at lade tvivlen komme barnet til gode. Barnet opnår ingen gevinst ved at få et langt højere resultat. Barnet risikerer derimod, at de sproglige vanskeligheder bliver overset af pædagoger og børnehaveklasseledere, når testresultaterne viser, at alt er godt.

Undervisningsministeriet bør stille klare krav til Sprogvurdering 3-6

Det er nødvendigt, at undervisningsministeriet stiller klare krav til sprogvurdering 3-6 om, at det resultat, som fremgår at testrapporter til børnehaver, skoler og forældre, skal være udtryk for, hvordan barnet klarede sig under testen. Der bør ikke ske omberegning af resultater på grund af køn, eller ubesvarede opgaver.

Sprogvurdering 3-6 bruges i særlig høj grad ved starten af skoleåret, og derfor er det vigtigt, at der sættes tiltag i gang allerede nu for at få rettet op på den kønsmæssige skævvridning og de uhensigtsmæssige omberegninger ved intet svar.

Bilag 1: Konsekvenser af omberegning ved intet svar