Der blev talt om lærere, der er så skeptiske over for de nationale test, at de siger til eleverne, at testene er meningsløse, og de bare skal klikke sig igennem dem. En sådan grundlæggende modstand er én form for bias, der giver dårlige testresultater og ubrugelige data.

Og der blev talt om skoleledere, der automatisk bruger nye data som bekræftelse af den opfattelse, de havde i forvejen. Og om et forsøg med gps-trakcing af gårdvagter, der blandt andet blev påvirket af tekniske problemer med at starte gps-uret.

Det var ph.d. Søren Buhl Hornskov, UCC, der fortalte om den bias opstår, når man kigger på data og kun ser de dele, der bekræfter den opfattelse, man havde i forvejen.

I den internationale forskning taler man om såkaldt confirmation bias, som betyder, at man - bevidst eller ubevidst - helst vil bekræftes i, at man gør eller mener det rigtige og derfor leder efter data, der kan understøtte det.

Skolen er en uformel organisation, hvor meningsfællesskabet betyder mere end det strategiske formål, og lærere og andre 'implementeringsagenter' vil, ifølge implementeringsteori, nødig tro, at deres hidtidige indsatser har været uden effekt.

Søren Buhl Hornskov og hans kolleger fra professionshøjskolen UCC samarbejdede med udddannelsesforskere fra School of Education ved University of Madison-Wisconsin om at afprøve surveydata-informeret skoleledelse ved hjælp af det amerikanske system Call.

På baggrund af spørgeskemaer til skolens ansatte udarbejdede forskerne en stribe rapporter og præsenterede skoleledelserne i fire kommuner for deres fund. Og på nogle af skolerne observerede og registrerede forskerne skoleledernes reaktioner og diskussioner på de efterfølgende ledermøder.

Søren Buhl Hornskov fortalte om en skole, hvor fundene blandt andet viste, at medarbejderne delte ledelsens visioner for skolen. Men når det gjaldt om at omsætte visionen i konkret praksis, var billedet dog et andet. Medarbejderne havde ikke en oplevelse af, at der var tydelig sammenhæng mellem vision og praksis.

Reaktionen på ledelsesmødet var tilfredshed med, at arbejdet med at formidle visionen er slået igennem:

"Jeg blev faktisk rigtig glad og opløftet, da jeg læste det her, fordi det viser, at medarbejderne faktisk er ved at være inde i det, som vi gerne vil have bygget op. Så jeg tænker faktisk: 'Okay, nu er det overstået'."

"Når vi får data på, hvordan vi præsterer, er vi tilbøjelige til at høre informationen på en bestemt måde. Og den bias gælder ikke kun lærere", forklarede Søren Buhl Hornskov.

"Vi er aldrig neutrale i vores opfattelse af data. Og dermed er der en masse udfordringer i forhold til overhovedet at være enige, når taler om data - også med folk vi kender godt".

Datakultur

Anbefalingen fra både Søren Buhl Hornskov og ph.d. Rasmus Leth Jørnø fra konferenceværten, professionshøjskolen Absalon i Roskilde, mener, at det store behov på skolerne lige nu er datakultur.

Søren Buhl Hornskov præsenterede nogle værktøjer til behandling af data: Viviane Robinsons følgeslutningsstige, hvor man på hvert trin skal forstyrre udvælgelsen, beskrivelsen, fortolkningen og konklusionen, så man ikke springer for hurtigt igennem, og den såkaldte datacentrifuge, hvor man sammenholder sine data med anden viden.

Og så præsenterede han nogle bud på etiske principper inspireret af National Forum on Education Statistics i USA:

(1) Ærlighed og professionalisme til enhver tid.

I en skole præget af tæt politisk styring og mange interesser, er det særlig vigtigt at fremhæve betydningen af at gå til data med en oprigtig nysgerrighed og den professionalisme, der knytter sig til at udfordre egen praksis sammen med andre.

Og det er vigtigt, også i forbindelse med produktion af data, at understøtte en kultur, der opmuntrer respondenter til at svare så ærligt og oprigtigt, de kan.

(2) Brug al relevant data.

Det er vigtigt, at data er af høj kvalitet og omhyggeligt beskrevet, men det er også et godt princip at afsøge muligheden for at inddrage data, som kan supplere eller udfordre de data, der umiddelbart falder for. Det kan skabe et sammenligningsgrundlag eller danne et mere præcist billede af, hvad der er på spil.

Dybdelæring

På konferencen berettede skoleledere fra forskellige danske folkeskoler om deres erfaringer med at arbejde med data. I Køge har forvaltningen og skoleledelse et års tid samarbejdet det norske firma Conexus om at afprøve programmet KMD Indsigt til at måle på elevernes såkaldte dybdelæring - kreativitet, samarbejde, kritisk tænkning med videre - og sammenholde scoren her med elevernes socioøkonomiske baggrund, testresultater med videre.

Skolelederne i Køge skal have hjælp af data

Skolechef Søren Thorborg oplever, at skolelederne kan bruge data til mange forskellige formål. Når en skolebestyrelse kaster sig over Cepos-beregninger af skolens undervisningseffekt, kan skolelederen tage en stribe forskellige data frem og langt mere nuanceret vise, hvor skolen er på rette vej, og hvor man arbejder på at forbedre sig.

Med læringsplatform og mange andre opgave til lærerne har forvaltningen foreløbig valgt ikke at implementere lærer-delen af værktøjet.

I Aalborg har skoleleder på Filstedvejens Skole Claus Drachmann fået hjælp af firmaerne Epinion og Nordic Metrics og forskere fra Syddansk Universitet til at udvikle et spørgeskemaværktøj om elevernes færdigheder inden for felter som resiliens, selvfølelse og samarbejdsevne, som både kan bruges systematisk og ledelsesstyret, men som lærerteamene også kan bruge til selv at sætte hurtige surveys op.

Trods Aalborgs kursændring om nationale test: Skoleleder vil stadig bruge 'Beregneren'   

Lærer Camille Kaasby-Wang fortalte på konferencen:

"Jeg overtog en klasse, som tydeligt havde store problemer med at samarbejde, og hvor nogle af forældrene ikke forstår, at det overhovedet er vigtigt i skolen. Det har vi selvfølgelig arbejdet med i teamet, og vi besluttede at tage eleverne med på en slags overlevelsestur. Det var superhyggeligt, og vi syntes også, det har virket - men nu kan vi tjekke det!".

"Det tog mig et minut at sætte et survey op, hvor vi kan se, at samarbejdsevne, indre motivation og selvkontrol er steget, mens den faglige selvtillid, som vi ikke har haft så meget fokus på, er faldet i den periode. Så det har rykket sig - ikke vildt, men vi vil tage testen en otte-ti gange hen over skoleåret, og så håber vi jo, at man se en stor forskel til sidst".

Camille Kaasby-Wang fremhæver, at spørgeskemaet er bygget op, så eleverne ikke er opmærksom på, at det præcis er deres samarbejdsevne, de måles på, og heller ikke som en evaluering af overlevelsesturen, hvor man kunne forestille sig, at de ville være påvirket af, om de syntes, læreren var yndlings- eller hadelærer.

Data i skolen a la USA fundet af ph.d. Rasmus Jørnø, som bl.a. bemærker, at målet tilsyneladende ikke er at bruge data til en grundlæggende forandring af undervisningen. Se mere på dataqualitycampaign.org

Kan også bruges til jobsamtalen

Selv har hun tidligere arbejdet i det private erhvervsliv, hvor man ved jobsøgning fortæller om sig selv ved en portfolio af opnåede resultater:

"Jeg tænker, at det som lærer også kan være dejligt at kunne vise ved en jobsamtale, at sammen med mit team rykkede jeg den her klasse på de her parametre".

Fra Brønshøj Skole fortalte skoleleder Mikkel Wiene om chokket, da den højt profilerede københavnerskole med de støt stigende karaktergennemsnit pludselig blev hængt ud i Søndagsavisen, fordi eleverne faktisk får væsentligt lavere karakterer end forventet ud fra familiernes socioøkonomiske baggrund.

"Jeg spurgte forvaltningen: Hvem er det, vi ikke løfter? Er det piger eller drenge, er det de tosprogede, de resursestærke eller den store midtergruppe? Men det kunne vi ikke rigtig få at vide - vi kunne kun få det at vide på fag, og det var især matematik og fysik. Så jeg følte lidt, at vi gik i gang med at behandle symptomer uden at vide, hvad patienten fejlede".

Men med de data, skolen trods alt havde til rådighed, kunne ledelse og lærere godt se nogle mønstre. 10 elever ud af 60 opnåede ikke et 2-tal ved afgangsprøven i matematik:

"Det kan vi ikke være bekendt. Vi kunne se, at det også er elever, der havde meget fravær, de fleste var tosprogede, skilsmissebørn, de havde en sag i socialforvaltningen, og de havde skiftet skole tidligere. Vi kan se, at den første afgangskarakter i 8. klasse matcher prøvekaraktererne ganske godt, og jeg er sikker på, at man også kan finde nogle indikatorer, hvis man går endnu  længere ned"

"Og når man har den viden, så er man forpligtet til at handle, men jeg kan godt være bekymret over, at så mange elevers skæbne er overladt til vores ringe vurdering".