Hanne Kathrine Krogstrup skyndte sig at fortælle, at hun er professor i evaluering og ikke ekspert i ordblindhed, da hun i sidste uge holdt oplæg om evaluering af indsatser for elever med ordblindhed på netværksmødet for læsekonsulenter.

Hun er dog ikke helt fremmed over for ordblindhed.

”Jeg gik til ordblindevejleder i folkeskolen og i 1. g. Jeg var ikke ordblind, men forvirret, og nu har jeg skrevet ti bøger. Men I skal alligevel oversætte det, jeg siger, til jeres kontekst”, opfordrede hun.

Hanne Kathrine Krogstrups masterstuderende på Aalborg Universitet bliver trætte, når de hører ordet evaluering. Det skyldes, at man har evalueret på én måde i 20-30 år.

”Nu er vi ved at flytte os fra New Public Management-æraen til New Management Governance, som handler om samarbejde, samskabelse og netværk. Det giver et andet syn på evaluering”, sagde professoren på mødet i Aarhus.

I New Public Management betragtes borgerne som kunder, og man stiller mål op for de ydelser, det offentlige skal levere. Risikoen er, at man får tunnelsyn.

”Et eksempel er fra politiet, som blev stillet over for et krav om at udskrive et vist antal bøder om året. Det betød, at betjentene hvert år i december stormede rundt med bødeblokken for at nå målet. I New Management Gorvernance lægger man det ud til politiet at finde ud af, hvad der er bedst at gøre”, fortalte Hanne Kathrine Krogstrup.

Vi skal evaluere på intentionen

Der er også mål og rammer for læsekonsulenternes arbejde. Rammerne defineres af input, resurser, kvalifikationer og graden af elevernes evne til at arbejde med deres ordblindhed.

”På den baggrund laver I interventionen. Det er selvfølgelig vigtigt at finde ud af, om indsatsen virker. Eller rettere: Virker den og for hvem? For jeg går ud fra, at ordblinde er lige så forskellige som alle andre".

"Det spørgsmål glemmer vi at stille, når vi har travlt”, sagde Hanne Kathrine Krogstrup og understregede, at det ikke handler om at kontrollere hverken læsekonsulenter eller læsevejledere.

”Vi har haft en periode, hvor vi har evalueret på alt muligt andet, end om indsatsen virker. For eksempel har man sagt til konsulenterne i jobcentrene, at de skulle gøre det og det for de ledige. Og så har man evalueret på, om de gjorde det, de skulle. Men ikke på, om det hjalp ledige i job. Det er spild af tid. Vi skal evaluere på intentionen”.

Evaluering afhænger af øjnene, som ser

Ikke desto mindre er der tendens til at evaluere på eleverne, for det bekvemt at skubbe sig selv til side.

”Hvis eleverne ikke præsterer som forventet, kan man finde mange grunde til det, så det ikke peger på én selv. Hele karakter- og testkulturen handler om eleverne, men tiden er inde til, at vi flytter fokus til det, vi gør. Ellers parkerer vi evalueringen ved slutproduktet fremfor på det, der skal skabe slutproduktet”, sagde Hanne Kathrine Krogstrup.

Det handler om at se på processen frem mod resultaterne. Men den slags afhænger af øjnene, som ser.

Professoren gav et eksempel fra en sommerdag med solskin: Mens turisten siger "Sikke et skønt vejr”, sukker landmanden, for han mangler vand til sine marker.

”Det er den samme situation, men vi får to forskellige vurderinger. Det afgørende er, at man finder ud af, hvilket perspektiv man vil evaluere indsatsen fra: Er det læsevejlederne eller eleverne, som skal vurdere, om der sker det, vi ønsker?"

"Men vi holder fast i, at vi ikke skal bruge evalueringen til at kontrollere, om I følger de processer, man har fundet bedst. Nej, vi skal finde ud af, om de virker, og hvis de ikke gør, skal vi finde ud af hvorfor, og dernæst hvordan vi så kan forbedre indsatsen”.

Knæk koden og arbejd mere målrettet

Hanne Kathrine Krogstrup spørger løbende sig selv, hvordan hun kan gøre sin undervisning på Institut for Kultur og Læring på Aalborg Universitet bedre.

Hun kan blandt andet høre, hvad de studerende synes, men hun kan ikke se, om de reelt er i stand til at udføre evalueringer, når de får job.

”Der er ikke tvivl om, at nogle ordblinde vil få en ungdomsuddannelse takket være indsatsen i skolen, men vi er nødt til at evaluere på noget, som er tæt på: Hvad var det præcist, vi gjorde, så Peter lærte at læse? Hvis I kan knække den kode, kan I arbejde mere målrettet”, sagde hun til læsekonsulenterne.

Hvis Hanne Kathrine Krogstrup skulle måle effekten af en ordblindeindsats, ville hun både bruge kvalitative og kvantitative data.

”Jeg ville se på resultaterne af elevernes test, og jeg ville spørge Peter, så jeg får feedback fra modtagerne: Hvordan var undervisningen? Hvordan var det at være sammen med læsevejlederen? Var hun sur? Hvorfor tror du, at hun var sur? Spørgsmålene behøver ikke være særlig fancy”.

Ordblinde mere komplekse end en hjertepatient

Det er komplekst at evaluere processen i en ordblindeindsats, medgav professoren.

”Kirurger studser, når jeg siger, at en hjerteoperation er en simpel opgave. Men ligegyldigt hvor i verden operationen foregår, skal lægen bruge den samme teknik, og målet er givet: Overlever patienten? Jeres arbejde er derimod komplekst. For der er ikke en entydig sammenhæng mellem, hvad I gør, og hvilken effekt der opstår”.

Læsekonsulenter kan ikke bare sige: Vi gør sådan og sådan, og så er vi sikre på, at det altid giver resultat.

”I jeres verden er det: Hvis vi havde gjort det lidt anderledes, havde vi så haft endnu bedre resultater?”

Samtidig afhænger det af konteksten, hvori den bedste løsning består. For eksempel kan et socialt pres gøre, at eleven ikke har overskud til at lære at stave.

”Lidt karriekeret skal I begynde forfra, hver gang I sidder overfor en elev, og det giver udfordringer i forhold til at evaluere. Men det er vigtigt, at I laver succeskriterier for jer selv og jeres elever, så I kan måle på det, og her bliver I nødt til at tage afsæt i det, der plejer at virke”, sagde Hanne Kathrine Krogstrup.

Læsevejlederne skal være villige til at lære

At evaluere på sammenhængen mellem indsats og effekt kræver et incitament til at ville lære af det, man gør.

Det illustrerede professoren med et eksempel fra kontroltårnene i de svenske og danske lufthavne. Mens de svenske flyveledere begik mange fejl, lavede de danske flyveledere ikke nogen.

”Da man undersøgte det, fandt man ud af, at i Sverige skulle flyvelederne fortælle om deres fejl, så man kunne lære af dem. Derfor fik de tak, når de fortalte om en fejl. I Danmark blev man derimod fyret, hvis man begik for mange fejl. Derfor turde ingen åbne munden. Så her kunne man være helt sikker på, at man ikke lærte noget”.

En lærende organisation er kendetegnet af en eksperimenterede kultur, skitserede professoren.

Det vil sige, at man laver prøvehandlinger og følger op på, om de viser en ny sammenhæng mellem indsats og effekt. Derefter tager man det mest virkningsfulde og arbejder videre med det.

”En organisation kan kun lære, når individet også lærer, og derfor skal læsevejlederne inddrages fra begyndelsen, så det ikke bliver et top-down krav. Der skal være kapacitet og vilje til læring. I er ikke hjertekirurger, som kan gøre det samme hver gang. I er nødt til at spørge jer selv om, hvad det er, I gør, som virker. Det af afgørende at finde ud af, så I kan forbedre den indsats, I har i forvejen”, sagde Hanne Kathrine Krogstrup.