Danmarks Pædagogiske Universitetsskole (DPU) har ansat en professor i økonometri og uddannelsesøkonomi, Anders Holm. Eftersom ikke ret mange ved, hvad økonometri er, bliver økonometrikere ofte kaldt talknusere. Det er den nyudnævnte professor ikke glad for.

»Sådan nogle økonometrikere som mig, vi hedder talknusere. Man har en idé om, at man hælder nogle tal ind i talknuserens kontor, og så sidder han og knuser dem, og så kommer der alle mulige erkendelser ud i den anden ende. Og det er problematisk. De erkendelser, økonometrikere kan danne sig, er ikke bedre end de data, der kommer ind. Der er ikke noget magisk håndtag, man kan dreje på, og så få alt muligt ud af det«, siger Anders Holm.

Det er ellers den drøm, politikere har: At talknuseren kan finde frem til, hvad der virker, så de kan føle sig sikre på, at de penge, de bevilger til sygdomsbehandling, pleje og uddannelser, er givet godt ud. Drømmen har skabt det, Anders Holm kalder »evidensbølgen«.

Ved at ansætte en talknuser som professor viser ledelsen på DPU, at den er med på evidensbølgen, siger Anders Holm.

Men det er ikke kun derfor, at DPU har hyret ham. Det er også, fordi han kan kende forskel på statistisk sammenfald og årsagssammenhæng i virkeligheden. På korrelationer og kausalitet, som det hedder i fagsproget. Det lyder enkelt, men det har faktisk taget økonomerne 30 år at nå frem til erkendelsen af, at sammenfald og sammenhæng ikke er det samme. Og denne erkendelse er endnu ikke blevet almen viden på universiteterne.

I datamaterialet fra Pisa er der for eksempel sammenfald mellem høje klassekvotienter og høj testscore. Det har fået nogle forskere til at konkludere, at klasser med mange elever er bedre end små klasser.

Men sådan kan man ikke slutte, påpeger Anders Holm. Pisa er for det første slet ikke designet til at undersøge, om der er en sammenhæng mellem klassestørrelse og testscore, så det er alt for dristigt at foretage konklusioner i den retning. For det andet viser et stort amerikansk eksperiment - der netop var designet til at undersøge sammenhængen mellem klassestørrelse og testscore - at elever, der går i små klasser, scorer højest.

»Og hvis jeg skal vælge mellem at tro på Pisa eller det amerikanske eksperiment, så vælger jeg eksperimentet«, fastslår Anders Holm.

Akkurat dét er problemet i evidensbølgen og kan blive årsagen til, at begejstringen for evidensforskning om nogle år ikke er helt så stor: Politikerne vil have forskerne til at vride flere erkendelser ud af dataindsamlinger som Pisa, end de kan bære.

Man kan ikke analysere alting med et datasæt, fastslår Anders Holm.

»Pisa er udmærket til det, den er udarbejdet til, nemlig at sammenligne færdighedstest på tværs af lande. Men tanken om, at et enkelt datasæt - hvor dyrt det end måtte være - kan svare på alverdens spørgsmål, sådan som Pisa jo bliver brugt, er problematisk. For eksempel at analysere klassestørrelser. Eller sammenhænge mellem en eller anden form for pædagogik og testresultater. Eller om man har gået i børnehaveklasse eller ej. Eller om man har været i børnehave. Alt det er Pisa jo ikke skabt til«.

Det er kun inden for humanvidenskaberne og samfundsvidenskaberne, at forskere og politikere har så overdrevne forventninger til statistiske undersøgelser.

»Inden for fysik eller kemi eller biologi er der ikke nogen, som ville foretage en undersøgelse og så bruge data fra den til alt muligt andet bagefter. Det er det, der sker med samfundsvidenskabelige datasæt: Man tror, at nu kan man svare på alting. Man regner en hel masse korrelationer ud, og så begynder man at svare på alle mulige spørgsmål ud fra de her korrelationer, uden at vide om der er en reel årsagssammenhæng«.

Grunden til, at økonometrien og evidensforskningen har fået så meget vind i sejlene, er, at de humanistiske og samfundsvidenskabelige forskere har snakket sig selv ud af banen, mener Anders Holm. »De har diskuteret videnskabsteori i 40 år«, som han siger.

De videnskabsteoretiske diskussioner begyndte i 1960'erne med afsæt i en kritik af positivismens forestillinger om, at der er enkle årsagsforklaringer på alt mellem himmel og jord. Men så enkelt er det ikke, lød kritikken dengang fra human- og samfundsvidenskaberne.

Den kritiske position var en mægtig succes på universiteterne. Den bredte sig som en steppebrand.

»Men det har betydet, at der ikke kommer nogen håndfaste beskeder ud af elfenbenstårnet længere, og det er klart, at det er politikerne selvfølgelig blevet trætte af at betale til. De vil ikke bevilge midler til et system, som bruger pengene til at sidde og diskutere med sig selv«.

»Og fordi kritikerne ikke har leveret varen, vender politikerne sig nu mod økonomerne, som mener, de kan levere varen«.

De mange års kritik af positivismen og ikke mindst de kvantitative metoder, som positivismen benyttede sig af, har gjort metoderne bedre, mener Anders Holm.

»Den kritik, man rettede mod de kvantitative metoder for 20-30 år siden, har man taget til efterretning, og de fremstår nu i en stærkt forbedret udgave. Vi er nu klar over, hvornår noget er kausalitet, og hvornår noget ikke er kausalitet. Vi kan sige noget om kvaliteten af den evidens, der ligger. Altså hvor sikre kan vi være på, at det her er en kausal sammenhæng? Det kan vi bedre vurdere i dag, og det gør, at politikerne nu vil høre på os og bevilge penge til os«.

Derfor er evidensbaseret forskning moderne i øjeblikket, fastslår Anders Holm. Alligevel er ikke alt rosenrødt for hardcoreforskerne. Politikernes krav og forventninger er nemlig ofte overdrevne.

Et tænkt eksempel: For en million kroner vil politikerne have at vide, hvorfor frafaldet på erhvervsskolerne er så stort. Men for de penge kan evidensforskerne kun undersøge én ting, for eksempel om der er en sammenhæng mellem klassestørrelse og frafald. Men det er for snævert for politikerne, de vil hele vejen rundt. For de samme penge. Det kan tvinge forskere ud i noget, der ligner embedsmisbrug, siger Anders Holm.

»Det er den brutale arbejdsdeling. Man får en million fra et ministerium til et projekt, hvor man skal svare på 117 ting, og så opdager man, hvad data egentlig er velegnet til, om overhovedet noget. Det publicerer man så i et videnskabeligt tidsskrift, hvor man kan argumentere for, at data er velegnet til lige præcis at afdække denne her kausale effekt - og så får ministeriet en masse korrelationer«.

»Det er dyrere at undersøge de her ting inden for uddannelse til bunds, end vi går og forstiller os i øjeblikket«, fastslår Anders Holm.

Det er typisk forskere, der ikke er opmærksomme på, at der er forskel på korrelation og kausalitet, som roder sig ud i problemer, siger han.

»Man har fået penge til et eller andet datasæt, og så siger man til hinanden: Hvor er det dog et spændende datasæt. Men inderst inde ved du godt, at det er det ikke, fordi det egner sig måske højst til en eller to ting, og alle de andre ting, som vi mener, det er interessant til at afdække, det kan det slet ikke bære«.

»For eksempel Pisa igen: Det er en færdighedstest, men tanken fra politisk hold er, at nu har vi brugt fem millioner på hver bølge af Pisa, så må det da også kunne bruges til noget andet. Forskningen må kunne få noget andet ud af det«.

Det kan ikke blive ved på den måde, mener Anders Holm. Det er for useriøst.

»Vi står over for en ny æra: Hvis man virkelig vil vide noget, så koster det det samme, som det koster i biologi og i kvantefysik og i medicin«.

»Du kan undersøge én ting med en million, du kan ikke undersøge ti ting med fem millioner. Ikke så det kan publiceres i internationale tidsskrifter. Ikke så internationale forskere tager hatten af for det og siger: Det her er kvalitet, det godtager vi«.

Evidensbølgen er så dyr, at den vil flade ud i løbet af ti års tid inden for human- og samfundsvidenskaberne, mener Anders Holm.

»Når det går op for politikere, hvor dyrt det egentlig er, så er der en masse spørgsmål, som de ikke længere vil have besvaret ved hjælp af evidensmetoder. Det er simpelthen for dyrt. Så vil de hellere lave en fokusgruppe eller nogle interview eller lade nogen gå ud og beskrive, hvordan det ser ud. Hvis man ikke tror, at der er tale om et stort problem, så vil man ikke kaste fem millioner efter det for at få undersøgt, hvordan sammenhængene faktisk er«, siger professoren. |

Professor i kausalitet

Cand.polit. Anders Holm, født 1963, er nyudnævnt professor i uddannelsesøkonomi og økonometri ved Danmarks Pædagogiske Universitetsskole, Aarhus Universitet. Han kommer fra en stilling som lektor ved Sociologisk Institut, Københavns Universitet. Økonometri betyder ifølge den frie encyklopædi på internettet, Wikipedia, »et videnskabeligt forskningsområde og et værktøjssæt, der anvender statistiske metoder på økonomiske data«.

»Og fordi kritikerne ikke har leveret varen, vender politikerne sig nu mod økonomerne, som mener, de kan levere varen« Anders Holm»Det er dyrere at undersøge de her ting inden for uddannelse til bunds, end vi går og forstiller os i øjeblikket« Anders Holm