Debatindlæg:
Sidste uge havde Ugebrevet A4 flere datadrevne historier. Altså historier, hvor A4 på baggrund af deres egen – eller andres – undersøgelse af faktiske forhold prøver at give os alle sammen en dybere indsigt i, hvordan Danmark ser ud anno foråret 2014.
Således kunne man i ugens løb læse, at unge bliver snydt for den økonomiske udvikling, at danskerne tvivler på fordelene ved arbejdskraftens frie bevægelighed og endelig, at lav løn ikke får ufaglærte i arbejde.
Problemet er imidlertid, at alle disse datadrevne historier havde et noget tyndbenet grundlag. Det mener vi efter at have gennemgået historierne. Lad os tage dem én efter én.
DATAFAIL #1: Generationstyveriet der forsvandt
”Unge er blevet hægtet af den økonomiske velstandsstigning siden årtusindeskiftet. For selv om danskerne generelt er blevet rigere siden år 2000, er de ekstra penge især kommet i hænderne på de ældre.”
Historien bygger på, at mens 60-64 åriges disponible indkomst i gennemsnit er steget med 28,6 procent fra 2000 til 2012, er den faldet med 6,4 procent for 20-24 årige. A4 har ret i, at de unge danskere har fået en mindre disponibel indkomst. De glemmer bare én vigtig detalje. En væsentlig grund til, at unge danskere har fået en mindre disponibel indkomst, er, at de er begyndt at uddanne sig.
I figuren nedenfor kan man se, at omkring 55 procent af unge mellem 20 og 24 var under uddannelse i 2012 sammenlignet med omkring 40 pct. i 2000. Den gruppe, der i A4’s opgørelse har oplevet størst tilbagegang.
Det ændrer selvfølgelig ikke på, at de unge rent faktisk har færre penge mellem hænderne, men er det rimeligt at sige, at de er hægtet af velstandsstigningen? Snarere tværtimod. En af de bedste investeringer, man kan gøre som enkeltperson, er en uddannelse, idet det dramatisk øger ens forventede livstidsindkomst. De unge lægger netop grundstenen for deres velstand ved at studere, og dermed bytter de lavere disponibel indkomst nu for højere løn i fremtiden.
DATAFAIL #2: Den frie bevægelighed
” Ny undersøgelse viser, at mange danskere ikke mener, at arbejdskraftens frie bevægelighed gavner Danmark.”
Det var A4’s konklusion på nedenstående grafik, der var baseret på en spørgeskemaundersøgelse af et repræsentativt udsnit af den danske befolkning. På Facebook blev den strammet til, at halvdelen ikke mener, at arbejdskraftens frie bevægelighed gavner Danmark. Og på Twitter fik den fuld gas: Her blev det fremlagt, som om hver anden (Venstre) vælger mente, at det var en direkte ulempe. Læser man artiklen, falder det i øvrigt i øjnene, at tallene bliver præsenteret, som om kun hver syvende ser fri bevægelighed som en fordel.
Nu er mange jo et vidt begreb, men sådan som vi læser denne grafik, er der ”kun” 15 pct. af danskerne, der ikke mener, at fri bevægelighed er til gavn for Danmark overhovedet.
Misforståelsen opstår, fordi A4 slår kategorien ”Slet ikke” og ”I mindre grad” sammen til en fælles tvivler-kategori eller endda imod-kategori. Det er noget af en frihed at bestemme sig for, at hvis nogen kun i mindre grad er for noget, er det faktisk det samme som, at de ikke er for. Eller måske endda imod. Det har A4 ganske enkelt ikke belæg for at sige.
DATAFAIL #3: Dårlige analyser er ikke løsningen
”Hvis man gerne vil have flere ufaglærte i arbejde, er lave lønninger ikke løsningen.”
Det var A4’s konklusion, efter at de havde læst Ceveas rapport. En rapport, vi også skrev om tidligere på ugen.
Problemet var imidlertid, at grundlaget for rapporten var en alt for simpel analyse. Ud fra denne kunne man på ingen måde konkludere, at lave lønninger ikke skulle kunne medføre lavere ledighed. Analysen viste alene, at på tværs af 22 europæiske lande er der en tendens til, at lande med lav mindsteløn har høj ledighed. Men det er bare ingen garanti for, at Cevea og A4’s fortolkning holder. Der kunne være mange andre ting, der forklarer denne sammenhæng. Ceveas rapport tager ikke højde for en eneste af disse. Vi betvivler ikke korrelationen, men der er ikke belæg for konklusionen.
Hvad kan man lære af disse tre historier?
Tre historier på en uge, hvor datajournalistikken halter, er mange historier. For mange. Men det er vores klare indtryk, at dette bare er toppen af isbjerget. Og det er ikke kun A4, der er skyldige. Alt for mange medier er alt for tit for hurtige på aftrækkeren, når de laver talhistorier. Så hvad kan man lære af det?
Vi mener først og fremmest, at journalister skal huske, at datajournalistik ikke altid er lig med god journalistik. Ligesom med alle andre kilder skal man være kritisk over for datakilder. Uanset om de kommer i form af analyser fra tænketanke, spørgeskemaundersøgelser eller direkte fra Danmarks Statistik. Man skal altid overveje, hvad de fortæller os, hvilke konklusioner man kan drage fra dem. Og hvorvidt de er til at stole på.
Martin Vinæs Larsen og Jens Olav Dahlgaard
Indlæggets to forfattere er ph.d.-studerende og undervisere i metode/statistik ved Københavns Universitet.
SVAR FRA UGEBREVET A4
Det korte svar til Martin Vinæs Larsen og Jens Olav Dahlgaard er, at de rammer halvplet i et tilfælde og skyder helt ved siden af i to.
Jeg er enig i, at journalistik, der er baseret på data og tal, kan rumme en risiko for, at læsere og kilder kommer til at stole blindt på datagrundlag og konklusioner, alene fordi de mange data kan signalere en redelighed og grundighed, der er højere end i anden form for journalistik.
Derfor er det fint og velkomment, at de to Ph.d.-studerende Martin Vinæs Larsen og Jens Olav Dahlgaard har taget sig tid til at gennemgå tre A4 artikler fra sidste uge. Ugebrevet A4 er vel det medie i Danmark, der mest konsekvent anvender tal og data i sine artikler, og netop derfor har vi formentlig også danmarksrekord i åbenhed og gennemsigtighed. Vi er det eneste medie, der lægger ALT i undersøgelserne frem, og nok også det eneste medie, der systematisk laver selvrefleksion over konklusioner, vurderinger og usikkerheder i ”bag om undersøgelsen”.
- I DATAFAIL 1 (hvorfor hedder det datafail, når der ikke er problemer med data?) påstås det, at A4 undlader at oplyse, at det er en stigende uddannelsesfrekvens, der er medårsag til, at de unge ikke fik samme stigning i disponibel indkomst i nullerne, som andre aldersgrupper. Men det er notorisk forkert. Pointen fremføres to gange i artiklen – oven i købet af både Cepos og AE. I øvrigt en pointe, som på ingen måde anfægter hovedkonklusionen om, at de unge fik mindre velstandsstigning end andre. Så kan man anføre – som de to skribenter – at uddannelse er en investering i fremtiden. Javist. Men A4’s analyse var ikke en fremtidsprognose, men en nøgtern konstatering af udviklingen i nullerne.
- DATAFAIL 2 (hvorfor hedder det datafail, når der ikke er problemer med data?). Her har de to skribenter ret i, at A4 har strammet en rubrik til en grafik og givet den en smule for meget gas på Twitter. Men skribenterne er ikke fair, når de ignorerer, at vi i øverst i artiklen skriver: Næsten hver anden dansker – eller 46 procent – erklærer i en ny undersøgelse, at de slet ikke eller kun i mindre grad mener, at arbejdskraftens frie bevægelighed er til fordel for Danmark. Når det er sagt, kunne jeg godt have ønsket mig, at vi havde brugt en anden skala, der gav mulighed for en klarere tolkning af svarene.
- DATAFAIL 3 (hvorfor hedder …) Her udviser de to skribenter en fatal mangel på evne til at skelne mellem, hvad A4 refererer, og hvad kilderne konkluderer. Artiklen handler om sammenhængen mellem lave lønninger og beskæftigelse for ufaglærte. Det har centrum-venstre tænketanken Cevea begået en rapport om, og her konkluderes det, at lav løn = lav beskæftigelse for ufaglærte. Men A4's artikel refererer ikke ensidigt Ceveas konklusioner. Tværtimod fremhæver A4 data fra rapporten, der viser det modsatte af Ceveas konklusion. Samtidig får Cevea modspil af en forsker samt ikke mindst af Ceveas ideologiske modstandere i Cepos og Liberal Alliance, som i A4's artikel går i rette med Ceveas tolkning af data. Det anser jeg for balanceret og neutral journalistik.
Jeg ved ærlig talt ikke, hvem det var, der havde en dårlig uge.
Jan Birkemose, ansv. chefredaktør, Ugebrevet A4
3 Kommentarer
Du skal være logget ind med dit DJ-login for at kunne kommentere på artiklen.
Oh snap!!
Cevea beskyldes i ovenstående diskussion gentagne gange for at have begået en ”usaglig” analyse i forbindelse med den såkaldte ”Datafail 3”. Jens Olav og Martin Vinæs henviser til deres dialog med Cevea og eftersom at denne beskyldning stadig fortsætter, vil vi gerne bringe vores besyv på banen.
Lad os dertil fortsætte respekttonerne der har omgærdet denne debat ved at slå fast, at vi har stor respekt for det arbejde Politisk Kompas bidrager med. Når det er sagt mener vi ikke at kritikken, der præsenteres, er berettiget.
Kritikken af vores analyse (http://cevea.dk/sites/www.cevea.dk/files/materialer/analyser/notat_loen-raes_mod_bunden_faar_ikke_ufaglaerte_i_arbejde-1_0.pdf) går på, at vi ikke kan modbevise hypotesen om ”at lavere løn fører til højere beskæftigelse blandt den ufaglærte uddannelsesgruppe” (http://politiskkompas.blogspot.dk/2014/03/korrelation-er-stadig-ikke-lig.html).
Lad os derfor opstille scenariet for udsagnet som analysen tester, nemlig ”at lavere løn fører til højere beskæftigelse for ufaglærte”.
1) Vores analyse tester udsagnet: ”lavere løn fører til højere beskæftigelse”
2) Ifølge kritikpunkterne er vores analyse for spinkel til, at kunne modbevise at en ukendt variabel korrelerer positivt med højere løn og beskæftigelse.
3) Den observerede sammenhæng mellem højere løn og beskæftigelse er (stærkt) positiv. Dette anerkendes i kritikken, men påstanden fra bloggen på Politisk Kompas er, at vi ikke kan modbevise, at der forekommer en ukendt variabel, der korrelerer positivt med både højere løn og højere beskæftigelse.
Med denne påstand in mente fremlægger vi hermed tre statistiske anker mod kernen i kritikken:
A) Den negative påvirkning fra højere løn til højere beskæftigelse må nødvendigvis være svag: Lav koefficient (i absolut værdi), formodentlig med en høj standardafvigelse. Den bliver fuldstændig domineret af den ukendte variabel. Lavere løn kan altså maksimalt give en anelse højere beskæftigelse, fordi sammenhængen er svag.
Denne indsigt giver os sådan set allerede det meste af det, vi gerne vil vise: Koefficienten kunne muligvis være statistisk signifikant mindre end nul, men koefficienten er meget lav, så den har meget lille økonomisk signifikans.
B) Desuden: Den ”ukendte variabel” skal indvirke mere (dens varians skal være større) end nogen som helst anden effekt, som påvirker lønnen. Ellers ville vi ikke kunne se, at punkterne ligger så tæt på regressionslinjen, som de gør.
C) Hvordan skal vi nogensinde kunne udnytte sammenhængen mellem løn og beskæftigelse? Hvordan kan vi vide, at vi ikke også samtidig påvirker den ukendte variabel, hvis effekt på beskæftigelsen er meget stærkere? I en policy-sammenhæng (hvilket naturligvis er, hvad vi i notatet er interesserede i) fører lavere løn ikke til højere beskæftigelse.
Vores notat konkluderer ikke at lavere løn fører til lavere beskæftigelse eller vice versa. Notatet skifter i stedet bevisbyrden. "Lavere løn fører ikke til højere beskæftigelse" er sandsynligvis den korrekte påstand nu – bevisbyrden lægger derimod hos dem, som påstår det modsatte. Derfor er vi glade for at Ugebrevet A4 i deres artikel går i clinch med de aktører, der netop kommer med denne påstand.
Omvendt kunne vi også spørge følgende: Er det virkelig tilfredsstillende, at beviset om lavere løn og højere beskæftigelse udelukkende føres med baggrund i en ideologisk påstand? Det undrer os i den grad, at kritikken overhovedet ikke vedrører dette forhold.
Vores notat lægger op til en debat om, at dem der påstår, at lavere løn fører til højere beskæftigelse må komme med en mere konkret forklaring: 1) De må vise positivt, at lav løn førere til højere beskæftigelse, i stedet for at påstå det. 2) De må redegøre for, hvilken ’ukendt variabel’ der fører til den positive korrelation mellem løn og beskæftigelse 3) De må forklare, hvordan vi undgår at påvirke denne ’ukendte variabel’ når vi sænker lønningerne.
Selvfølgelig er der også usikkerhed forbundet i sammenligningen mellem løn overfor beskæftigelse, og det er det som forfatterne hos Politisk Kompas påpeger, og korrelationer skal netop fremstilles som sådan. Ideologisk set vil statistiske resultater derfor altid kunne kritiseres.
Vores formål med analysen var og er, at nuancere løndebatten. Vores formål er netop at imødegå udsagn som at ”det nederste trin på lønstigen mangler” eller ”velfærdsydelser gør det attraktivt at undlade at arbejde”, som ofte bliver fremsat i den offentlige debat uden nogen form for rygdækning overhovedet.
Er det lønniveauet der er den afgørende faktor for ufaglærtes beskæftigelse, eller er det andre variable såsom uddannelse hvilket vores analyse også hiver fat i? Vi ønsker nemlig ikke at debatten skal hvile på dogmatiske udsagn om at lønningerne for de i forvejen dårligst lønnede danskere skal trykkes i bund, når vi samtidig også kan iagttage at ledigheden er faldende med uddannelsesniveauet. Eller måske den lave arbejdsløshed hos ufaglærte skyldes det forhold, som Mads Lundby fra Cepos påpeger i artiklen fra Ugebrevet A4. Her påpeger han at den lave arbejdsløshed hos danske ufaglærte muligvis skyldes de danske arbejdsmarkedsforhold, som er med til at gøre arbejdsmarkedet fleksibelt? Denne nuancering i en ophedet debat om lønningsniveauer, er med de statistiske resultater mere end rimelig at bringe på banen.
Vi har været glade for dialogen med Politisk Kompas og vi håber, at denne kan fortsætte konstruktivt.
Med venlig hilsen
Nikolaj B.L. Christensen (Cevea)
Lad os starte med at give Jan Birkemose og A4 kredit for, at de ganske rigtigt på en åben og gennemskuelig måde forsøger at anvende tal og statistik i deres artikler. Mere af den slags tak. Men kvaliteten skal følge med. Og det er derfor vi skriver om "datafails". For det kan godt være, at der ikke er noget i vejen med data, men der er desværre noget i vejen med den måde A4 fortolker dem på. Og det er altså ligeså stor en datafejl, som hvis man bruger dårlige data.
I datafail 1 er det rigtigt, som Jan Birkemose påpeger, at kilder fra flere sider af sagen bidrager i artiklen. Det ændrer bare ikke på, at rubrikken er, at unge er blevet snydt, og artiklen starter med at fastslå, at unge er blevet hægtet af den økonomiske udvikling. Bum. Så blev det slået fast. Uanset alle de forbehold, man lader andre tage senere, er det svært at se bort fra denne bombastiske introduktion. Er det bare en nøgtern konstatering af udviklingen i nullerne? Nej, og det risikerer at være en forkert konklusion, fordi de kun er baseret på en alt, alt, alt for simpel gennemsnitsbetragtning.
I datafail 2 skriver Jan Birkemose, at han godt kunne tænke sig, at A4 havde brugt en anden skala, der gav mulighed for klarere tolkning af svarene. Det kan vi godt forstå. Men det er desværre sådan, at når man laver spørgeskemaundersøgelser, må man leve med de spørgsmål, man har stillet. Det går ikke at stramme rubrikkerne til det, man ville ønske, der havde stået. Jan Birkmose mener, at vi rammer skiven halvt her. Vi fastholder, at vi rammer den helt.
I datafail 3 skulle vi tilsyneladende udvise en fatal mangel på evne til at skelne mellem, hvad A4 referer, og hvad kilderne konkluderer. Lad os vende det om og skrive, at A4 mangler viser en fatal mangel på evne til at skelne solide analyser fra knap så solide analyser. Lidt kækt (og klichéagtigt) kan vi spørge, om A4 mon ville skrive en historie baseret på en rapport, der viste en sammenhæng mellem antallet af storke og fødselstallet? Næppe. Derfor virker det også mærkeligt at bare, fordi Cevea laver en simpel analyse, der alene viser, at lande med lav mindsteløn har høj arbejdsløshed, giver det A4 carte blanche til at følge den historie til dørs. Hvis A4 gerne vil formidle andres analyser og undersøgelser, har A4 også et redaktionelt ansvar for at spørge sig selv, om undersøgelserne er pålidelige. I øvrigt er det lidt spøjst at Jan Birkemose skriver, at Ceveas undersøgelse viser, at "lav løn = lav beskæftigelse". Andetsteds har Cevea således afvist, at denne pointe skulle kunne læse ud fra deres analyse. Blandt andet som svar på kritik fra os.
Vi ønsker at flere medier ville gøre som A4 og forsøge at formidle tal og statistik på en fair, ligetil og balanceret vis. Men det kræver en erkendelse af, at tal ikke bare taler for sig selv. Det er ikke nok at have god data, man skal også behandle sit data og dets konklusioner pænt. Så A4 havde en dårlig uge. Desværre er der hverken tegn på bod eller bedring.
Alligevel vil vi slutte dette svar af med at rose Jan Birkemose og A4 for at tage debatten med os, og for at bedrive datadrevet journalistisk. Det er der brug for mere af.
Martin Vinæs Larsen og Jens Olav Dahlgaard