Medierne er glade for meningsmålinger, men journalisterne er for ukritiske. Resultatet er masser af udokumenterede historier.
Det er godt stof. Og der kommer flere og flere af dem i medierne.
Desværre kender redaktionerne ikke spillereglerne og ender alt for ofte med at lave historier, der ikke har noget med virkeligheden at gøre.
Sådan lyder vurderingen fra Preben Sepstrup, der er medieanalytiker og forfatter. Sidste år udgav han en kritisk bog om journalister og tal »En undersøgelse viser…«
»I forbindelse med meningsmålinger er der nogle helt elementære ting, journalister bør kunne, men tilsyneladende er de for dårligt klædt på. Det er i hvert fald noget hø, der kommer i medierne. Der er mange slags fejl, men værst er, når man giver udtryk for en overdreven præcision og kommunikerer større sikkerhed og troværdighed, end der er dækning for. Især én fejltype er ifølge Preben Sepstrup en klassiker: Medierne glemmer eller ser bort fra den statistiske usikkerhed, der er ved resultatet af enhver me-ningsmåling. Ved en politisk måling er usikkerheden ofte et til tre procentpoint på hver side af resultatet. Hvis Venstre får 30 procent af stemmerne i en meningsmåling med 1.000 del-tagere, betyder det ikke, at partiet også vil få 30 procent af stemmerne ved et valg. Resultatet skal »oversættes« til, at partiet med 95 procents sikkerhed vil få mellem 27,21 og 32,79 procent af stemmerne.
ANALYSEINSTITUTTERNE kender problemet: »Jeg kan se klare problemer i den måde, meningsmålingerne bliver brugt på. For mange journalister lader sig for nemt tage ved næsen, fordi de ved for lidt,« mener Mogens Storgaard Jacobsen, chefkonsulent i Gallup og ansvarlig for opinionsanalyser og politiske målinger. Han forstår ikke, at journalister er så ligeglade med emnet, at en planlagt temadag på DJH måtte aflyses på grund af manglende interesse:
»I betragtning af, hvor stor en rolle meningsmålinger spiller i samfundsdebatten, er det skammeligt, at journalister ikke har større professionel vilje til at sætte sig ind i, hvad de beskæftiger sig med. Journalisterne skal stille sig selv to spørgsmål, når de ser resultatet af en meningsmåling: Er det rigtigt? Hvordan får vi som medie maksimalt udbytte af målingen? Men mange journalister glemmer det første spørgsmål,« siger Mogens Storgaard Jacobsen fra Gallup.
Chefkonsulent hos Vilstrup Research, Lars Boesen, er enig. »Fejlene skyldes manglende forståelse. Nogle gange tolker man ændringer helt ned til 0,1 procent som stigninger eller fald. Vi forsøger at forklare tingene til Politikens journa-lister, som vi samarbejder med, men det lykkes ikke altid. Problemet er jo, at de skal have en historie at fortælle – også når der ikke er sket noget fra februar til marts…«
HUG EN HæL, KLIP EN Tå. Sådan får nogle meningsmålings-institutter minimale udsving til at blive til en historie. Det mener, Jørn Thulstrup, der er leder af Institut for Konjunktur-Analyse. Han siger, at der op gennem 1990erne er kommet et væld af nye analyse-institutter på markedet. For at profilere sig har de foræret me-ningsmålinger væk til medier.
»I den senere tid er markedet blevet så økonomisk presset, at det begynder at gå galt. Der bliver hugget en hæl og klippet en tå, og sammen med mang-lende håndværk og faglighed betyder det, at der offentliggøres ting, der al-drig burde have set dagens lys.
Tidligere kunne man desuden opleve, at i hvert fald de etablerede medier ringede til eksperter for at tjekke meningsmålinger og undersøgelser, men medierne har også fået mere travlt, og det virker ofte, som om den kontrol-funktion er væk i dag, siger Jørn Thulstrup.
Der er ingen regler for, hvordan medierne offentliggør resultater af meningsmålinger. I praksis betyder det, at læserne sjældent får fakta om undersøgelsen: Hvordan og hvornår spørgsmålene er indsamlet, hvor mange der har deltaget – for slet ikke at tale om oplysninger om usikkerhed. Dagbladet Børsen er et af de få medier, der nogenlunde konsekvent fortæller om usikker-heden på tallene.
»DET SKAL MAN DA. Det er da en reel oplysning,« understreger redaktionschef Bent Sørensen fra Børsen.
En del af forklaringen er måske, at Børsen bruger Greens Analyseinstitut, der er en del af dagbladet Børsen.
»Vi har let adgang til Greens. De kommer rundt og snakker med folk, og derfor kan vi også let ændre en igangværende rundspørge, så vi måske spørger om mindre, men når at få flere svar. Vi vil helst have mindst 1.000 svar hver gang. Men det sker da også, at vi undlader at skrive om en undersøgelse, hvis talmaterialet er for dårligt,« påpeger Bent Sørensen.
Da Journalisten fortæller Erik Meier Carlsen, chefredaktør på B.T., at en statistiker har kasseret B.T.s forsidehistorie om danskernes opbakning til Irak-krigen (se Fem meningsmålinger – fem flop) skærer han benhårdt igennem: »Det her er ikke videnskab – det er journalistik!«
»Det er helt forkert at kritisere artiklen ud fra en videnskabelig vurdering. Jeg er ikke i tvivl om, at den udvikling, vi beskriver, er korrekt. Tendensen kunne godt være usikker, men vi sammenholder tallene med vores almindelige viden og med, hvad andre undersøgelser viser. Og bare rolig, befolkningen opfatter ikke artiklen som stensikker videnskabelig viden – de tager det med et gran salt eller to.«
»DET ER FOR LET at operere med en klar sondring mellem videnskab og journalistik. Det nedvurderer journalistik alene til at være underholdning.« Det mener institutleder Jørn Henrik Petersen, Institut for Journalistik ved Syddansk Universitet. Han er helt uenig med Erik Meier Carlsen.
»Det burde ikke være så svært at ledsage enhver reportage over meningsdata med den klargøring, at læseren skal æde læsningen med en ordentlig håndfuld salt.
Om det hjælper at opgive detaljer om antallet af respondenter, svarprocenter, intervaller m.v., ved jeg ikke. Men det ville principielt være fornuftigt, at alle artikler baseret på meningsmålinger i det mindste angav, at der knytter sig betydelig usikkerhed til resultaterne, og at svingninger på plus-minus x procent ikke kan tillægges synderlig vægt,« mener Jørn Henrik Petersen.
Søndagsavisens politiske journalist Jesper Vind Jensen accepterer ikke uden videre statistikernes generelle råd om forsigtighed.
»Jeg tvivler på, at usikkerheden er så stor, som statistikeren siger. Virkelig-heden er den afgørende test, og Sonar ramte for eksempel meget præcist ved det seneste folketingsvalg. Artiklen, der kritiseres, bygger på et skred på tre procentpoint fra højrefløjen til venstrefløjen i en måned, hvor det altdominerende emne var Irak-krigen. Det var et usædvanligt stort skred, og derfor mener jeg stadig, at man godt kunne konkludere, at krigen på det tidspunkt – før Bagdads fald – kostede stemmer.«
På JYLLANDS-POSTEN vil chefredaktør Carsten Juste helst holde sig til statistikernes regler for brug af menings-målinger. I hvert fald i princippet:
»Hvorfor vi ikke har flere fakta-oplysninger med, ved jeg ikke, men det vil jeg da overveje, om vi skal ændre på,« siger han.
»Vi har bundet troværdighed i det, så det skal være tip-top i orden. Grundlæggende synes jeg også, at det er forkert at sammenligne politiske opinionstal med en tidligere meningsmåling, som vi gør. Undersøgelserne bør sammenlignes med resultaterne fra folketingsvalget – men vildt uforsvarligt er det da ikke.«
Når det gælder om at omregne resultatet af et aktuelt prøvevalg til mandater, er Carsten Juste dog klar til et kompromis.
»Det giver en yderligere usikkerhed, men det er simpelthen nødvendigt for forståelsen. Jeg har da selv været med til at lave de udregninger for mange år siden.«
Problemet med mandaterne kan opstå, når et parti ved et prøvevalg for eksempel får 1,6 procent af stemmerne. På grund af usikkerheden ved tallene kunne resultatet lige så godt have ligget på 2,3 procent – og dermed ville partiet være over spærregrænsen. Men også her blæser medierne på usikker-heden, dømmer partiet ude og fordeler mandaterne til de andre.
»DET ER VANVITTIGT, selv om alle gør det,« lyder det lakonisk fra medieanalytiker Preben Sepstrup. Han understreger, at han ikke er imod meningsmålinger, som kan være et vældig godt journalistisk redskab.
»Men kan man ikke gennemskue resultaterne, svarer det fuldstændig til, at man som journalist ikke er i stand til at være kritisk over for sine kilder,« siger Preben Sepstrup og fortsætter:
»Der skal en basal uddannelse til over for dem, der kommer i nærheden af meningsmålinger – bare tre-fem timer. Og lidt ekstra uddannelse af de få nøglepersoner, der har mest med målingerne at gøre. Men de ledere, der indgår aftaler, skal også lære at tænke og at stille krav om det materiale, journalisterne får.«
Der er mange andre tal-historier end dem, der bygger på meningsmålinger, understreger Mogens Storgaard Jacobsen fra Gallup og nævner de videnskabelige undersøgelser som et eksempel.
»Det stof fylder så meget, at journalisterne burde gøre sig selv den tjeneste at have så megen viden om statistik, at alarmlamperne kan lyse, hvis der er grund til det.«/
Fakta
Sådan tjekker du resultatet:
Er den fremgang eller tilbagegang, du vil vinkle på, så stor, at den er større end den statistiske usikkerhed, der er forbundet med enhver stikprøve-måling?
Det er ikke svært at regne ud. Du skal bruge ét tal, nemlig antallet af deltagere, der har svaret. Lad os sige 1.000.
Tag tallet, du ønsker at tjekke – for eksempel procentandel af stemmer til Socialdemokraterne – og lav det tal om fra procent til decimaltal, dvs. 28,8 procent bliver til 0,288
Gang decimaltallet med 1 minus andelen:
0,288 x (1-0,288) = 0,205056
Divider dette tal med antallet af deltagere (1000). Resultat = 0,000205
Tag kvadratroden af dette tal.
Resultat = 0,0143178
Gang dit resultat med 1,96 = 0,0280628. Det er et decimaltal, og det skal ganges med 100 for at få det som procent = 2,81 procent.
Usikkerheden på Socialdemokraternes stemmeandel på 28,8 procent er altså 2,81 procentpoint på hver side. Tallet vil normalt ligge mellem 1 og 3, som du henholdsvis skal trække fra og lægge til andelen.
Det betyder, at hvis stikprøven ellers er repræsentativ, så viser den, at Socialdemokraterne med 95 procent sikkerhed får mellem 25,99 procent og 31,61 procent af stemmerne.
Du kan hente et regneark, hvor formlerne er lagt ind, så du ikke selv behøver at regne tallene ud, på http://www.dicar.dk/journalisten
Læs også Fem meningsmålinger – fem flop
2 Kommentarer
Du skal være logget ind med dit DJ-login for at kunne kommentere på artiklen.
Tak - prøv at at følge linket her:
http://www.dicar.dk/backup/journalisten/
Der er en udførlig beskrivelse, og det omtalte regneark kan du også finde et brugbart link til her.
vh. Tommy
Hej Tommy Kaas.
Jeg har lige læst din artikel om meningsmålinger, og jeg synes den er glimrende. Jeg er selv ved at skrive en opgave om meningsmålinger i dansk og matematik i 2. g, og derfor tænkte jeg på, hvor du har fået oplysningerne omkring hvorledes man udregner usikkerheden af meningsmålinger, eller om du kan forklare den?
Venligst, Jon Kern