Politiken og TV 2 bringer i dag en meningsmåling, der viser, at blå blok har flertal igen. Men det kan de ikke sige noget om, siger talforsker fra Danmarks Medie- og Journalisthøjskole. TV 2 afviser kritikken.
I dag kom den første store meningsmåling siden valgresultatet. Men den viser, at medierne ikke har lært noget af den kritik, der har været af meningsmålinger i valgkampens hede. Det mener projektleder ved Danmarks Medie- og Journalisthøjskole, Kresten Roland Johansen.
Han underviser i statistik og er medforfatter til bogen 'En ny undersøgelse viser… eller gør den?' om meningsmålinger og journalistik.
Dagens måling er lavet af Megafon for TV 2 og Politiken, og den viser ifølge de to medier, at den blå opposition nu har flertal i befolkningen. Det er også blevet en politisk historie, at SF er gået markant tilbage, og at Venstre er gået markant frem.
Men de konklusioner er der ikke dækning for i dagens meningsmåling, vurderer Kresten Roland Johansen. Han henviser til, at den statistiske usikkerhed er alt for stor.
»Den nye måling viser kun marginale forskelle i forhold til valgresultatet. Forskellene er alt for små til at sige noget om, hvem der ville få flertal, hvis der var valg i dag. Det ligger inden for den statistiske usikkerhed, « siger han til Journalisten.dk.
Johansen: Medierne har for kort hukommelse
Journalisten.dk har efterprøvet usikkerheden for hvert partis fremgang eller tilbagegang. Eksempelvis går Socialdemokraterne i målingen 0,8 procentpoint tilbage. Men tallet er behæftet med en usikkerhed på +/- 2,7 procentpoint.
Hvis usikkerheden er højere end forandringen, så er forandringen udokumenteret og bør ikke bruges til journalistiske historier, siger Kresten Johansen.
Det er tilfældet for samtlige vælgervandringer i målingen. Venstre er gået frem med 1,5 procentpoint, men tallet har en usikkerhed på +/- 2,9 procentpoint. SF er gået tilbage med 1,4 procentpoint, men her er usikkerheden +/- 1,7 procentpoint.
Samlet set står regeringen til at få 49,6 % af stemmerne i undersøgelsen, imens oppositionen får 50,4 procent. Men også her er forskellen alt for lille. Usikkerheden ligger på +/- 3,2 procentpoint.
Kresten Roland Johansen var ude i valgkampen og kritisere mediernes brug af meningsmålinger.
»Jeg synes, det er synd, at mediernes hukommelse er så kort. I valgkampen var der kritik af, at medierne fremlagde resultater, der ikke var dækning for. Her ser vi, at de begår akkurat den samme fejl igen. Målingen dokumenterer ingen reel bevægelse hos vælgerne, men alligevel laver man journalistik på det, « siger han.
Johansen mener, at medierne burde have en ekstra kolonne i grafikken. Her skulle stå usikkerheden for hvert partis vælgervandring. Så ville det også fremgå, hvilke partier, man ikke kan dokumentere nogen forandringer hos.
Det har Børsen blandt andet gjort tidligere, fortæller Kresten Roland Johansen.
TV 2: Vi overfortolker ikke
Michael Dyrby, nyhedsdirektør i TV 2, afviser, at TV 2 overfortolker tallene. Han mener, meningsmålingen fungerer som et øjebliksbillede uanset usikkerheder.
Kresten Roland Johansen siger, at man ikke kan sige, at hverken blå eller rød blok har flertal i befolkningen på baggrund af jeres måling. Hvad siger du til det?
»Hvis man ikke kan sige noget ud fra denne måling, kan man heller ikke sige noget ud fra andre målinger. Selvfølgelig kan man det. Men det er ikke udtryk for, at sådan ville valgresultatet være. Det er et øjebliksbillede. Her kan vi se, at rød blok går tilbage, og blå blok går frem,« siger Michael Dyrby til Journalisten.dk.
Han fremhæver, at meningsmålingens resultater stemmer overens med tesen om, at de tendenser, der er i slutningen af en valgkamp, fortsætter ind i en ny valgperiode.
Men Michael Dyrby afviser ikke, at der er usikkerheder i meningsmålingen. Han afviser, at de underminerer de journalistiske konklusioner.
»Der er naturligvis en usikkerhed, og det ved folk godt. Det her er bare et øjebliksbillede, og så kan usikkerheden gøre, at det bliver mere eller mindre. Derfor plejer vi også at nævne usikkerheden.«
Kresten Roland Johansen foreslår en ekstra kolonne, der angiver usikkerheder for hvert parti. Hvad mener du om det forslag?
»Det tror jeg er en udmærket ide. Jeg tror ikke på det på tv, der skal vi vælge ud. Men for de særligt nørdede er det en god ide at lægge frem på nettet. Vi får i forvejen en stor pakke fra Megafon, hvor vi også kan se usikkerheden per parti.«
Er det noget, I vil indføre fremover?
"Jeg synes, det er en god ide, og det vil vi diskutere, om vi skal gøre fremover.«
Michael Dyrby tager i øvrigt gerne et selvkritisk blik på, hvor meget meningsmålingen har fyldt på TV 2 i dag.
»Skal jeg sige noget selvkritisk om TV 2, så synes jeg måske, vi har haft for meget fokus på en meningsmåling som denne her. Det er jo rent hypotetisk, og valget har været afholdt. Det betyder overhovedet ingenting,« siger han.
Kresten Roland Johansen er overrasket over, at Michael Dyrby forsvarer den fortolkning, at rød blok går tilbage, og blå blok går frem.
»Det kan lige så godt være rød blok som blå blok, der har flertal. De kan ikke vide noget om det. Hvis Michael Dyrby vil fortolke på så små ændringer, så må det enten være fordi han ikke ved, det er forkert, eller fordi han ikke vil acceptere det,« siger Kresten Roland Johansen.
Han mener altid, det bør fremgå af en måling, hvor mange, man har spurgt, hvad man har spurgt om, og hvor stor usikkerheden er.
TV 2 skriver i deres artikel om målingen, at der er en usikkerhed på 3,2 procent mellem blokkene.
Politiken har angivet alle tre oplysninger. De skriver med småt, at der er spurgt "ca. 930 personer" og at der er en statistisk usikkerhed på "op til +/- 3 procentpoint".
Men ifølge Kresten Roland Johansen er det heller ikke godt nok. Usikkerheden på "op til +/- 3 procentpoint", eller TV 2's 3,2 procent, er nemlig ikke meget værd for læserne.
»Det tal kan du ikke bruge til noget. Tallet viser, hvor stor usikkerhed, der er i allerværste fald. Men hvis der er en usikkerhed på 3 procentpoint, så afslører de jo selv, at ingen af deres tal er signifikante. Tallet er en helgardering. Det interessante er usikkerheden for hvert enkelt parti, for den svinger meget,« siger han.
Her er resultaterne af Journalisten.dks hurtige gennemregning per parti. Du kan selv regne usikkerheder ud via dette site, der er tilknyttet bogen 'En ny undersøgelse viser…':
Parti Andel stemmer Ændring Usikkerhed
Socialdemokraterne 24,1 % +0,8 +/- 2,7
Radikale Venstre 10,5 % +1,0 +/- 2,0
Konservative 4,0 % +0,9 +/- 1,3
SF 7,8 % -1,4 +/- 1,7
Liberal Alliance 5,4 % +0,4 +/- 1,5
Kristendemokraterne 0,6 % -0,2 +/- 0,5
Dansk Folkeparti 12,4 % +0,1 +/- 2,1
Venstre 28,2 % +1,5 +/- 2,9
Enhedslisten 6,9 % +0,2 +/- 1,6
Det skal for en god ordens skyld siges, at usikkerhederne er beregnet med et signifikansniveau på 95 procent.
3 Kommentarer
Du skal være logget ind med dit DJ-login for at kunne kommentere på artiklen.
Puha, det er godt op ad bakke, når en mand som Dyrby ikke vil vedgå eller forstå eller sætte sig ind, at man til enhver tid skal tage højre for den statistiske usikkerhed, inden man konkluderer på meningsmålinger og rundspørger.
Hvis man følger Dyrbys tankegang kan TV2 Sporten sådan set allerede nu fortælle, at Danmark HAR kvalificeret sig til EM i fodbold inden den afgørende kamp mod Portugal. Det er jo sådan cirka 70-90 procent sikkert, at det sker.
Tillad mig at anbefale Dyrby - og andre - at gøre en eller flere af følgende:
- Ring til "dit" analyseinstitut og spørg, om du kan konkludere som du gør ...og få et lynkursus i statistik
- Brug Kresten Johansens og Lars Friis' meget let tilgængelige "regnemaskine", der på 30 sekunder viser dig, om der er dækning eller ej for din konklusion: http://www.en-undersoegelse-viser.dk/beregn-usikkerhed/
- Spørg en dine praktikanter fra Aarhus - vi har undervist i det de seneste fem år.
Hvis de enkelte usikkerheder fylder for meget, så kan man bruge det enkle princip, som anvendes i forbindelse med grafer i forskningslitteraturen, nemlig at signifikante forskelle angives med en stjerne ('), eller evt. flere stjerner, alt efter hvor stærkt signifikant forskellen er. Så kan man under grafikken skrive: * = signifikant forskel (>95%). Det vil også gøre det lettere for de journalister (og ledere), som skal konkludere noget ud fra tallene. De kan nemlig springe de forskelle over, som ikke er signifikante. Og læserne/seerne vil hurtigt vænne sig til at kigge efter signifikans. Tilbage står så blot at blive enige om et fælles signifikansniveau for journalistisk anvendt statistik, fx * = 95%, ** = 99% og *** = 99,9%.
Det lyder som om Michael Dyrby simpelt hen ikke har forstået, hvad statistisk usikkerhed betyder. Men han er jo langtfra alene. Under valgkampen kunne vi fx se DR1s valgeksperter fremskrive udviklinger i de daglige meningsmålinger og forudsige, at "hvis stigningen på 0,3 procentpoint fra i går til i dag fortsætter, vil den blå blok om 12 dage have overhalet den røde". Rent nonsens - og vildledning af det flertal af seerne, der ingenting ved om statistik.