Gætværk

Efter de senere års debat om meningsmålinger, er et nyt - og problematisk - argument begyndt at dukke op både blandt journalister og journaliststuderende. Man anerkender, at ændringerne er så små, at de er inden for den statistiske usikkerhed - men argumenterer samtidig for, at det er mest sandsynligt. Den fejlslutning er vi nødt til at få aflivet
28.01.2014 · 10:58
Kresten Roland Johansens billede
Kresten Roland Johansen
Underviser
Danmarks Medie- og Journalisthøjskole

En klassiker! Det var min første tanke, da jeg i forrige weekend kunne læse en nyhedshistorie fra Ritzau, hvor journalisten udlagde små stigninger og fald mellem to Voxmetermålinger som faktuelle ændringer.

I telegrammet ”Løkke står solidt efter stor rød nedtur” lød det blandt andet, at Socialdemokraterne, SF og Enhedslisten har tabt vælgere, imens Venstre, De Radikale og Dansk Folkeparti er gået frem.

Men det meste af artiklen bygger på meget små bevægelser. Der er tale om stigninger og fald mellem 0-2 procentpoint - altså inden for den statistiske usikkerhed eller tilfældig variation.

Artiklens konklusioner om partierne var derfor gætterier for journalistens egen regning krydret med en appellerende vinkel. Historien fik stort gennemslag i nyhedsmedierne, som ukritisk viderebragte historien. Intet nyt under solen.

Er dette så en genudsendelse af den kritik, der jævnligt føres frem mod meningsmålinger? Ikke helt. Målet er ikke at slå på Ritzau eller en af de mange andre målinger, der kunne være udsat for samme kritik.

Men der er opstået et nyt problem. Efter de senere års debat om meningsmålinger, er et nyt - og problematisk - argument for målingerne begyndt at dukke op både blandt journalister og journaliststuderende: Man anerkender, at de små ændringer ligger inden for den statistiske usikkerhed, men argumenterer samtidig for, at det er mest sandsynligt, at tilslutningen alligevel ligger som målt. Og man slutter deraf, at det er OK at tage undersøgelsen for pålydende.

Den fejlslutning er vi nødt til at få aflivet.

Men er det da ikke rigtigt, at ”den faktiske tilslutning” med større sandsynlighed ligger på det niveau, man har ramt i målingen – altså lige midt i det interval, den statistiske usikkerhed kan ramme indenfor?

Kort sagt: Når Ritzau skriver, at Socialdemokraterne er gået 1 procentpoint tilbage, er det så ikke mere sandsynligt, end at de er gået 1 procentpoint frem – og derfor OK at skrive?

Det er korrekt, at det er mere sandsynligt, at tallet er rigtigt, altså at Socialdemokraterne er gået 1 procentpoint tilbage, end ethvert andet punktestimat. Men det må man ikke lade sig narre af.

Præcision i statistik har en pris. Prisen hedder manglende sikkerhed, og sikkerhed er afgørende for konklusioners troværdighed. Hvor grænsen går er naturligvis noget, man kan diskutere, men hvis vi skeler til videnskabelig praksis og til meningsmålingsinstitutternes praksis, forlanger man normalt altid mindst 95 procents sandsynlighed for, at det, man konkluderer på baggrund af stikprøvebaserede undersøgelser, faktisk er rigtigt ”ude i virkeligheden”.

Altså: Hvis du generaliserer til ”alle voksne danskere”, skal du være næsten sikker på, at tallet er rigtigt.

De samme krav til sikkerhed bør man stille som journalist. Også til sig selv og sine egne konklusioner. Og det er her, argumentationskæden hopper af.

Hvis vi vender tilbage til Ritzau-eksemplet: Konsekvensen af at ville udtale sig præcist om meget små udsving, som fx at Socialdemokraterne er gået tilbage fra 22,6 til 21,5 procentpoint, eller at SF er gået tilbage fra 4,6 til 4,3 procentpoint, er, at sikkerheden ryger. Der er med andre ord stor risiko for, at man tager fejl.

Nu kan man jo tage fejl på to måder. Man kan undervurdere et partis frem- eller tilbagegang, og man kan overvurdere samme. Worst case er vel, hvis man i sin artikel konkluderer, at et parti er gået tilbage, hvor det i virkeligheden er gået frem. Og vice versa. Altså en helt igennem forkert konklusion.

Lad os derfor se, hvor stor risikoen faktisk er for at tage fejl, med to konkrete eksempler fra weekendens måling. I artiklen hævdes, at ”SF svinder stadig med støtte fra kun 4,3 procent af vælgerne i målingen”. Referencemålingen fra december gav SF 4,6 procent af stemmerne, så umiddelbart er det måske svært at konkludere anderledes.

Men hvad er sandsynligheden for, at SF IKKE svinder, men derimod er gået frem – baseret på tallene fra de to målinger? Det kan man gå til på flere forskellige måder. Man kan fx beregne konfidensintervallet for forskellen på de to andele (forskellen på 4,3 og 4,6 procent til SF) og teste, ved hvilket konfidensniveau forskellen på de to målinger er signifikant.

Det bliver lidt regneteknisk. Forskellen på de to målinger er på 0,3 procentpoint. Vil vi udtale os om så lille en forskel, skal vi beregne et konfidensinterval med plus/minus 0,3 procentpoints usikkerhed, dvs. et interval for forskellen på de to andele fra 0,0 til 0,6 procentpoint. Konfidensniveauet for dette interval er på blot 25 procent.

Der er med andre ord 75 procents sandsynlighed for, at dette smalle interval ikke indeholder den sande forskel, altså den sande udvikling for SF mellem de to målinger.

Regneteknik til side. Konklusionen er klar som en frostkold vinterdag: Der er 37,5 procents sandsynlighed for, at SF i virkeligheden er gået frem. På samme måde er der 37,5 procents sandsynlighed for, at SF er gået mere tilbage end 0,6 procentpoint.

Samme regnestykke for Socialdemokraterne viser, at der er 28 procents sandsynlighed for, at Socialdemokraterne faktisk er gået frem mellem de to målinger. Der er altså stor risiko for, at man tager lodret fejl, når man på så små forskelle konkluderer, at et parti er gået frem eller tilbage. Og det er vel egentlig ikke så mærkeligt, når man tænker over det. 4,3 og 4,6 procent af 1035 tilfældigt udvalgte danskere svarer til henholdsvis 45 og 48 personer. Det er forskellen på 3 personer, som man konkluderer på for SFs vedkommende. Og herefter generaliserer til ”alle voksne danskere”.

Hvad kan man så konkludere på de to Voxmeter-målinger? ”Venstres formand Lars Løkke Rasmussen kan regne med blive statsminister igen, hvis man skal tro Voxmeters seneste meningsmåling for Ritzau”. Det holder. Men derudover er der ikke noget i de to målinger, som tyder på andet end status quo mellem partierne. Det kunne man passende fortælle i stedet.

Kresten Roland Johansen er underviser på Danmarks Medie- og Journalisthøjskole. Han er medforfatter til bogen "En ny undersøgelse viser - eller gør den?"

Kommentar

28/01/2014 - 13:05

Martin Darling

Vi er på Ritzaus Bureau meget opmærksomme på at formidle de politiske målinger, vi anvender, så præcist som muligt. Derfor svarede vi også prompte, da JOURNALISTEN sidste uge bad om citater til en artikel om meningsmålinger, som vi fik oplyst skulle publiceres mandag en 20.01 og delvist omhandlede en artikel fra Ritzau. Derefter har JOURNALISTEN så valgt at droppe den bebudede journalistisk bearbejdede artikel og i stedet bedt deres ekspertkilde skrive et blogindlæg. Vi anerkender, at den pågældende artikel på enkelte punkter ikke er i overensstemmelse med vores egne kvalitetskrav på området. Det hører dog med til historien, at vi udover at sammenligne med en nylig måling i artiklen også sammenligner med tilslutningen siden valget, og her ligger forskellene uden for den statistiske usikkerhed. Desuden påpegede vi over for JOURNALISTEN, at det institut, der laver målinger for Ritzau, ikke blot foretager månedlige målinger men måler hver eneste uge. Det betyder, at vi har adgang til de tendenser i udviklingen, som vi får vist hver uge, og som også kan styrke indikatoren på, at tilslutningen ligger der, hvor målingen viser, den ligger. Det eliminerer ikke den statistiske usikkerhed totalt, og derfor angiver vi naturligvis også i artiklen, hvad den statistiske usikkerhed er. Det ændrer dog ikke på, at flere elementer i beskrivelsen af forskellene mellem de to målinger, der ligger tæt op ad hinanden, i dette tilfælde kunne have været mere præcise.

Martin Darling, Redaktionschef, Ritzaus Bureau

28/01/2014 - 14:24

Peter Andreas

Darling: 'Tendenser' der ligger inden for den statistiske usikkerhed, er ikke tendenser. De er stadigvæk bare tilfældigheder, uanset om de sker månedligt eller ugentligt.

28/01/2014 - 15:05

Kresten Roland Johansen

Det er rigtigt, at Voxmeter gennemfører målinger med en hyppig frekvens. Mellem målingen d. 19. januar og Ritzaus referencemåling d. 15. december har jeg noteret mig Voxmetermålinger både 22. december og 12. januar. Hvis man skeler til de mellemliggende målinger, så giver det intet belæg for at tage de nævnte tilbagegange for SF og Socialdemokraterne for pålydende.
Det giver ingen ekstra præcision. Det går lidt op og lidt ned – helt som forventet – men uden signifikante udsving:

Måling: (15/12) (22/12) (12/1) (19/1)
SF: (4,6) (4,3) (3,8) (4,3)
S: (22,6) (22,9) (22,1) (21,5)

Er SF så faktisk gået frem mellem 12. og 19. januar? Vi aner det ikke. Man må ikke tage resultatet for pålydende. Det er alt for usikkert. Der er ingen historie.

CAPTCHA
Dette er en test for at sikre at du ikke er en robot der blot spammer kommentarsporet.

Seneste jobopslag

Kommunikationskonsulent (Barselsvikariat)

Amnesty International Danmark
Ansøgningsfrist: 21.01

Informationsspecialist til Særlig Efterforskning Øst

Københavns Politi
Ansøgningsfrist: 21.01

Digital redaktør med stærkt udviklingsgen

Flensborg Avis AG
Ansøgningsfrist: 06.02

Grave-reporter til Flensborg Avis

Flensborg Avis AG
Ansøgningsfrist: 06.02

Kommunikationsmedarbejder til By & Havn

By & Havn
Ansøgningsfrist: 21.01

Kommunikationskonsulent

Ballerup Kommune
Ansøgningsfrist: 17.02

Web-reporter til førende nyhedssite i København

Landbrugsmedierne
Ansøgningsfrist: 25.01

Kommunikationskonsulent til Ringsted Kommune - barselsvikariat

Ringsted Kommune
Ansøgningsfrist: 23.01

Pressekonsulent, der kan sætte sikkerhed på dagsordenen

Sikkerhedsstyrelsen
Ansøgningsfrist: 03.02

Kommunikationsmedarbejder til intern og ekstern kommunikation

Nationalmuseet
Ansøgningsfrist: 25.01

DIIS søger kommunikationsmedarbejder (barselsvikariat)

Dansk Institut for Internationale Studier
Ansøgningsfrist: 24.01

Redaktør til nyt og innovativt betalingsmedie

Avisen.dk og Ugebrevet A4
Ansøgningsfrist: 21.01

DIIS søger journalist til forskningsformidling

Dansk Institut for Internationale Studier
Ansøgningsfrist: 20.01

Digital Tekstforfatter til Fundraising team

Mellemfolkeligt Samvirke
Ansøgningsfrist: 16.01

Kommunikationsmedarbejder til Læger uden Grænser

Læger uden Grænser
Ansøgningsfrist: 20.01

Barselsvikar: SoMe-konsulent med presseerfaring

Mødrehjælpen
Ansøgningsfrist: 21.01

Offensiv pressekonsulent til uddannelse og forskning

Uddannelses og Forskningsministeriet
Ansøgningsfrist: 16.01

Brænder du for kommunikation og storytelling?

Region Hovedstaden
Ansøgningsfrist: 16.01

Presserådgiver til anklagemyndigheden

Rigsadvokaten
Ansøgningsfrist: 18.01

Chefredaktør til Fyns Amts Avis

Jysk Fynske Medier
Ansøgningsfrist: 18.01

AJKS søger administrerende direktør

A-kassen for Journalistik, Kommunikation og Sprog
Ansøgningsfrist: 20.01

REDIGERENDE JOURNALIST TIL HK STATS MEDIER

HK Stat
Ansøgningsfrist: 17.01

Initiativrig kommunikationsansvarlig søges!

Edlund
Ansøgningsfrist: 20.01

DANMARKS VILDESTE REDAKTØR TIL JAGTMAGASINER

Recreation Media ApS
Ansøgningsfrist: 31.01

Kommunikationsmedarbejder/ journalist til Danske Erhvervsakademier

Danske Erhvervsakademier
Ansøgningsfrist: 20.01