search

Gætværk

Efter de senere års debat om meningsmålinger, er et nyt - og problematisk - argument begyndt at dukke op både blandt journalister og journaliststuderende. Man anerkender, at ændringerne er så små, at de er inden for den statistiske usikkerhed - men argumenterer samtidig for, at det er mest sandsynligt. Den fejlslutning er vi nødt til at få aflivet

En klassiker! Det var min første tanke, da jeg i forrige weekend kunne læse en nyhedshistorie fra Ritzau, hvor journalisten udlagde små stigninger og fald mellem to Voxmetermålinger som faktuelle ændringer.

I telegrammet ”Løkke står solidt efter stor rød nedtur” lød det blandt andet, at Socialdemokraterne, SF og Enhedslisten har tabt vælgere, imens Venstre, De Radikale og Dansk Folkeparti er gået frem.

Men det meste af artiklen bygger på meget små bevægelser. Der er tale om stigninger og fald mellem 0-2 procentpoint – altså inden for den statistiske usikkerhed eller tilfældig variation.

Artiklens konklusioner om partierne var derfor gætterier for journalistens egen regning krydret med en appellerende vinkel. Historien fik stort gennemslag i nyhedsmedierne, som ukritisk viderebragte historien. Intet nyt under solen.

Er dette så en genudsendelse af den kritik, der jævnligt føres frem mod meningsmålinger? Ikke helt. Målet er ikke at slå på Ritzau eller en af de mange andre målinger, der kunne være udsat for samme kritik.

Men der er opstået et nyt problem. Efter de senere års debat om meningsmålinger, er et nyt – og problematisk – argument for målingerne begyndt at dukke op både blandt journalister og journaliststuderende: Man anerkender, at de små ændringer ligger inden for den statistiske usikkerhed, men argumenterer samtidig for, at det er mest sandsynligt, at tilslutningen alligevel ligger som målt. Og man slutter deraf, at det er OK at tage undersøgelsen for pålydende.

Den fejlslutning er vi nødt til at få aflivet.

Men er det da ikke rigtigt, at ”den faktiske tilslutning” med større sandsynlighed ligger på det niveau, man har ramt i målingen – altså lige midt i det interval, den statistiske usikkerhed kan ramme indenfor?
Kort sagt: Når Ritzau skriver, at Socialdemokraterne er gået 1 procentpoint tilbage, er det så ikke mere sandsynligt, end at de er gået 1 procentpoint frem – og derfor OK at skrive?

Det er korrekt, at det er mere sandsynligt, at tallet er rigtigt, altså at Socialdemokraterne er gået 1 procentpoint tilbage, end ethvert andet punktestimat. Men det må man ikke lade sig narre af.

Præcision i statistik har en pris. Prisen hedder manglende sikkerhed, og sikkerhed er afgørende for konklusioners troværdighed. Hvor grænsen går er naturligvis noget, man kan diskutere, men hvis vi skeler til videnskabelig praksis og til meningsmålingsinstitutternes praksis, forlanger man normalt altid mindst 95 procents sandsynlighed for, at det, man konkluderer på baggrund af stikprøvebaserede undersøgelser, faktisk er rigtigt ”ude i virkeligheden”.
Altså: Hvis du generaliserer til ”alle voksne danskere”, skal du være næsten sikker på, at tallet er rigtigt.

De samme krav til sikkerhed bør man stille som journalist. Også til sig selv og sine egne konklusioner. Og det er her, argumentationskæden hopper af.

Hvis vi vender tilbage til Ritzau-eksemplet: Konsekvensen af at ville udtale sig præcist om meget små udsving, som fx at Socialdemokraterne er gået tilbage fra 22,6 til 21,5 procentpoint, eller at SF er gået tilbage fra 4,6 til 4,3 procentpoint, er, at sikkerheden ryger. Der er med andre ord stor risiko for, at man tager fejl.

Nu kan man jo tage fejl på to måder. Man kan undervurdere et partis frem- eller tilbagegang, og man kan overvurdere samme. Worst case er vel, hvis man i sin artikel konkluderer, at et parti er gået tilbage, hvor det i virkeligheden er gået frem. Og vice versa. Altså en helt igennem forkert konklusion.

Lad os derfor se, hvor stor risikoen faktisk er for at tage fejl, med to konkrete eksempler fra weekendens måling. I artiklen hævdes, at ”SF svinder stadig med støtte fra kun 4,3 procent af vælgerne i målingen”. Referencemålingen fra december gav SF 4,6 procent af stemmerne, så umiddelbart er det måske svært at konkludere anderledes.

Men hvad er sandsynligheden for, at SF IKKE svinder, men derimod er gået frem – baseret på tallene fra de to målinger? Det kan man gå til på flere forskellige måder. Man kan fx beregne konfidensintervallet for forskellen på de to andele (forskellen på 4,3 og 4,6 procent til SF) og teste, ved hvilket konfidensniveau forskellen på de to målinger er signifikant.

Det bliver lidt regneteknisk. Forskellen på de to målinger er på 0,3 procentpoint. Vil vi udtale os om så lille en forskel, skal vi beregne et konfidensinterval med plus/minus 0,3 procentpoints usikkerhed, dvs. et interval for forskellen på de to andele fra 0,0 til 0,6 procentpoint. Konfidensniveauet for dette interval er på blot 25 procent.

Der er med andre ord 75 procents sandsynlighed for, at dette smalle interval ikke indeholder den sande forskel, altså den sande udvikling for SF mellem de to målinger.

Regneteknik til side. Konklusionen er klar som en frostkold vinterdag: Der er 37,5 procents sandsynlighed for, at SF i virkeligheden er gået frem. På samme måde er der 37,5 procents sandsynlighed for, at SF er gået mere tilbage end 0,6 procentpoint.

Samme regnestykke for Socialdemokraterne viser, at der er 28 procents sandsynlighed for, at Socialdemokraterne faktisk er gået frem mellem de to målinger. Der er altså stor risiko for, at man tager lodret fejl, når man på så små forskelle konkluderer, at et parti er gået frem eller tilbage. Og det er vel egentlig ikke så mærkeligt, når man tænker over det. 4,3 og 4,6 procent af 1035 tilfældigt udvalgte danskere svarer til henholdsvis 45 og 48 personer. Det er forskellen på 3 personer, som man konkluderer på for SFs vedkommende. Og herefter generaliserer til ”alle voksne danskere”.

Hvad kan man så konkludere på de to Voxmeter-målinger? ”Venstres formand Lars Løkke Rasmussen kan regne med blive statsminister igen, hvis man skal tro Voxmeters seneste meningsmåling for Ritzau”. Det holder. Men derudover er der ikke noget i de to målinger, som tyder på andet end status quo mellem partierne. Det kunne man passende fortælle i stedet.

Kresten Roland Johansen er underviser på Danmarks Medie- og Journalisthøjskole. Han er medforfatter til bogen "En ny undersøgelse viser – eller gør den?"

Kommentarer
0

Husk at skrive dit fulde navn og en gyldig mail-adresse i felterne ovenfor, ellers vil din kommentar blive fjernet. Du kan se Journalistens regler for kommentarer her.
Tak fordi du deltager i debatten!

keyboard_arrow_up
Tilbage til toppen