Ny gratis hjemmeside kan beregne statistisk usikkerhed i meningsmålinger og undersøgelser. Og man behøves ikke at være tal-geni for at bruge den. Alt for mange meningsmåliger er utroværdige, mener hjemmesidens iværksættere.
Danskerne bliver tæppebombet med undersøgelser, meningsmålinger og rundspørger. I 2010 var der 20.987 henvisninger til rundspørger, surveys og spørgeskemaundersøgelser – alene i de landsdækkende aviser. Det er en en stigning på 184 procent i forhold til 2005, viser en ny optællig fra Journalisthøjskolen.
To af Journalisthøjskolens medarbejdere mener, at grundlaget for undersøgelser ofte er dårligt, og at der ikke er dækning for de påstande, medierne trækker frem. De to medarbejdere har nu udviklet hjemmesiden www.en-undersoegelse-viser.dk , hvor man kan se, hvorvidt en meningsmåling er troværdig. Det kan gøre ved kun at taste tre tal ind – undersøgelsens påstand, antal adspurgte og de adspurgtes svar.
Så nu er der ikke længere nogen undskyldning for at konkludere, at et flertal er tilhængere af Euroen, hvis 52 procent ud af 1000 adspurgte siger ja til euroen i en undersøgelse. På hjemmesiden kan man teste andres og sine egne undersøgelsers statistiske usikkerhed.
Tidligere skrev Journalsiten, hvordan de tre store dagblade samme dag publicerede: "Thorning tilbage i førertrøjen" – Morgenavisen Jyllands-Posten forside. På Politikens forside stod der samme dag: "Lars Løkke kaprer flertallet tilbage", og i Berlingske Tidende kunne man læse "Hver fjerde vælger er i tvivl om krydset".
Chefredaktør på Berlingske, Tom Jensen, sagde dengang;
»Tal er taknemmelige. Vi skal være meget forsigtige med at fortolke dem.«
Med det nye værktøj, håber projektleder, Kresten Roland Johansen, at journalisterne bruger to minutter ekstra på at tjekke en meningsmåling validitet:
»Alt for få journalister er klædt ordentligt på til at forholde sig kritisk og kvalificeret til egne og andres undersøgelser. Det forsøger vi nu at afhjælpe. Det handler om troværdighed – og om at levere kvalitet til modtageren, siger Kresten Roland Johansen, underviser og projektleder ved Danmarks Medie- og Journalisthøjskole,
Han står også bag den nye bog "En ny undersøgelse viser – eller gør den?", sammen med kolleganen Lars Friis.
Efterprøv en meningsmåling her
5 Kommentarer
Du skal være logget ind med dit DJ-login for at kunne kommentere på artiklen.
Jeg er helt enig i Anna Midtgaards pointer, som er både væsentlige og rigtige. Det er også derfor, vi har afsat et kapitel i bogen til udelukkende at omhandle udtrækning af stikprøver og betingelser for generalisering.
Hjemmesiden er et supplement til bogens analysekapitel og tænkt som en genvej for alle mulige lægfolk, som ikke abonnerer på avancerede statistikprogrammer, men gerne vil kunne lave et hurtigt tjek af fx meningsmålingers usikkerhed.
Og meningsmålinger fra fx Greens, Epinion, Megafon, Gallup og Voxmeter er hurtige at "validere" for journalister og andre, da de alle stiller (næsten) enslydende spørgsmål (hvilket parti ville du stemme på, hvis der var folketingsvalg i morgen?), anvender anerkendte udtrækningsmetoder, og har nogenlunde samme svarprocent og stikprøvestørrelse.
Til gengæld kunne man godt ønske sig, at de pågældende meningsmålingsinstitutter ikke stillede sig tilfreds med at lave solide målinger, men også kerede sig lidt om formidlingen af deres undersøgelser og dermed hjalp til med at begrænse antallet af "sensationshistorier".
Statistisk usikkerhed er en væsentlig faktor, når man skal vurdere en meningsmåling. Og det vil bestemt være befriende, hvis man kunne begrænse antallet af sensationshistorier, der er baseret på, at et givent parti er gået et halvt procentpoint frem eller tilbage.Men dette er blot et lille skridt på vejen, hvis man ønsker at komme utroværdige meningsmålinger til livs (eller i hvert fald give læserne/lytterne/seerne en chance for at vurdere troværdigheden af en meningsmåling).Forudsætningen for at bruge statistisk usikkerhed som begreb og beregning er, at den forudgående udvælgelse er foretaget korrekt. Hvis ikke stikprøven er tilfældigt udvalgt, giver det ingen mening at tale om en beregning af den statistiske usikkerhed.Et klassisk eksempel er de meningsmålinger, der trak store overskrifter op til det amerikanske præsidentvalg i 1936. Her havde man i en måling spurgt 2,4 millioner borgere, hvem de ville stemme på. Resultatet viste tydeligt, at Alf Landon ville blive USA’s næste præsident. Som bekendt gik det ikke sådan – da valgdagen oprandt, vandt Roosevelt en overbevisende sejr. Dette til trods for, at at Landons føring i meningsmålingerne langt oversteg den statistiske usikkerhedsmargin. Problemet var, at stikprøven ikke var tilfældig og dermed ikke repræsentativ.I undersøgelsen havde man spurgt dem, man havde navne og adresser på. Navnene kom fra telefonbøger og medlemslister fra klubber. Denne metode frasorterede de fattigste – som i højere grad stemte på demokraten Roosevelt.Kvaliteten af stikprøven er helt fundamental for, hvorvidt man kan stole på en undersøgelse.Pointen er, at en validering af en meningsmåling, også kræver en subjektiv vurdering fra journalistens side. Man bør som minimum stille spørgsmål om, hvordan en stikprøve er udtrukket? Hvilken metode der er brugt? Hvor mange interview der er gennemført? Og på baggrund heraf, vurdere hvilken værdi målingen kan tillægges.
For over 10 år siden gik jeg kortvarigt på Journalisthøjskolen. Allerede dengang blev vi informeret om og undervist i de grænseløse brist ved mange af den slags undersøgelser. Det er min påstand, at ingen uddannede journalister kan være uvidende derom.
Gået på klingen, i Presselogen og når principdiskussioner momentvis er oppe, hører man da også journalister og redaktører nævne, at de for fremtiden skal blive meget bedre til at tage forbehold. Næste dag undlader de at gøre det. Jeg er for længst nået til den konklusion, at der er tale om ond vilje. Den slags historier skriver nærmest sig selv, og hvor findes den journalist, der igen og igen fortæller redaktøren, at man absolut intet kan konkludere på baggrund af de meningsmålinger, som mediet har betalt for, hvorefter man åbner skraldespanden og spilder pengene?
Institutterne leverer det, de bliver betalt for. Måske informerer de ikke i ét væk om faldgruberne, forbi de faktisk driver en forretning og fordi, medierne ikke ønsker konstant at blive mindet om kendt viden?
Til Otto o.a.
Bogens indhold og pointer har været pensum på Journalisthøjskolens 1. del de seneste 4-5 år, og de to forfattere har undervist i denne del af pensum næsten lige så længe.
Jeg vil ikke garantere, at ALLE på de senere årgange af journalister udklækket i Århus kan det på fingrene, men en del af dem kan - og resten kan formentlig godt huske noget om faldgruber og gevinster ved rundspørgerne.
Jeg kan i øvrigt varmt anbefale bogen - den er meget let tilgængelig og ...tror jeg ... med mange aha-pointer for langt, langt de fleste journalister.
Men en advarsel:
Når du har læst bogen, kan du aflive 7 ud af 10 historer med udgangspunkt i politiske meningsmålinger, for der er ikke grundlag for konklusionerne i størstedelen af alle disse historier. Den statistisk usikkerhed er som regel større end de udsving, som rundspørgerne vise. Og det BURDE analyse-institutterne gøre deres kunder - medierne - opmærksomme på. De ved det jo om nogen. Og i den forbindelse ros til Greens (Børsen), der som udgangspunkt offentliggør den statistiske usikkerhed for målingerne.
Men du kan jo som journalist vælge selv at tjekke rundspørger/meningsmålinger, så du ikke sender udokumenterede historier ud.
På bogens tilknyttede hjemmeside kan man med to tal fra undersøgelserne tjekke, hvilke konklusioner der holder:
http://www.en-undersoegelse-viser.dk/
Fremragende! Jeg synes tit, man ser undersøgelser, som får hæftet en konkluderende rubrik på, og så sendes smides i æteren / trykken / på skærmen, uden yderligere forklaring.Hvis stigningen virkelig er så høj, må man også sørge for at kvaliteten af "artiklerne", der bygger på de her undersøgelser, følger med. Om ikke andet så bare i nogle af tildfældene.
Er bogen i øvrigt ikke lige blevet pensum på Journalisthøjskolen?
Flere