For få svar og manglende nuancer i spørgsmålene, lyder kritikken af Berlingskes undersøgelse.
Avisen afviser blankt.

STATISTIK. Journalisterne Nils Mulvad og Lars Friis, der begge har stor indsigt i journalisters brug af undersøgelser, mener, at professor Jørn Vestergaard har ret i sin kritik af Berlingskes undersøgelse og Universitetsavisens opfølgning.

"KU-forskere ønsker rektors afgang," lød det på forsiden af Berlingske den 23. juni. Men selv om avisen har spurgt 5.500 forskere på universitetet "Mener du Ralf Hemmingsen bør gå af efter Penkowa-sagen?", og 1.049 har svaret – heraf 48,3 procent ja – så mener eksperterne ikke, at materialet er solidt nok.

»Problemet i Berlingskes undersøgelse er, at avisen journalistisk konkluderer, at halvdelen af alle forskere mener, rektor bør gå af, men det er kun 20 procent, der har udtalt sig, og kun halvdelen heraf, der mener det,« siger Niels Mulvad fra Kaas & Mulvad Research & Analyse.

Berlingskes undersøgelse den 23. juni. Avisen fastholder i dag, at konklusionen er sikker, selv om kritikere langer hårdt ud efter den.

Også Lars Friis, der sammen med Kresten Roland Johansen har skrevet bogen "Ny undersøgelse viser – eller gør den?", er skeptisk over for det statistiske grundlag i Berlingskes undersøgelse, der ligger til grund for Universitetsavisens opfølgning.
»Svarprocenten i Berlingskes undersøgelse er ikke høj nok. Du ved ikke, om de, der ikke har svaret, støtter rektor. Jeg savner også nuancer i spørgsmål og svarkategorier. De appellerer til dem, der er kritiske over for rektor,« siger Lars Friis.

Dermed støtter de to journalister professor Jørn Vestergaard, Københavns Universitet, der i en intern mail hårdt har kritiseret, at Universitetsavisen med overskriften "Bør rektor gå?" kopierede Berlingskes undersøgelse.

Men researchredaktør på Berlingske Thomas Hedin mener, at avisens spørgsmål er meget klare og svarene så entydige, at rundspørge og konklusion står fast.
»Andelen af faktiske antal svar i forhold til målgruppens størrelse er så høj, at kritikken om den lave svarprocent ikke holder i dette tilfælde,« påpeger han og understreger, at intet tyder på, at rektors støtter skulle have holdt sig fra at svare.
»Vi har i introduktionen til spørgeskemaet ikke fortalt i detaljer, hvad spørgsmålene handler om. Man får altså ikke mulighed for at vælge spørgeskemaet fra ud fra ens positive/negative holdning til rektor. Der er derfor ingen grund til at tro, at en sådan bias skulle være til stede.«

Både Niels Mulvad og Lars Friis understreger, at tallene brugt rigtigt kunne være interessante nok.
»Undersøgelsen er ikke irrelevant. Den skulle blot have været lanceret på, at 500 forskere mener, at rektor bør gå af. Det er der belæg for,« siger Niels Mulvad, der mener, at Universitetsavisen.dk skulle have været grundigere i sin egen undersøgelse, hvor man på hjemmesiden kopierede Berlingskes spørgsmål.

»Det er relevant, at Universitetsavisen.dk følger op på undersøgelsen, dertil er tallene store nok. Men de burde have brugt mere energi på at kvalificere deres egen undersøgelse, blandt andet ved at teste, om spørgsmålene er de rigtige, og ved at få svarprocenten højere op.«

Også Lars Friis mener, at de 500 forskere, der vil af med rektor, er så stort et tal, at man kunne have arbejdet videre med det.
»Jeg vil ikke kalde det tendentiøst, men det kunne have været mere nuanceret. Generelt skal man passe på med at bruge stemmemaskiner på hjemmesider. Du aner ikke, hvem der klikker forbi.«

Richard Bisgaard siger i dag, at Universitetsavisen burde have lavet en mere gennemarbejdet undersøgelse.
»Vi skulle have været kritiske over for Berlingskes undersøgelse. Men det var relevant at følge op, som vi gjorde.«
Universitetsavisen bragte aldrig resultatet af sin undersøgelse, fordi svarprocenten var for lav, hvilket Richard Bisgaard i dag er glad for.
»Kort sagt: Vi måtte gerne spørge, om rektor burde gå, men vi burde have lavet en bedre undersøgelse. Det skriver vi os bag øret til næste gang,« sammenfatter Richard Bisgaard.

—

Nils Mulvad, lektor på Journalisthøjskolen og redaktør i Kaas & Mulvad, har for Universitetsavisen vurderet kvaliteten af Berlingskes undersøgelse. Journalisten har fået lov at offentliggøre vurderingen:

Vurdering af rundspørger om Københavns Universitet i Penkowa-sagen

Berlingske bragte en artikel den 23. juni om forskeres kritik af rektor. Berlingskes rundspørge om forskernes holdning til rektor og bestyrelsen på Københavns Universitet indeholder klare spørgsmål med gensidigt udelukkende svarkategorier. Det er relevante spørgsmål til at få dækkende svar i en så penibel sag. Det er udmærket at sende den ud til alle forskere. Men det er besynderligt med en så lav svarprocent på 19 (1.049 svar ud af 5.500 respondenter).

Berlingske burde have arbejdet en del med at få svarprocenten op. Det kunne måske være sket ved at sikre direkte udsendelse af rundspørgen og flere rykkere. Indsamlingsmetoden fremgår dog ikke af artiklen. Det kan være, at journalisterne har gjort en del. Det kan også være, at de blot har sendt ud en enkelt gang.

Hvordan de rent faktisk har gjort det, betyder noget for, hvad de kan konkludere ud fra undersøgelsen. Har der været rykket flere gange, må de have svar på, hvorfor så mange ikke svarer. Har den blot været sendt ud en gang, er svarprocenten lav, men ikke fuldstændig uforklarlig.

Der er ikke dækning for, at Berlingske indleder historien sådan her: "Op mod hver anden videnskabelig medarbejder på Københavns Universitet (KU) tilkendegiver over for Berlingske, at Ralf Hemmingsens burde fratræde sin rektorstilling som følge af skandalesagen om hjerneforsker Milena Penkowa."

Avisen generaliserer, hvor den skulle holde sig til at sige, at 507 svarpersoner mener, at rektor bør gå, og at 426 ikke har tillid til bestyrelsen.

Jeg vil tro, at der er en overvægt af kritikere af rektor blandt besvarelserne, således at undersøgelsen ikke er dækkende for forskernes synspunkter generelt. Men det ville formentlig være tilfældet uanset, hvordan spørgsmålene var formuleret. Kritikerne vil gerne have deres synspunkter ud og frem i medierne, og derfor vil flere af dem formentlig svare end forskere uden den holdning.

Der er samtidig en klar tendens til, at folk ikke svarer på alle de mange rundspørger, der hele tiden kommer, og at det er almindelig rundspørge-træthed, der får folk til ikke at svare, ligesom mange forskere af principielle grunde ikke vil svare på rundspørger fra medierne. Det vil også omfatte de kritiske forskere. Så der er formentlig flere kritiske forskere end de 507.

Spørgsmålene i rundspørgen fra Berlingske
Jeg er blevet spurgt, om spørgsmålene er voldsomt tendentiøse og ledende ved næsten konsekvent kun at vende den ene vej.

Man kan godt kritisere formuleringen af spørgsmålet:
»Har du fortsat tillid til bestyrelsen, så længe Ralf Hemmingsens fortsætter som rektor?«

Tager man spørgsmålet bogstaveligt, svarer man ja til, at man altid og i alle sager vil have tillid til bestyrelsen – blot Ralf Hemmingsen er rektor. Det burde have været omformuleret til noget i stil med: "Påvirker det din tillid til bestyrelsen, at Ralf Hemmingsen fortsat er rektor" – og svarkategorier kunne fx have været:
Min tillid til bestyrelsen er øget. Min tillid til bestyrelsen er uændret. Min tillid til bestyrelsen er mindsket.

Formuleringen er blot et af flere tegn på, at rundspørgen ikke er tilstrækkelig gennemarbejdet.

Spørgsmålene vender "den ene vej", men det gør ikke undersøgelsen voldsom tendentiøs. Nogle gange er det dog en god ide at tage et spørgsmål med, som er vendt den anden vej – netop fordi erfaringen viser, at det er lettere at få folk til at erklære sig enige end uenige. Det har man så ikke gjort her, men det havde styrket deres dokumentation, hvis de havde gjort det.

Dog er det som hovedlinje klare spørgsmål med gensidigt udelukkende svarkategorier. I journalistiske rundspørge skal hvert spørgsmål normalt kunne føre til en journalistisk vinklet historie. Det er for ikke at spilde respondenternes tid og dermed få bedre svarprocenter, ligesom der skal være et klart journalistisk formål med en rundspørge.

Universitetsavisens opfølgning
Universitetsavisen refererede Berlingskes artikel i en omtale den 24. juni 2011 og lancerede her sin egen rundspørge. Det er en fornuftig journalistisk opfølgning at forsøge at finde ud af, hvor udbredt kritikken af rektor og bestyrelsen rent faktisk er blandt de forskellige personalegrupper og studerende på universitetet.

Berlingske-spørgsmålene er fornuftige til det, men netop i lyset af den lave svarprocent i Berlingske burde man have gjort en del for at sikre bedre svarprocenter og repræsentativitet, dvs. arbejdet en del med, hvordan man sender rundspørgen ud, så den faktisk får folk til at svare. At sende den ud som en del af et nyhedsbrev og lade den være klikbar på hjemmesiden, sådan som Universitetsavisen gjorde, giver efter erfaringen meget få svar. Her burde man have arbejdet en del med følgebrevet (kort og klart) og testet det og rundspørgen flere gange hos svarpersoner, før det var sendt ud. Herefter burde rundspørgen være sendt særskilt ud, og der burde være rykket flere gange.

Ligeledes burde man særskilt overveje, om man evt. kunne gøre besvarelserne repræsentative, evt. ved at begrænse respondentgruppen og så i stedet gøre en del for at få svarprocenten op, for eksempel ved at bruge de mailadresser, der fremgår af universitets telefonbog. På den måde ville man på forhånd vide, hvilken medarbejder og -type, der var tale om. Det ville give mulighed for at teste for repræsentativitet, og det ville gøre det nemmere at gøre en indsats for at få svarprocenten op på et fornuftigt niveau.

Når der er så få besvarelser, burde der ikke være skrevet en artikel. Det er godt, at den i det mindste ikke er trykt. Den bidrager netop ikke med at afklare, hvor udbredt kritikken faktisk er.

Konklusion
Spørgsmålene i Berlingske-rundspørgen er OK, men svarprocenten er meget lav, og der er ikke dækning for avisens konklusion. Artiklen bidrager til at vise omfanget af utilfredsheden, om end avisen med stor sandsynlighed skyder over målet.

Det er udmærket at følge op ved at genbruge spørgsmål (evt. foretage mindre revisioner efter test) over for alle personalegrupper og studerende, men svarprocenten i Universitetsavisens rundspørge er alt for lav til at konkludere noget.

I journalistik generelt og særskilt analytisk journalistik er det almindeligt, at medierne begår fejl. En fornuftig metode er her at lade være med at trykke resultatet og gøre det bedre næste gang.

Det er også meget udbredt, at de kritiserede i en journalistisk artikel forsøger at vende kritikken mod budbringeren og få diskussionen til at dreje sig om metoder i stedet for indhold. Det betyder selvfølgelig, at man som medie skal forsøge at gardere sig og sørge for, at metoderne er 100 pct. i orden, men også at man skal tage de mest kritiske med et gran salt. Ofte er det, fordi de ikke bryder sig om konklusionen og diskussionen og ønsker opmærksomheden fjernet herfra.

Se for eksempel dette indlæg om en rundspørge om forfatteres selvcensur:
http://www.kaasogmulvad.dk/2010/01/forfattere-raser/

Og her et mere generelt blogindlæg om journalister som skydeskive:
http://www.kaasogmulvad.dk/2010/03/journaliste-som-skydeskive/