8 gode råd: Lad dig ikke narre af ‘en ny undersøgelse viser’

Du har sikkert set eller hørt vendingen "en ny undersøgelse viser..." tusindvis af gange.

Men alt for ofte kan vi her på redaktionen konstatere, at virkeligheden enten slet ikke er, som den bliver præsenteret - eller også er der fejl i en undersøgelse, der gør, at den ikke kan sige dét, den bliver serveret som at kunne.

Undersøgelser kan være betalt af virksomheder eller interesseorganisationer, der har en særlig interesse i at få et budskab i medierne. Eller undersøgelsen kan være tolket af en mand med en sag, som deler sin nye ‘viden’ på de sociale medier, hvor hans budskab bliver flittigt delt og liket. Alt andet lige er der ofte godt salg i vendingen "en ny undersøgelse viser". Det gælder også hos medierne, der øjner en god og hurtig historie.

Herunder får du 8 gode råd til at spotte fejl og undgå faldgruber, når du næste gang falder over historier, hvor “en ny undersøgelser viser…”.

1. Kan det virkelig passe?

Okay, indrømmet. Det lyder simpelthen for banalt til at være et godt råd, men det ER et godt råd: Hvis en ny undersøgelse viser noget overraskende eller opsigtsvækkende, kan der være god grund til at være på vagt. 

Men hvornår er noget overraskende eller opsigtsvækkende? Det findes der ikke ét godt svar på, så man må følge sin mavefornemmelse. Det kan for eksempel være, når et medie skriver, at drikkevandsforureningen er femdoblet på ét år, eller et andet medie hævder, at Danmark er verdens dårligste sted at få venner, ja så er der måske en ide at stoppe op.

I det første tilfælde viste det sig nemlig, at der rigtignok blev fundet forurening i fem gange så mange prøver i 2017 som året før, men forklaringen var ikke, at vores drikkevand nu pludselig var udrikkeligt - nej, stigningen skyldtes, at man var begyndt at undersøge vandprøverne for et nyt stof, desphenyl-chloridazon, og det blev fundet i en del prøver. Derfor fandt man forurening - med det nye stof - i fem gange flere drikkevandsprøver i 2017. Pointen her er, at du bør stille spørgsmålstegn ved meget store udsving fra det ene år til det næste.

I det andet tilfælde, altså historien om, at Danmark er verdens dårligste sted at få venner, må du igen spørge dig selv, om det virkelig kan passe? Med tanke på, hvad der findes af lande, der er præget af hungersnød, borgerkrig, manglende demokrati og frihed for befolkningerne, lyder det umiddelbart voldsomt, at Danmark skulle være det allersværeste land at få venner i. Nuvel, vi er måske ikke just kendt for vores åbenhed herhjemme, men alligevel. Og man skal da heller ikke kaste mange blikke på den undersøgelse, der ligger bag historien for at afsløre, at den ikke kan bruges til ret meget.

Den væsentligste anke er, at der kun indgår 64 af verdens 195 lande i undersøgelsen. Et bud kunne være, at de 131 lande, som ikke er med i undersøgelsen, (heller) ikke ligefrem står klar med åbne arme, når de møder nytilkomne. Det er naturligvis spekulation, som vi ikke kan vide med sikkerhed - hvad vi derimod kan vide er, at man ikke kan kåre verdens dårligste land, når man ikke har alle lande med i sin undersøgelse. Hvis du vil gå i dybden med kritikken af undersøgelsen, kan du læse videre her.

2. Det helt grundlæggende: Hvor mange er spurgt? Og er det de rigtige?

En meget stor del af de undersøgelser og meningsmålinger, som medierne anvender i deres historier, er baseret på en forståelse af, at man kan spørge et lille udsnit af befolkningen og anvende deres svar som en god indikation af, hvordan hele befolkningen eller en stor befolkningsgruppe ville svare på de samme spørgsmål. Og det kan man faktisk godt - men det kræver, at man følger nogle bestemte spilleregler.

Noget af det allervigtigste er, hvem man spørger. Hvis du for eksempel vil vide, hvordan danskerne mener, at  Mette Frederiksen klarer sig som statsminister, nytter det ikke noget at spørge medlemmer af partiet Venstre. De vil nok være ret kritiske. Omvendt nytter det heller ikke noget at spørge en flok socialdemokrater. De vil sandsynligvis være tilbøjelige til at rose deres partileder.

Vil man vide, om danskerne gerne vil læse flere bøger, end de gør i dag, nytter det heller ikke noget, at man udelukkende spørger folk, der allerede køber bøger i en online bogbutik. Det valgte en dansk boghandel alligevel at gøre. Resultatet var, naturligvis fristes man til at sige, at danskerne gerne ville læse mere, end de gør. Historien endte i en dansk avis, som dog rettede den, da de blev gjort opmærksom på, at de adspurgte i undersøgelsen, næppe kan siges at repræsentere alle danskere. 

Det grundlæggende princip er nemlig, at den gruppe af mennesker, man stiller spørgsmålet, skal minde om den gruppe, man gerne vil fortælle om. Det hedder repræsentativitet. Hvis man gerne vil vide, hvad danskere over 18 år mener om noget, skal man derfor have fat i en gruppe, der på eksempelvis køn, alder, uddannelsesniveau og bopælsregion minder om gruppen af voksne danskere - altså skal de adspurgte være repræsentative for den befolkningsgruppe, man vil vide noget om.

En god grundregel at skrive sig bag øret er, at der helst skal være spurgt omkring 1.000 mennesker i en meningsmåling. Gør man det, kan man nemlig regne med, at meningsmålingen i 95 procent af tilfældene vil give et retvisende billede af, hvad befolkningen rent faktisk mener. Grundreglen gælder naturligvis kun, når undersøgelsen i øvrigt er lavet ordentligt.

Forklaringen er meget teknisk, men pointen er, at jo flere du spørger, desto mere sikkert bliver dit resultat. Men når du har spurgt 1.000, skal du spørge virkelig mange flere for at gøre din undersøgelse endnu mere sikker. Det kan som regel ikke betale sig. Derfor bliver der oftest spurgt omkring 1.000, når man laver meningsmålinger.

Vil man gerne finde ud af, hvad hele befolkningen mener om en sag, er det allerbedste faktisk at spørge 1.000 helt tilfældige danskere. Udfordringen er så at sørge for, at de vitterligt er helt tilfældigt udvalgt - tænk lige over, hvordan du vil knække den nød? Hint: Det duer ikke at stille sig ned på byens torv og spørge de første 1.000, man møder, lave et opslag på Facebook og bede om svar eller lægge et spørgeskema på en frit tilgængelig hjemmeside.

Er svarpersonerne repræsentativt udvalg vil det oftest fremgå af undersøgelsen – gør det ikke, er der ekstra grund til at være på vagt.

3. Spørgsmålsformulering: Som man råber i skoven, får man svar

Kan du så stole helt ukritisk på resultatet af en undersøgelse, hvis der er spurgt 1.000 mennesker, som er repræsentative for den gruppe, vi gerne vil vide noget om? Nej, vi er slet ikke i mål endnu.

Du skal nemlig også se på, hvordan spørgsmålet eller spørgsmålene er formuleret. Brug dig selv som eksempel. Hvad ville du svare på følgende spørgsmål:

Det er et helt neutralt spørgsmål. Svaret vil meget nøjagtigt afspejle din holdning til menneskerettighedskonventionen - hvis du altså har en. Analyseinstituttet Yougov spurgte faktisk knap 1.000 danskere netop det spørgsmål, og 73 procent af de adspurgte svarede, at de bakkede op om konventionen. Kun 12 procent ville ud. 

Svar så i stedet på dette spørgsmål, som blev stillet af analyseinstituttet Norstat kun et par dage før Yougov-målingen i forbindelse med en politisk debat om netop menneskerettighedskonventionen:

Hvad svarer du nu? 

Undersøgelsen med det spørgsmål viste pludselig noget helt andet, end undersøgelsen fra Yougov. Nu var hele 48 procent klar til at træde ud af konventionen, mens blot 34 procent bakkede op. 

Eksemplet viser, at formuleringen af spørgsmålet har kæmpe betydning for, hvordan folk svarer. Derfor skal man altid forholde sig (kritisk) til, hvilket spørgsmål, der er stillet i undersøgelsen. Selve spørgsmålsformuleringen bør altid fremgå af den nyhed, du læser, ser eller hører. På den måde kan du se, om meningsmålingen gengives rigtigt.

Eksemplet minder os også om en anden vigtig huskeregel: Kan du finde en lignende undersøgelse, der bekræfter resultatet? Det er sjældent, at en undersøgelse eller meningsmåling er den allerførste af sin art. Meget ofte vil man derfor kunne finde en tidligere undersøgelse, der ligner. Det giver mulighed for at sammenligne resultaterne. Ligger de tæt, øger det troværdigheden af målingerne - ligger de milevidt fra hinanden, kan det naturligvis skyldes en udvikling i befolkningens holdning til spørgsmålet, men det kan også skyldes, at man slet ikke har brugt sammenlignelige spørgsmålsformuleringer.

Der er mange andre faldgruber, du skal være opmærksom på, når du forholder dig til måden et spørgsmål er formuleret på. For eksempel bør der ikke være flere forhold i ét spørgsmål - fordi man så ikke ved, hvad respondenterne egentlig svarer på. Det gik eksempelvis galt i en undersøgelse, hvor formuleringen lød:

Men det spørgsmål indeholder i virkeligheden to spørgsmål. I det her tilfælde kan vi ikke sige, om respondenterne er trætte af dronning Margrethe eller glæder sig til kronprins Frederik overtager. Læs hele historien og kritikken af både undersøgelse og formidling i dette faktatjek.

Du bør også se på, om der er en tidsangivelse i spørgsmålet. For eksempel er der ret stor forskel på at stille spørgsmålet ”har du røget hash?”, hvor mange nok vil kunne svare ja. Lyder spørgsmålet i stedet ”Har du røget hash inden for den seneste uge?”, vil det sandsynligvis være væsentligt færre, der svarer ja.

I forlængelse af det kan du også bruge din mavefornemmelse til at vurdere, om du ville svare ærligt på spørgsmålet, hvis du selv skulle svare. Nogle spørgsmål er nemlig socialt følsomme, og det kan påvirke svarene. Eksempelvis vil de fleste af os måske overdrive mængden af ugentlig motion eller ture i teatret, og omvendt svare, at vi i den forgangne uge har indtaget mindre alkohol og spise færre frysepizzaer, end vi rent faktisk har. 

4. Bag om undersøgelsen: Tilfældigt udsving eller reel forandring

Når et medie anvender en undersøgelse i en artikel, er det vigtigt, at det fremgår, hvilken undersøgelse, der er tale om. For at vurdere resultatets troværdighed, skal vi kende til en række informationer. Det er blandt andet:

• Hvornår er svarene indsamlet?
• Hvordan lyder spørgsmålet?
• Hvem er blevet spurgt?
• Hvor mange har svaret ‘ved ikke’ på spørgsmålene?
• Hvad er den statistiske usikkerhed (se forklaring længere nede i artiklen)?

Den sidste bullet minder os om, at undersøgelser og meningsmålinger ikke er utvetydige sandheder. Når resultatet af en meningsmåling bliver præsenteret, er der nemlig ikke tale om en sandhed, der er mejslet i granit, men om et bedste bud på, hvad en given befolkningsgruppe ville svare på spørgsmålet. 

Når en meningsmåling med 1.000 respondenter viser, at der er 33 procent af vælgerne, der vil stemme på Socialdemokratiet, dækker det i virkeligheden over, at et sted mellem 30,1 og 35,9 procent bakker op om partiet. Det skyldes, at de 33 procent er et estimat - altså vores bedste bud på, hvad vælgerne vil stemme. Den usikkerhed, der er ved procentangivelserne i en meningsmåling, kaldes for den statistiske usikkerhed. 

Den statistiske usikkerhed er i dette tilfælde +/- 2,9 procentpoint. Det betyder reelt set, at partiet med meget stor sandsynlighed vil få mellem 30,1 og 35,9 procent af stemmerne - de 33 procent er blot det bedste bud.

I forbindelse med et medies artikel om den tidligere omtalte måling af opbakningen til dronning Margrethe, gik det helt galt med formidlingen af resultatet. Det viste sig nemlig, at 40 procent svarer ja til, at dronningen skal abdicere og lade kronprinsen komme til. 39 procent svarede nej. Artiklens overskrift blev "Klar melding fra et flertal af danskerne: Dronning Margrethe bør gå af". 

Men med vores nye viden om statistisk usikkerhed ved vi, at der absolut ikke er tale om et ‘klart flertal’. Den statistiske usikkerhed er nemlig +/- 3 procentpoint for begge tal - altså synes et sted mellem 37 og 43 procent, at dronningen skal abdicere, mens mellem 36 og 42 synes, at hun skal blive. De to tal overlapper hinanden - og det betyder, at vi reelt ikke kan sige andet end, at der er omtrent lige mange, der helst ser Dronningen abdicerer, som der synes, hun skal blive siddende som dronning. 

At der samtidig ikke var tale om en ‘klar besked’, som der stod i overskriften, fordi spørgsmålet indeholdt to forhold (skal Margrethe gå abdicere / så Frederik kan komme til) og, at 40 procent af danskerne jo ikke er ‘et flertal af danskerne’, gør bare overskriften endnu mere misvisende.

Vil du selv regne på den statistiske usikkerhed, kan du bruge denne hjemmeside, hvor du kan regne ud, hvor stor usikkerhed, der er på et tal fra en meningsmåling. Skal du se, om de to intervaller overlapper hinanden – og dermed ikke er signifikant forskellige  – skal du bruge denne regnemaskine.

5. Er resultaterne mistolket - og er der styr på rækkefølgen?

Meningsmålinger fylder meget i medierne, men andre typer af undersøgelser slipper også igennem redaktionernes nåleøje og ender som gode historier. I forbindelse med coronapandemien kunne flere medier berette, at vi googlede skilsmisse relaterede ord usædvanligt meget i starten af den nedlukning af samfundet i marts 2020, som corona forårsagede.

En dansk avis kunne fortælle, at danskerne fra den første til den anden uge i coronanedlukningen googlede ‘skilmisseadvokat’ 120 procent mere, mens søgninger på ‘skilsmissepapirer’ steg med hele 170 procent.

Det er nogle voldsomme stigninger - og tolkningen ligger lige for. Efter at have været spærret inde i sit hjem uden mulighed for at aflevere børnene i institutioner og selv tage på arbejde, er de danske parforhold sat under pres. En bølge af skilsmisser venter.

Men! Selvom der i dette tilfælde ikke er tale om en meningsmåling, men om helt regulære tal, der fortæller, hvordan danskerne rent faktisk opfører sig på søgemaskinen Google, er der alligevel grund til at være på vagt. 

Undersøgelsen sammenlignede nemlig kun den første uge under coronanedlukningen med den efterfølgende uge. Her skete der rigtignok en voldsom stigning. Men hvis man gjorde sig den ulejlighed at udvide den periode, man undersøgte - altså at kigge længere tilbage i tiden før coronakrisen - ville man kunne se, at antallet af søgninger på de skilsmisse relaterede ord, der indgik i undersøgelsen, ofte stiger og falder. Faktisk er skilsmissesøgningerne i coronanedlukningens anden uge slet ikke bemærkelsesværdige eller højere, end man jævnligt ser – se bare, hvordan søgninger på skilsmisseadvokat svinger op og ned på grafen herunder. 

Man skal altså holde øje med, hvornår data er indsamlet og hvilken periode, det dækker. Og så skal man passe på med at forfalde til den forklaring, der ligger lige for - altså som her at coronanedlukningen giver flere skilsmisser. 

6. Olieimport og trafikulykker - om tvivlsomme årsagssammenhænge

Vi bliver lidt i samme boldgade som med coronanedlukningen og skilsmissesøgningerne. Mange undersøgelser giver nemlig mere eller mindre direkte et indtryk af, hvordan verden hænger sammen - altså at et fænomen er årsagen til et andet.

Se for eksempel nedenstående kurver, som stammer fra den virkelige verden. Den røde kurve er mængden af olie, som USA har importeret fra Norge, mens den blå viser antallet af bilister, der har mistet livet i sammenstød med tog. Det er meget svært at forestille sig, at de to ting skulle have noget som helst med hinanden at gøre. Og det er da også tilfældigt, at de to kurver følges ad. Kilde til data er U.S. Office of Management and Budget og Centers for Disease Control & Prevention.

Det kan altså godt se ud som om, der er en sammenhæng, selvom det slet ikke er tilfældet. De fleste af os vil automatisk søge efter en logisk forklaring på, hvad vi ser. Husk på eksemplet med googlesøgninger på skilsmisse og coronanedlukningen. Det lignede en årsagssammenhæng, men det var (sandsynligvis) bare en tilfældighed. 

På samme måde vil du også kunne se, at antallet af drukneulykker stiger, når der bliver spist mange is. Men igen er det nok de færreste, der drukner, fordi de spiser is – til gengæld får solskin og sommervarme flere mennesker til både at spise is og gå mere i vandet. Derfor følges de to størrelser ofte ad, selvom de ikke direkte påvirker hinanden.

7. Nysgerrig undersøgelse eller bestilt til et bestemt resultat?

Et godt tip er også at holde øje med, hvem der har bestilt og betalt for en given undersøgelse? Det betyder ikke nødvendigvis, at en undersøgelse er dårlig eller designet til at give et bestemt resultat, men hvis en tobaksproducent har fået lavet en undersøgelse, der viser, at danskerne gerne vil fortsætte med at ryge trods sundhedsrisici, er det måske en god idé at forholde sig kritisk til undersøgelsen. Det samme gør sig principielt set gældende, hvis det i stedet er en organisation, der arbejder for at forbyde rygning. 

I samme ombæring kan du lige se efter, om undersøgelsen er udført af et anerkendt analyseinstitut, universitet en anden forskningsinstitution - det bør være et tegn på kvalitet og troværdighed. Selvom de naturligvis også kan lave fejl.

Det er derfor fint at undersøge, hvem der står bag, men dét alene er ikke nok til at bestemme, om du skal stole på resultaterne af en undersøgelse eller ej.

8. Hver 20. undersøgelse rammer forbi - træk håndbremsen eller tryk på speederen?

Selv de bedste analyseinstitutter og dygtigste forskere rammer af og til forbi med en måling. Så inden du kaster dig over avisen, Facebook eller din sagesløse onkel for at faktatjekke deres påstande med din nye viden om meningsmålinger og undersøgelser, skal du lige have et sidste tip med. 

Det er nemlig sådan, at uanset, hvor dygtige, fair og tålmodige dem, der udarbejder meningsmålinger er, rammer hver 20. måling skævt. Det lumske er, at man aldrig kan vide med sikkerhed, om man sidder med en sådan skæv måling. I langt de fleste tilfælde er målingen blot lidt uden for skiven, så det er ofte svært at gennemskue.

Inden for videnskaben, hvor metoderne bag meningsmålinger er udviklet, forfinet og flittigt anvendt, betyder det, at man altid er ekstra varsom med at lægge for meget vægt på målinger, der pludselig giver et meget bemærkelsesværdigt resultat. Er målingen opsigtsvækkende, bør man være særligt påpasselig med at tolke på den, lyder logikken.

I medierne findes den stikmodsatte logik, lidt groft sagt. Jo flere nyheder og jo større udvikling en ny undersøgelse kan vise, desto bedre en historie kan man vride ud af den. En undersøgelse, der bare bekræfter resultatet af en undersøgelse et par uger tidligere, har ikke den store nyhedsværdi.

Indrømmet, ovenstående er tegnet meget hårdt op, men overdrivelse fremmer som bekendt forståelsen. Viser en undersøgelse et særligt overraskende resultat, eller vender en ny meningsmåling fuldstændig op og ned på det politiske landskab, så vil videnskabsmanden være skeptisk, gentage målingen og se, om en ny giver samme resultat. Nogle medier griber derimod ofte det opsigtsvækkende resultat og skriver en spændende historie, som vil blive delt flittigt på de sociale medier. Men forhåbentlig ikke af dig, for du går straks i gang med at søge efter andre målinger, der kan be- eller afkræfte historien, før du deler eller kommenterer på de sociale medier.

Vi kunne godt finde på flere gode tip. Men uanset hvad er det suverænt bedste råd, at du altid skal være bruge din sunde fornuft og være særligt kritisk, når medier eller brugere på sociale medier beretter om en undersøgelse eller meningsmåling, der viser et overraskende resultat eller en bemærkelsesværdig udvikling.

Denne artikel er udarbejdet med bidrag fra Kresten Roland Johansen, der er lektor ved DMJX, hvor han forsker og underviser kommende journalister i metode og statistik.