Hvilke anbefalinger tilskriver statistikken?
Statistisk set er en meningsmåling pålidelig, når tilstrækkelig mange deltager i undersøgelsen, og når sammensætningen af de adspurgte afspejler samfundet eller den specifikke målgruppe, som man undersøger. De fleste anbefaler, at der interviewes omkring 1.000 personer, når der skal laves en meningsmåling, hvilket ligger sig tæt op af Georg Gallups første anbefalinger på mellem 1.000 og 2.000 personer.
For det andet skal en meningsmåling baseres på en repræsentativ gruppe af mennesker. Det vil sige, at hvis man stiller folk et politisk spørgsmål op til et folketingsvalg, bør sammensætningen af de mennesker, man spørger, repræsentere alle grupper i samfundet, der har stemmeret. Således skal både gamle og unge spørges, højtuddannede og ufaglærte, højindkomstgrupper og lavindkomstgrupper osv. På den måde får man det bedst mulige billede af, hvad man på samme tid ville have fundet i en tilsvarende undersøgelse af hele befolkningen.
Ifølge bogen “Ja, nej, ved ikke” (se kilder), skrevet af Kasper Vilstrup, der i 1963 grundlagde analyseinstituttet Vilstrup, kan man opnå en pålidelig repræsentativ stikprøve på følgende to måder:
- Ved at udvælge interviewpersonerne tilfældigt: Sandsynlighedsregningen tilskriver, at ethvert element i en befolkning har en på forhånd kendt sandsynlighed for at indgå i stikprøven. Samtidig må man forlange, at den enkelte persons udtrækningschance er uafhængig af, hvilke andre personer, der udtrækkes til stikprøven, eller at vedkommende kun har tilfældig forbindelse hermed. Det kan man opnå ved simpel lodtrækning; eksempelvis ved simpel udtrækning af 1.000 telefonnumre blandt alle danske numre.
- Ved en streng systematisk udvælgelse: Det kan ske ved en systematisk fremtælling med et bestemt interval gennem en ordnet udgave af hele den samlede befolkning. Det svarer eksempelvis til at udvælge alle, der har et telefonnummer med et bestemt endetal.
Hvad er den kvantitative metode?
Kvantitative metoder anvendes typisk, hvis undersøgelsen skal give et overblik over en problemstilling, altså hvis der søges svar på spørgsmål som ‘hvor mange’, ‘hvor meget’ eller ‘hvor ofte’. De kvantitative metoder er eksempelvis velegnede til at afdække, om flertallet af danskerne er for eller imod euroen. Metoderne kan dog ikke afdække de mere ubevidste og emotionelle årsager, der ligger bag holdningerne. Et eksempel på et spørgsmål angående arbejdsmiljø taget fra bogen “Guide til spørgeskemaundersøgelser – med introduktion til defgo.net” (se kilder) er: “Har du på din arbejdsplads oplevet handlinger blandt de ansatte, du vil karakterisere som sexchikane? Sæt kryds i en af de fem kategorier: Aldrig/Sjældent/Ofte/Meget ofte/Ved ikke.”
Hvad er den kvalitative metode?
De kvalitative metoder benyttes, hvis en undersøgelse skal gå i dybden med en kompliceret problemstilling og give svar på spørgsmål som ‘hvordan’ og ‘hvorfor’. De mest udbredte kvalitative undersøgelser er interviewbaserede, hvilket blandt andet skyldes, at interviewformen bedst sikrer, at den adspurgte forstår, hvad der spørges om og hvorfor.
Et eksempel på et kvalitativt spørgsmål angående arbejdsmiljø er: “Sexchikane er et tema, der har været snakket meget om i medierne. En del af debatten har handlet om, hvilke handlinger på jobbet der er sexchikane, og hvilke der ikke er det – altså en definition af begrebet sexchikane. Hvad er dit syn på, hvad sexchikane på jobbet er?” Svaret noteres af interviewer eller optages.
Et andet eksempel er: “Har du, ud fra din egen definition på sexchikane, oplevet kolleger blive udsat for sexchikane?” Svaret noteres af interviewer. Hvordan er reaktionerne på spørgsmålet? Observer interviewpersonens siddestilling (åben/lukket), ben, arme og hænder, ansigtsudtryk, øjne, stemmeføring med mere.
Begge eksempler er taget fra bogen “Guide til spørgeskemaundersøgelser – med introduktion til defgo.net” (se kilder).
Hvordan bør spørgsmål formuleres?
I bogen “Guide til spørgeskemaundersøgelser – med introduktion til defgo.net” (se kilder) opstilles følgende anvisninger til spørgsmålene:
- Spørgsmålene skal være klare. Undgå at benytte begreber, hvor svarpersonerne kan komme i tvivl om meningen.
- Spørgsmålene skal være forståelige, så pas eksempelvis på med at bruge indskudte sætninger.
- Spørgsmålene skal være endimensionale, det vil sige, at der ikke må spørges om mere end én ting per spørgsmål.
- Spørgsmålene må ikke være ledende. Det betyder blandt andet, at man ikke må spørge: “Synes du ikke også, at...”
- Spørgsmålene må ikke være provokerende. De må ikke indeholde nedsættende tale, bandeord og slang, da det kan medføre negative reaktioner fra den adspurgte.
- Spørgsmålene skal være korte og præcise.
Svarmulighederne kan ifølge bogen “Dagens mening. Bruk av meningsmålinger i journalistik” (se kilder) også påvirke, hvordan folk svarer. Hvis man i et spørgsmål, der vil afklare, om de adspurgte er for eller imod en given lov eller lignende, inkluderer et ‘ved ikke’ i formuleringen af spørgsmålet, er der eksempelvis større sandsynlighed for, at respondenterne svarer ved-ikke, fordi det dermed fremstår som en mere plausibel mulighed ikke at tage stilling, og det bør selvfølgelig reflekteres i fortolkningerne af de forskellige undersøgelser.
Hvordan kan man vurdere spørgsmål?
Måden, hvorpå spørgsmål i en meningsmåling er formuleret, kan påvirke, hvordan folk svarer. Ifølge bogen “Dagens mening. Bruk av meningsmålinger i journalistik” (se kilder) kan man få de svar, man ønsker, bare ved at formulere spørgsmålene derefter, og dermed bliver det nemt at manipulere bestemte svar frem. Små nuancer kan afgøre, om folk svarer ja eller nej. Derfor er det vigtigt, at spørgsmålene i en undersøgelse er entydige, altså at den, der bliver spurgt, vil forstå spørgsmålet på samme måde som den, der spørger. Og det er lige så vigtigt, at journalisterne, der videreformidler historien om en given meningsmåling, forholder sig kritisk til, hvordan spørgsmålene er stillet.
Et hjemligt eksempel fra 2006 kan belyse problemstillingen. Først blev en meningsmåling om danskernes lyst til at arbejde mere for mindre skat refereret i Berlingske Tidende, og dagen efter kom en tilsvarende undersøgelse i Mandag Morgen frem til et helt andet resultat. Det noget mærkelige sammenfald undersøgte TV-avisen nærmere i et nyhedsindslag, for hvordan kunne det være, at skattelettelser kun kunne få 9% af danskerne til at arbejde mere i Mandag Morgen, mens de i Berlingske Tidende kunne få 52% af danskerne til at arbejde mere? Forklaringen lå i spørgsmålsformuleringen. Mens Mandag Morgen havde spurgt: “Hvis der kommer lettelser i indkomstskatten i 2007 og 2008, vil det få dig til at arbejde mere eller mindre, end du ellers ville have gjort?”, mens Berlingske Tidendes spørgsmål lød: “Mener du, lavere skat generelt vil få danskerne til at arbejde mere?” Som sådan er der ikke noget galt med nogle af spørgsmålene, men svarene bliver vidt forskellige, fordi det ene spørgsmål er personligt, mens det andet handler om gisninger om den samlede befolknings adfærd.
Hvordan kan man vurdere svarene?
Det er vigtigt at tage hensyn til, hvorvidt omkringliggende forhold og omstændigheder kan have påvirket resultatet af en måling, anføres det i bogen “Dagens mening. Bruk av meningsmålinger i journalistik” (se kilder): “Der kan være hændt ting, som gør, at folk for en kort stund, enten i protest eller glæde, svarer afvigende fra det, de vanligvis giver udtryk for.”
Desuden kan der være en risiko for, at meningsmålinger om følsomme emner eller spørgsmål ikke er retvisende for den egentlige holdning i samfundet. Man taler om, at der så kan være et mørketal i undersøgelsen, forklarer analyseinstituttet Megafon i en artikel fra Politiken i 2016, ”Der er to typer usikkerheder i politiske meningsmålinger” (se kilder): ”Dette metodiske problem kan opstå, hvis konkrete holdninger eller partier bliver genstand for massiv og konsekvent kritik eller opfattes som politisk ukorrekte i store dele af pressen og samfundet. Hvis en person har oplevet situationer, der har været ubehagelige som følge af omverdenens fordømmelse i denne sammenhæng, desto mere tilbøjelig vil han/hun være til at prøve at undgå at svare,” skriver Megafon om problemet.
Et eksempel var Folketingsvalget i 2015, hvor det kom bag på alle eksperter og medier, at Dansk Folkeparti fik et så stort valg. I de mange meningsmålinger op til valget bølgede DF frem og tilbage mellem en vælgertilslutning på 18% og 19%, men på valgdagen endte de med at få over 21% af stemmerne. Ifølge analysechef for Voxmeter, Anna Midtgaard Christensen, skyldes de misvisende målinger op til valget, at de mange nye DF-vælgere ikke har villet sige, hvad de stemte på: ”Det så vi også for 10-15 år siden, hvor Dansk Folkeparti også blev kraftigt undervurderet i målingerne. Dengang voksede partiet også, og det samme gjorde sig gældende denne gang, så de nye DF-vælgere vil tilsyneladende ikke fortælle os det,” sagde hun i en artikel i Information, ”Den skjulte DF-vælger og den ærlige Alternativet-vælger” (se kilder).
Hvordan kan man vurdere de konkrete tal?
Når resultaterne af en opinionsundersøgelse skal formidles af journalister, er det vigtigt at vurdere, om den pågældende fremgang eller tilbagegang er så stor, at den er større end den statistiske usikkerhed, der er forbundet med enhver stikprøvemåling. For at vurdere det, skal man bruge antallet af deltagere, der har svaret, samt det tal, man ønsker at tjekke.
Et eksempel kan være: En politisk meningsmåling foretaget af Greens Analyseinstitut, hvor 882 personer blev adspurgt, viste, at Socialdemokraterne ville få 26,2% af stemmerne, hvis der var valg i slutningen af september 2007. For at undersøge tallet skal procentdelen laves om til decimaltal, så 26,2% bliver til 0,262. Decimaltallet skal nu ganges med 1 minus tallet selv og divideres med antallet af deltagere:
0,262*(1-0,262)/882=0,00021922
tag kvadratroden af dette tal. Resultat = 0,0148054
Gang resultatet med 1,96. Resultat = 0,0290185
Når det fremkomne tal ganges med 100, får man usikkerheden på Socialdemokraternes stemmeandel på 26,2 til at være 2,9 procentpoint på hver side. Tallet vil normalt ligge mellem 1 og 3. Det betyder, at hvis stikprøven ellers er repræsentativ, så vil Socialdemokraterne med 95% sandsynlighed få mellem 23,3 og 29,1% af stemmerne.
Hvordan bør medierne referere meningsmålinger?
Medieforsker Preben Sepstrup siger i artiklen “Meningsmålinger: Vi ved ikke, hvad vi mener” (se kilder), at for at læserne kan vurdere en undersøgelses kvalitet, må en artikel om en opinionsundersøgelse som minimum forsynes med følgende: “Som minimum bør det fremgå, hvordan svarene er indhentet, hvor mange der har svaret på de enkelte spørgsmål, hvor stor den statistiske usikkerhed er ligesom de eksakte spørgsmålsformuleringer bør fremgå.”