kanskje den viktigste delen av undersøkelsesprosessen er opprettelsen av spørsmål som nøyaktig måler meninger, erfaringer og oppførsel av publikum. Nøyaktig tilfeldig prøvetaking vil bli bortkastet hvis informasjonen som samles inn er bygget på et rystende grunnlag av tvetydige eller partiske spørsmål. Å skape gode tiltak innebærer både å skrive gode spørsmål og organisere dem for å danne spørreskjemaet.

Spørreskjema design er en flertrinns prosess som krever oppmerksomhet til mange detaljer samtidig. Utformingen av spørreskjemaet er komplisert fordi undersøkelser kan spørre om emner i varierende grad av detalj, spørsmål kan stilles på forskjellige måter, og spørsmål som stilles tidligere i en undersøkelse, kan påvirke hvordan folk svarer på senere spørsmål. Forskere er også ofte interessert i å måle endring over tid og må derfor være oppmerksomme på hvordan meninger eller atferd har blitt målt i tidligere undersøkelser.

Landmålere kan gjennomføre pilottester eller fokusgrupper i de tidlige stadiene av spørreskjemautvikling for å bedre forstå hvordan folk tenker på et problem eller forstå et spørsmål. Pretesting en undersøkelse er et viktig skritt i spørreskjemadesignprosessen for å evaluere hvordan folk svarer på det generelle spørreskjemaet og spesifikke spørsmål, spesielt når spørsmål blir introdusert for første gang.

i mange år har landmålere nærmet seg spørreskjemadesign som en kunst, men betydelig forskning de siste førti årene har vist at det er mye vitenskap involvert i å lage et godt spørreskjema. Her diskuterer vi fallgruvene og beste praksis for å designe spørreskjemaer.

Spørsmålsutvikling

det er flere trinn involvert i å utvikle et spørreskjema. Den første er å identifisere hvilke emner som skal dekkes i undersøkelsen. For pew Research Center-undersøkelser innebærer dette å tenke på hva som skjer i vår nasjon og verden, og hva som vil være relevant for publikum, beslutningstakere og media. Vi sporer også meninger om en rekke problemer over tid, slik at vi ofte sørger for at vi oppdaterer disse trendene regelmessig for å bedre forstå om folks meninger endrer seg.

på pew Research Center er questionnaire development en samarbeidende og iterativ prosess der ansatte møtes for å diskutere utkast til spørreskjemaet flere ganger i løpet av utviklingen. Vi tester ofte nye undersøkelsesspørsmål på forhånd gjennom kvalitative forskningsmetoder som fokusgrupper, kognitive intervjuer, pretesting (ofte ved hjelp av en online, opt-in-prøve) eller en kombinasjon av disse tilnærmingene. Forskere bruker innsikt fra denne testingen til å finjustere spørsmål før de blir spurt i en produksjonsundersøkelse, for eksempel PÅ ATP.

Måling av endring over tid

Mange landmålere ønsker å spore endringer over tid i folks holdninger, meninger og atferd. For å måle endring, blir spørsmål spurt på to eller flere punkter i tid. Et tverrsnittsdesign undersøker forskjellige personer i samme befolkning på flere tidspunkter. ET panel, som ATP, undersøker de samme personene over tid. Det er imidlertid vanlig at settet av personer i undersøkelsespaneler endres over tid etter hvert som nye paneldeltakere legges til og noen tidligere paneldeltakere faller ut. Mange av spørsmålene I pew Research Center undersøkelser har blitt spurt i tidligere meningsmålinger. Å stille de samme spørsmålene på forskjellige tidspunkter tillater oss å rapportere om endringer i generelle syn på allmennheten (eller en delmengde av publikum, for eksempel registrerte velgere, menn eller Svarte Amerikanere), eller det vi kaller «trending dataene».

ved måling av endring over tid er det viktig å bruke samme spørsmålsformulering og være følsom for hvor spørsmålet stilles i spørreskjemaet for å opprettholde en lignende kontekst som da spørsmålet ble stilt tidligere (se spørsmålsformulering og spørsmålsordre for ytterligere informasjon). Alle undersøkelsesrapportene våre inneholder et spørreskjema som gir nøyaktig spørsmålsformulering og sekvensering, sammen med resultater fra den nåværende undersøkelsen og tidligere undersøkelser der vi stilte spørsmålet.

Senterets overgang fra å gjennomføre amerikanske undersøkelser ved live telefonintervju til et online panel (rundt 2014 til 2020) kompliserte noen meningstrender, men ikke andre. Opinionstrender som ber om sensitive emner (f. eks. personlig økonomi eller deltar på religiøse tjenester) eller som fremkalte frivillige svar (f. eks., «verken «eller» vet ikke») over telefonen tendens til å vise større forskjeller enn andre trender når skiftende fra telefonen avstemninger til ONLINE ATP. Senteret vedtok flere strategier for å takle endringer i datatrender som kan være relatert til denne endringen i metodikk. Hvis det er bevis som tyder på at en endring i en trend stammer fra å bytte fra telefon til online måling, Rapporterer Senterrapporter den muligheten for leserne å prøve å avverge forvirring eller feilaktige konklusjoner.

Åpne og lukkede spørsmål

en av de viktigste avgjørelsene som kan påvirke hvordan folk svarer på spørsmål, er om spørsmålet stilles som et åpent spørsmål, hvor respondentene gir et svar med egne ord, eller et lukket spørsmål, hvor de blir bedt om å velge fra en liste over svarvalg.

for eksempel, i en meningsmåling utført etter presidentvalget i 2008, reagerte folk veldig annerledes på to versjoner av spørsmålet: «Hvilken sak betydde mest for deg når du bestemte deg for hvordan du stemte på president?»Den ene var lukket og den andre åpen. I den lukkede versjonen ble respondentene gitt fem alternativer og kunne frivillig et alternativ som ikke var på listen.

når eksplisitt tilbudt økonomien som svar, mer enn halvparten av respondentene (58%) valgte dette svaret; bare 35% av de som svarte på den åpne versjonen frivillig økonomien. Videre, blant de spurte den lukkede versjonen, ga færre enn en-i-ti (8%) et annet svar enn de fem de ble lest. 43% av de som spurte den åpne versjonen ga derimot et svar som ikke var oppført i den lukkede versjonen av spørsmålet. Alle de andre problemene ble valgt minst litt oftere når eksplisitt tilbys i lukket versjon enn i den åpne versjonen. (Se også «High Marks For The Campaign, a High Bar For Obama» for mer informasjon.)

Forskere vil noen ganger gjennomføre en pilotstudie ved hjelp av åpne spørsmål for å finne ut hvilke svar som er mest vanlige. De vil da utvikle lukkede spørsmål basert på den pilotstudien som inkluderer de vanligste svarene som svarvalg. På denne måten kan spørsmålene bedre gjenspeile hva publikum tenker, hvordan de ser på et bestemt problem, eller bringe visse problemer til lys som forskerne kanskje ikke har vært klar over.

når du stiller lukkede spørsmål, kan valg av alternativer som tilbys, hvordan hvert alternativ beskrives, antall svaralternativer som tilbys og rekkefølgen som alternativene leses i, påvirke hvordan folk svarer. Et eksempel på virkningen av hvordan kategorier er definert kan bli funnet I En pew Research Center meningsmåling gjennomført i januar 2002. Da halvparten av utvalget ble spurt om Det var «viktigere For President Bush å fokusere på innenrikspolitikk eller utenrikspolitikk», valgte 52% innenrikspolitikk mens bare 34% sa utenrikspolitikk. Da kategorien » utenrikspolitikk «ble innsnevret til et bestemt aspekt –» krigen mot terrorisme » – valgte langt flere mennesker det; bare 33% valgte innenrikspolitikk mens 52% valgte krigen mot terrorisme.

i de fleste tilfeller bør antall svarvalg holdes til et relativt lite antall-bare fire eller kanskje fem på det meste-spesielt i telefonundersøkelser. Psykologisk forskning viser at folk har en hard tid å holde mer enn dette antall valg i tankene på en gang. Når spørsmålet spør om et objektivt faktum og/eller demografi, for eksempel respondentens religiøse tilhørighet, kan flere kategorier brukes. Faktisk oppfordres de til å sikre inkludering. For Eksempel Omfatter pew Research Centers standard religionsspørsmål mer enn 12 forskjellige kategorier, som begynner med de vanligste tilknytningene (Protestantiske og Katolske). De fleste respondentene har ingen problemer med dette spørsmålet fordi de kan forvente å se sin religiøse gruppe innenfor den listen i en selvstyrt undersøkelse.

i tillegg til antall og valg av svaralternativer som tilbys, kan rekkefølgen på svarkategorier påvirke hvordan folk svarer på lukkede spørsmål. Forskning tyder på at i telefonundersøkelser velger respondenter oftere elementer som høres senere i en liste (en «nylig effekt»), og i selvadministrerte undersøkelser har de en tendens til å velge elementer øverst på listen(en «forrang» – effekt).

på grunn av bekymringer om effekten av kategoriordre på svar på lukkede spørsmål, er Mange sett med svaralternativer i pew Research Centers undersøkelser programmert til å bli randomisert for å sikre at alternativene ikke blir spurt i samme rekkefølge for hver respondent. Rotering eller randomisering betyr at spørsmål eller elementer i en liste ikke blir spurt i samme rekkefølge til hver respondent. Svar på spørsmål påvirkes noen ganger av spørsmål som går foran dem. Ved å presentere spørsmål i en annen rekkefølge for hver respondent, sikrer vi at hvert spørsmål blir spurt i samme sammenheng som alle andre spørsmål samme antall ganger(for eksempel første, siste eller hvilken som helst posisjon i mellom). Dette eliminerer ikke den potensielle effekten av tidligere spørsmål på det nåværende spørsmålet, men det sikrer at denne skjevheten spres tilfeldig over alle spørsmålene eller elementene i listen. For eksempel, i eksemplet diskutert ovenfor om hvilket problem som betydde mest i folks stemme, ble rekkefølgen på de fem problemene i den lukkede versjonen av spørsmålet randomisert slik at ingen problem dukket opp tidlig eller sent på listen for alle respondentene. Randomisering av svarelementer eliminerer ikke ordreeffekter, men det sikrer at denne typen bias spres tilfeldig.

Spørsmål med ordinære responskategorier – De med en underliggende rekkefølge (f.eks. utmerket, god, bare rettferdig, dårlig ELLER veldig gunstig, for det meste gunstig, for det meste ugunstig, svært ugunstig) – er generelt ikke randomisert fordi rekkefølgen av kategoriene formidler viktig informasjon for å hjelpe respondentene å svare på spørsmålet. Vanligvis bør disse typer skalaer presenteres slik at respondentene enkelt kan plassere sine svar langs kontinuum, men rekkefølgen kan reverseres for noen respondenter. For Eksempel, i Et Av pew Research Centers spørsmål om abort, blir halvparten av prøven spurt om abort skal være «lovlig i alle tilfeller, lovlig i de fleste tilfeller, ulovlig i de fleste tilfeller, ulovlig i alle tilfeller», mens den andre halvdelen av prøven blir spurt det samme spørsmålet med svarkategoriene lest i omvendt rekkefølge, og starter med » ulovlig i alle tilfeller.»Igjen, reversering av ordren eliminerer ikke nylig effekt, men distribuerer den tilfeldig over befolkningen.

Spørsmålsformulering

valg av ord og uttrykk i et spørsmål er avgjørende for å uttrykke meningen og hensikten med spørsmålet til respondenten og sikre at alle respondenter tolker spørsmålet på samme måte. Selv små ordlyd forskjeller kan vesentlig påvirke svarene folk gir.

et eksempel på en ordlyd forskjell som hadde en betydelig innvirkning på svarene kommer fra en januar 2003 pew Research Center undersøkelse. Da folk ble spurt om de ville «favorisere Eller motsette seg å ta militær handling i Irak for å avslutte Saddam Husseins styre», sa 68% at de favoriserte militær handling mens 25% sa at de motsatte seg militær handling. Men når de ble spurt om de ville «favorisere Eller motsette seg å ta militær handling i Irak for å avslutte Saddam Husseins styre, selv om DET betydde AT AMERIKANSKE styrker kunne lide tusenvis av tap,» var svarene dramatisk forskjellige; bare 43% sa at de favoriserte militær handling, mens 48% sa at de motsatte seg det. Innføringen AV USA ofre endret konteksten av spørsmålet og påvirket om folk favoriserte eller motsatte seg militær handling i Irak.

det har vært en betydelig mengde forskning for å måle virkningen av ulike måter å stille spørsmål på og hvordan man kan minimere forskjeller i måten respondentene tolker det som blir spurt. Problemene knyttet til spørsmålet ordlyden er flere tallrike enn kan behandles tilstrekkelig i denne korte plassen, men nedenfor er noen av de viktige tingene å vurdere:

For Det Første er det viktig å stille spørsmål som er klare og konkrete, og som hver respondent vil kunne svare på. Hvis et spørsmål er åpent, bør det være tydelig for respondentene at de kan svare med egne ord og hva slags svar de skal gi (et problem eller problem, en måned, antall dager, etc.). Lukkede spørsmål bør inkludere alle rimelige svar(dvs. listen over alternativer er uttømmende) og svarkategoriene bør ikke overlappe (dvs. svaralternativer bør være gjensidig utelukkende). Videre er det viktig å skjelne når det er best å bruke tvangsvalg nærtliggende spørsmål (ofte betegnet med en radioknapp i onlineundersøkelser) versus» velg-alt-som-gjelder » lister (eller kryss av alle bokser). En 2019-Senterstudie fant at tvangsvalgsspørsmål har en tendens til å gi mer nøyaktige svar, spesielt for sensitive spørsmål. Basert på den forskningen unngår Senteret generelt å bruke select-all-that-apply-spørsmål.

det er også viktig å stille bare ett spørsmål om gangen. Spørsmål som ber respondentene om å evaluere mer enn ett konsept (kjent som dobbeltfylte spørsmål) – for eksempel «Hvor mye tillit har Du Til President Obama for å håndtere innenriks-og utenrikspolitikk?»- er vanskelig for respondentene å svare og ofte føre til svar som er vanskelig å tolke. I dette eksemplet vil det være mer effektivt å stille to separate spørsmål, en om innenrikspolitikk og en annen om utenrikspolitikk.

generelt blir spørsmål som bruker enkelt og konkret språk lettere forstått av respondentene. Det er spesielt viktig å vurdere utdanningsnivået til undersøkelsespopulasjonen når man tenker på hvor lett det vil være for respondentene å tolke og svare på et spørsmål. Doble negativer (f.eks. favoriserer du eller motsetter deg ikke å tillate homofile og lesbiske å lovlig gifte seg) eller ukjente forkortelser eller sjargong (F. EKS. ANWR i stedet for Arctic National Wildlife Refuge) kan resultere i respondentens forvirring og bør unngås.

På Samme måte er det Viktig å vurdere om enkelte ord kan bli sett på som partisk eller potensielt støtende for noen respondenter, samt den følelsesmessige reaksjonen som noen ord kan provosere. For eksempel, i en 2005 pew Research Center-undersøkelse, sa 51% av respondentene at de favoriserte «gjør det lovlig for leger å gi terminalt syke pasienter midler til å avslutte livet», men bare 44% sa at de favoriserte «gjør det lovlig for leger å bistå terminalt syke pasienter i å begå selvmord.»Selv om begge versjoner av spørsmålet spør om det samme, reaksjonen av respondentene var annerledes. I et annet eksempel har respondentene reagert annerledes på spørsmål som bruker ordet «velferd» i motsetning til den mer generiske » hjelpen til de fattige. Flere eksperimenter har vist at det er mye større offentlig støtte for å utvide «hjelp til de fattige» enn for å utvide » velferd.»

vi skriver ofte to versjoner av et spørsmål og spør halvparten av undersøkelsesprøven en versjon av spørsmålet og den andre halvparten den andre versjonen. Dermed sier vi at vi har to former for spørreskjemaet. Respondenter tildeles tilfeldig for å motta enten skjema, så vi kan anta at de to gruppene av respondenter er i hovedsak identiske. På spørsmål der to versjoner brukes, forteller signifikante forskjeller i svarene mellom de to skjemaene oss at forskjellen er et resultat av måten vi formulerte de to versjonene på.

et av de vanligste formatene som brukes i spørreundersøkelsesspørsmål er formatet» enig-uenig». I denne typen spørsmål blir respondentene spurt om de er enige eller uenige med en bestemt uttalelse. Forskning har vist at sammenlignet med de bedre utdannede og bedre informerte, har mindre utdannede og mindre informerte respondenter en større tendens til å være enige med slike uttalelser. Dette kalles noen ganger en » acquiescence bias «( siden noen typer respondenter er mer sannsynlig å samtykke til påstanden enn andre). Denne oppførselen er enda mer uttalt når det er en intervjuer til stede, i stedet for når undersøkelsen er selvadministrert. En bedre praksis er å tilby respondentene et valg mellom alternative uttalelser. En pew Research Center eksperiment med en av sine rutinemessig stilte verdier spørsmål illustrerer forskjellen som spørsmålet format kan gjøre. Ikke bare gir tvunget valgformat et helt annet resultat generelt fra enig-uenig format, men mønsteret av svar mellom respondenter med mer eller mindre formell utdanning har også en tendens til å være svært forskjellig.

en annen utfordring i å utvikle spørreskjemaer er det som kalles » sosial ønskelighet bias.»Folk har en naturlig tendens til å ønske å bli akseptert og likt, og dette kan føre til at folk gir unøyaktige svar på spørsmål som omhandler sensitive emner. Forskning har vist at respondentene undergraver alkohol-og narkotikabruk, skatteunndragelse og rasemessig bias. De kan også overdrive kirkebesøk, veldedige bidrag og sannsynligheten for at de vil stemme i et valg. Forskere forsøker å redegjøre for denne potensielle bias i å lage spørsmål om disse emnene. For Eksempel, når pew Research Center-undersøkelser spør om tidligere stemmeadferd, er det viktig å merke seg at omstendigheter kan ha forhindret respondenten fra å stemme: «i 2012 presidentvalget mellom Barack Obama og Mitt Romney, kom det opp ting som holdt deg fra å stemme, eller skjedde du å stemme?»Valget av svaralternativer kan også gjøre det lettere for folk å være ærlige. Et spørsmål om kirkebesøk kan for eksempel omfatte tre av seks svaralternativer som indikerer sjeldent oppmøte. Forskning har også vist at sosial ønskelighet bias kan være større når en intervjuer er til stede (for eksempel telefon og ansikt til ansikt undersøkelser) enn når respondentene fullfører undersøkelsen selv(for eksempel papir og web undersøkelser).

til Slutt, fordi små endringer i spørsmålsformuleringen kan påvirke svar, bør identisk spørsmålsformulering brukes når hensikten er å sammenligne resultater med de fra tidligere undersøkelser. På samme måte, fordi spørsmålsformulering og svar kan variere basert på modusen som brukes til å spørre respondenter, bør forskere nøye vurdere de sannsynlige effektene på trendmålinger hvis en annen undersøkelsesmodus vil bli brukt til å vurdere endring i mening over tid.

Spørsmålsordre

når spørreundersøkelsesspørsmålene er utviklet, bør det tas særlig hensyn til hvordan de bestilles i spørreskjemaet. Landmålere må være oppmerksomme på hvordan spørsmål tidlig i et spørreskjema kan ha utilsiktede effekter på hvordan respondentene svarer på etterfølgende spørsmål. Forskere har vist at rekkefølgen som spørsmål blir spurt kan påvirke hvordan folk reagerer; tidligere spørsmål kan utilsiktet gi sammenheng for spørsmålene som følger (disse effektene kalles «ordreeffekter»).

En slags ordreeffekt kan ses i svar på åpne spørsmål. Pew Research Center-undersøkelser stiller generelt åpne spørsmål om nasjonale problemer, meninger om ledere og lignende emner nær begynnelsen av spørreskjemaet. Hvis lukkede spørsmål som er relatert til emnet, plasseres før det åpne spørsmålet, er respondentene mye mer sannsynlig å nevne begreper eller hensyn som er reist i de tidligere spørsmålene når de svarer på det åpne spørsmålet.

for lukkede opinionsspørsmål er det to hovedtyper av ordreeffekter: kontrasteffekter( hvor rekkefølgen resulterer i større forskjeller i svar) og assimileringseffekter (hvor svarene er mer like som følge av deres rekkefølge).

et eksempel på en kontrasteffekt kan ses i En pew Research Center-undersøkelse utført i oktober 2003, et dusin år før samme kjønn ekteskap ble legalisert I USA Den undersøkelsen fant at folk var mer sannsynlig å favorisere at homofile og lesbiske kunne inngå juridiske avtaler som gir dem de samme rettighetene som ektepar når dette spørsmålet ble spurt etter en om de favoriserte eller motsatte seg at homofile og lesbiske kunne gifte seg (45% favoriserte juridiske avtaler når de ble spurt etter ekteskapsspørsmålet, men 37% favoriserte juridiske avtaler uten den umiddelbare foregående konteksten av et spørsmål om samme kjønn ekteskap). Svar på spørsmålet om samme-kjønn ekteskap, i mellomtiden, ble ikke signifikant påvirket av sin plassering før eller etter juridiske avtaler spørsmålet.

et annet eksperiment innebygd i en desember 2008 pew Research Center meningsmåling resulterte også i en kontrast effekt. Når folk ble spurt » Alt I alt, er du fornøyd eller misfornøyd med måten ting går i dette landet i dag ?»umiddelbart etter å ha blitt spurt» godkjenner Eller misliker Du Måten George W. Bush håndterer sin jobb som president?»; 88% sa at de var misfornøyde, sammenlignet med bare 78% uten sammenheng med det forrige spørsmålet.

Svar på presidentens godkjenning forblir relativt uendret om nasjonal tilfredshet ble spurt før eller etter det. Et lignende funn skjedde i desember 2004 da både tilfredshet og presidentgodkjenning var mye høyere (57% var misfornøyd da Bush-godkjenning ble spurt først mot 51% da generell tilfredshet ble spurt først).

Flere studier har også vist at å stille et mer spesifikt spørsmål før et mer generelt spørsmål (f. eks., spør om lykke med ens ekteskap før du spør om ens generelle lykke) kan resultere i en kontrast effekt. Selv om noen unntak er funnet, har folk en tendens til å unngå redundans ved å ekskludere det mer spesifikke spørsmålet fra den generelle vurderingen.

Assimileringseffekter oppstår når svar på to spørsmål er mer konsistente eller tettere sammen på grunn av deres plassering i spørreskjemaet. Vi fant et eksempel på en assimileringseffekt i en pew Research Center-meningsmåling utført i November 2008 da vi spurte om Republikanske ledere skulle jobbe Med Obama eller stå opp til ham på viktige saker og Om Demokratiske ledere skulle jobbe Med Republikanske ledere eller stå opp til dem på viktige saker. Folk var mer sannsynlig å si At Republikanske ledere bør jobbe Med Obama når spørsmålet ble innledet av en spør hva Demokratiske ledere bør gjøre i å jobbe Med Republikanske ledere (81% vs. 66%). Men da Folk først ble spurt om Republikanske ledere som jobbet Med Obama, sa færre At Demokratiske ledere skulle jobbe med Republikanske ledere (71% mot 82%).

bestillingsspørsmålene er av særlig betydning når man sporer trender over tid. Som et resultat bør det tas hensyn til at konteksten er lik hver gang et spørsmål blir spurt. Endring av konteksten til spørsmålet kan stille spørsmål ved eventuelle observerte endringer over tid (se måle endring over tid for mer informasjon).

et spørreskjema, som en samtale, skal grupperes etter emne og utfolde seg i en logisk rekkefølge. Det er ofte nyttig å starte undersøkelsen med enkle spørsmål som respondentene vil finne interessante og engasjerende. Gjennom hele undersøkelsen bør det gjøres en innsats for å holde undersøkelsen interessant og ikke overbelaste respondentene med flere vanskelige spørsmål rett etter hverandre. Demografiske spørsmål som inntekt, utdanning eller alder bør ikke stilles nær begynnelsen av en undersøkelse, med mindre de er nødvendige for å bestemme kvalifikasjon for undersøkelsen eller for å lede respondenter gjennom bestemte deler av spørreskjemaet. Selv da er det best å gå foran slike ting med mer interessante og engasjerende spørsmål. En dyd av undersøkelsespaneler som ATP er at demografiske spørsmål vanligvis bare trenger å bli spurt en gang i året, ikke i hver undersøkelse.