den kanske viktigaste delen av undersökningsprocessen är att skapa frågor som exakt mäter allmänhetens åsikter, erfarenheter och beteenden. Exakt slumpmässigt urval kommer att slösas bort om den insamlade informationen bygger på en skakig grund av tvetydiga eller partiska frågor. Att skapa bra åtgärder innebär både att skriva bra frågor och organisera dem för att bilda frågeformuläret.

frågeformulär är en flerstegsprocess som kräver uppmärksamhet på många detaljer samtidigt. Att utforma frågeformuläret är komplicerat eftersom enkäter kan fråga om ämnen i varierande grad av detaljer, frågor kan ställas på olika sätt och frågor som ställts tidigare i en undersökning kan påverka hur människor svarar på senare frågor. Forskare är också ofta intresserade av att mäta förändringar över tid och måste därför vara uppmärksamma på hur åsikter eller beteenden har uppmätts i tidigare undersökningar.

inspektörer kan genomföra pilottester eller fokusgrupper i de tidiga stadierna av frågeformulärutveckling för att bättre förstå hur människor tänker på ett problem eller förstår en fråga. Pretesting en undersökning är ett viktigt steg i frågeformulärsdesignprocessen för att utvärdera hur människor svarar på det övergripande frågeformuläret och specifika frågor, särskilt när frågor introduceras för första gången.

under många år närmade sig lantmätare frågeformulär som en konst, men omfattande forskning under de senaste fyrtio åren har visat att det finns mycket vetenskap som är inblandad i att skapa ett bra enkätformulär. Här diskuterar vi fallgropar och bästa praxis för att utforma frågeformulär.

fråga utveckling

det finns flera steg i utvecklingen av en enkät. Den första är att identifiera vilka ämnen som kommer att behandlas i undersökningen. För Pew Research Center undersökningar, detta innebär att tänka på vad som händer i vår nation och världen och vad som kommer att vara relevant för allmänheten, beslutsfattare och media. Vi spårar också åsikter om olika frågor över tiden så vi ser ofta till att vi uppdaterar dessa trender regelbundet för att bättre förstå om människors åsikter förändras.

på Pew Research Center är frågeformulärsutveckling en samarbets-och iterativ process där personal träffas för att diskutera utkast till frågeformuläret flera gånger under utvecklingen. Vi testar ofta nya enkätfrågor i förväg genom kvalitativa forskningsmetoder som fokusgrupper, kognitiva intervjuer, pretesting (ofta med hjälp av en online, opt-in prov), eller en kombination av dessa metoder. Forskare använder insikter från denna testning för att förfina frågor innan de ställs i en produktionsundersökning, till exempel på ATP.

mätning av förändring över tid

många lantmätare vill spåra förändringar över tid i människors attityder, åsikter och beteenden. För att mäta förändring ställs frågor vid två eller flera tidpunkter. En tvärsnittsdesign undersöker olika människor i samma befolkning vid flera tidpunkter. En panel, som ATP, undersöker samma personer över tiden. Det är dock vanligt att uppsättningen personer i undersökningspaneler förändras över tiden när nya paneldeltagare läggs till och några tidigare paneldeltagare hoppar av. Många av frågorna i Pew Research Center-undersökningar har ställts i tidigare omröstningar. Att ställa samma frågor vid olika tidpunkter gör det möjligt för oss att rapportera om förändringar i allmänhetens övergripande åsikter (eller en delmängd av allmänheten, till exempel registrerade väljare, män eller svarta amerikaner) eller vad vi kallar ”trending the data”.

vid mätning av förändring över tid är det viktigt att använda samma frågeformulering och att vara känslig för var frågan ställs i frågeformuläret för att upprätthålla ett liknande sammanhang som när frågan ställdes tidigare (se frågeformulering och frågeordning för ytterligare information). Alla våra undersökningsrapporter innehåller ett topline-frågeformulär som ger den exakta frågeformuleringen och sekvenseringen, tillsammans med resultat från den aktuella undersökningen och tidigare undersökningar där vi ställde frågan.

centrumets övergång från att genomföra amerikanska undersökningar genom live telefonintervjuer till en online-panel (runt 2014 till 2020) komplicerade vissa opinionstrender, men inte andra. Opinionstrender som frågar om känsliga ämnen (t. ex. personlig ekonomi eller deltar i religiösa tjänster) eller som framkallade frivilliga svar (t. ex., ”varken ”eller” vet inte”) via telefon tenderade att visa större skillnader än andra trender när man bytte från telefonundersökningar till online ATP. Centret antog flera strategier för att hantera förändringar i datatrender som kan relateras till denna metodförändring. Om det finns bevis som tyder på att en förändring i en trend härrör från att byta från telefon till online mätning, Center rapporter flagga den möjligheten för läsarna att försöka avvärja förvirring eller felaktiga slutsatser.

öppna och slutna frågor

ett av de viktigaste besluten som kan påverka hur människor svarar på frågor är om frågan ställs som en öppen fråga, där respondenterna ger ett svar i sina egna ord eller en sluten fråga, där de ombeds välja från en lista med svarsalternativ.

till exempel, i en undersökning som genomfördes efter presidentvalet 2008, svarade folk väldigt annorlunda på två versioner av frågan: ”vilken fråga betydde mest för dig när du bestämde hur du röstade för president?”Den ena var stängd och den andra öppen. I den slutna versionen fick respondenterna fem alternativ och kunde frivilligt välja ett alternativ som inte finns på listan.

när de uttryckligen erbjöd ekonomin som svar valde mer än hälften av de svarande (58%) detta svar; endast 35% av dem som svarade på den öppna versionen frivilligt ekonomin. Bland dem som frågade den slutna versionen gav färre än en av tio (8%) Ett annat svar än de fem de lästes. Däremot gav helt 43% av dem som frågade den öppna versionen ett svar som inte listades i den slutna versionen av frågan. Alla andra problem valdes åtminstone något oftare när de uttryckligen erbjöds i den slutna versionen än i den öppna versionen. (Se även ”höga betyg för kampanjen, En hög Bar för Obama” för mer information.)

forskare kommer ibland att genomföra en pilotstudie med öppna frågor för att upptäcka vilka svar som är vanligast. De kommer sedan att utveckla slutna frågor baserade på den pilotstudien som innehåller de vanligaste svaren som svarval. På detta sätt kan frågorna bättre återspegla vad allmänheten tänker, hur de ser på en viss fråga eller få fram vissa frågor som forskarna kanske inte har varit medvetna om.

när du ställer slutna frågor kan valet av alternativ som tillhandahålls, hur varje alternativ beskrivs, antalet svaralternativ som erbjuds och i vilken ordning alternativen läses alla påverka hur människor svarar. Ett exempel på hur kategorier definieras kan hittas i en Pew Research Center-undersökning som genomfördes i januari 2002. När hälften av urvalet frågades om det var ”viktigare för President Bush att fokusera på inrikespolitik eller utrikespolitik” valde 52% inrikespolitik medan endast 34% sa utrikespolitik. När kategorin ” utrikespolitik ”inskränktes till en specifik aspekt –” kriget mot terrorismen ” – valde mycket fler människor det; endast 33% valde inrikespolitik medan 52% valde kriget mot terrorismen.

i de flesta fall bör antalet svarsalternativ hållas till ett relativt litet antal – bara fyra eller kanske fem högst – särskilt i telefonundersökningar. Psykologisk forskning tyder på att människor har svårt att hålla mer än detta antal val i åtanke på en gång. När frågan ställs om ett objektivt faktum och / eller demografi, såsom respondentens religiösa tillhörighet, kan fler kategorier användas. I själva verket uppmuntras de att säkerställa inkludering. Till exempel inkluderar Pew Research Centers standardreligionsfrågor mer än 12 olika kategorier, som börjar med de vanligaste anknytningarna (protestantiska och Katolska). De flesta svarande har inga problem med den här frågan eftersom de kan förvänta sig att se sin religiösa grupp inom den listan i en självadministrerad undersökning.

förutom antalet och valet av svaralternativ som erbjuds kan ordningen på svarskategorier påverka hur människor svarar på slutna frågor. Forskning tyder på att respondenterna i telefonundersökningar oftare väljer objekt som hörs senare i en lista (en ”recency-effekt”), och i självadministrerade undersökningar tenderar de att välja objekt högst upp i listan (en ”primacy” – effekt).

på grund av oro över effekterna av kategoriordning på svar på slutna frågor är många uppsättningar svaralternativ i Pew Research Centers undersökningar programmerade att randomiseras för att säkerställa att alternativen inte ställs i samma ordning för varje svarande. Roterande eller randomisering innebär att frågor eller objekt i en lista inte ställs i samma ordning till varje svarande. Svar på frågor påverkas ibland av frågor som föregår dem. Genom att presentera frågor i en annan ordning för varje svarande säkerställer vi att varje fråga ställs i samma sammanhang som alla andra frågor samma antal gånger (t.ex. första, sista eller någon position däremellan). Detta eliminerar inte den potentiella effekten av tidigare frågor på den aktuella frågan, men det säkerställer att denna bias sprids slumpmässigt över alla frågor eller objekt i listan. Till exempel, i exemplet som diskuterades ovan om vilken fråga som betydde mest i folks röst, ordningen på de fem frågorna i den slutna versionen av frågan randomiserades så att ingen fråga dök upp tidigt eller sent i listan för alla svarande. Randomisering av svarsobjekt eliminerar inte ordereffekter, men det säkerställer att denna typ av förspänning sprids slumpmässigt.

frågor med ordinära svarskategorier – de med en underliggande ordning (t.ex. utmärkt, bra, bara rättvis, dålig eller mycket gynnsam, mestadels gynnsam, mestadels ogynnsam, mycket ogynnsam) – är i allmänhet inte randomiserade eftersom ordningen på kategorierna förmedlar viktig information för att hjälpa respondenterna att svara på frågan. Generellt bör dessa typer av skalor presenteras i ordning så att respondenterna enkelt kan placera sina svar längs kontinuumet, men ordningen kan vändas för vissa respondenter. Till exempel i en av Pew Research Centers frågor om abort frågas hälften av provet om abort ska vara ”lagligt i alla fall, lagligt i de flesta fall, olagligt i de flesta fall, olagligt i alla fall”, medan den andra hälften av provet ställs samma fråga med svarskategorierna lästa i omvänd ordning, börjar med ”olagligt i alla fall.”Återigen eliminerar inte omvänd ordning recency-effekten utan fördelar den slumpmässigt över befolkningen.

Frågeformulering

valet av ord och fraser i en fråga är avgörande för att uttrycka frågans mening och avsikt för respondenten och se till att alla respondenter tolkar frågan på samma sätt. Även små formuleringsskillnader kan väsentligt påverka de svar som människor ger.

ett exempel på en formulering skillnad som hade en betydande inverkan på svaren kommer från en januari 2003 Pew Research Center undersökning. När människor frågades om de skulle ”gynna eller motsätta sig att vidta militära åtgärder i Irak för att avsluta Saddam Husseins styre”, sa 68% att de gynnade militära åtgärder medan 25% sa att de motsatte sig militära åtgärder. Men på frågan om de skulle ”gynna eller motsätta sig att vidta militära åtgärder i Irak för att avsluta Saddam Husseins styre även om det innebar att amerikanska styrkor kan drabbas av tusentals offer” var svaren dramatiskt olika; endast 43% sa att de gynnade militära åtgärder, medan 48% sa att de motsatte sig det. Införandet av USA. olyckshändelser förändrade frågans sammanhang och påverkade huruvida människor gynnade eller motsatte sig militära åtgärder i Irak.

det har gjorts en betydande mängd forskning för att mäta effekterna av olika sätt att ställa frågor och hur man minimerar skillnader i hur respondenterna tolkar vad som ställs. Frågorna relaterade till frågeformulering är fler än vad som kan behandlas tillräckligt på detta korta utrymme, men nedan är några av de viktiga sakerna att tänka på:

för det första är det viktigt att ställa frågor som är tydliga och specifika och att varje respondent kommer att kunna svara. Om en fråga är öppen bör det vara uppenbart för respondenterna att de kan svara med sina egna ord och vilken typ av svar de ska ge (ett problem eller problem, en månad, antal dagar etc.). Slutna frågor bör innehålla alla rimliga svar (dvs. listan över alternativ är uttömmande) och svarskategorierna bör inte överlappa varandra (dvs. svarsalternativ bör vara ömsesidigt uteslutande). Vidare är det viktigt att urskilja när det är bäst att använda tvångsval nära frågor (ofta betecknade med en radioknapp i onlineundersökningar) kontra ”Välj-allt-som-gäller” listor (eller kryssrutor). En Center-studie från 2019 visade att tvångsvalsfrågor tenderar att ge mer exakta svar, särskilt för känsliga frågor. Baserat på den forskningen undviker centret i allmänhet att använda select-all-that-apply-frågor.

det är också viktigt att bara ställa en fråga åt gången. Frågor som ber respondenterna att utvärdera mer än ett koncept (känt som dubbelfasade frågor)-till exempel ”hur mycket förtroende har du för President Obama för att hantera inhemsk och utrikespolitik?”- är svåra för respondenterna att svara på och leder ofta till svar som är svåra att tolka. I det här exemplet skulle det vara mer effektivt att ställa två separata frågor, en om inrikespolitik och en annan om utrikespolitik.

i allmänhet är frågor som använder enkelt och konkret språk lättare att förstå av respondenterna. Det är särskilt viktigt att ta hänsyn till undersökningspopulationens Utbildningsnivå när man tänker på hur lätt det blir för respondenterna att tolka och svara på en fråga. Dubbla negativ (t.ex. föredrar eller motsätter du dig att inte tillåta homofile och lesbiska att lagligt gifta sig) eller okända förkortningar eller jargong (t. ex. ANWR istället för Arctic National Wildlife Refuge) kan resultera i svarande förvirring och bör undvikas.

på samma sätt är det viktigt att överväga om vissa ord kan ses som partiska eller potentiellt stötande för vissa svarande, liksom den känslomässiga reaktion som vissa ord kan framkalla. Till exempel, i en undersökning från Pew Research Center 2005, sa 51% av de svarande att de gynnade ”att göra det lagligt för läkare att ge terminalt sjuka patienter medel för att avsluta sina liv”, men bara 44% sa att de gynnade ”att göra det lagligt för läkare att hjälpa terminalt sjuka patienter att begå självmord.”Även om båda versionerna av frågan frågar om samma sak var respondenternas reaktion annorlunda. I ett annat exempel har respondenterna reagerat annorlunda på frågor med ordet ” välfärd ”i motsats till det mer generiska” biståndet till de fattiga.”Flera experiment har visat att det finns mycket större offentligt stöd för att utöka ”hjälp till de fattiga” än för att utöka ”välfärd.”

vi skriver ofta två versioner av en fråga och ställer hälften av undersökningsprovet en version av frågan och den andra hälften den andra versionen. Således säger vi att vi har två former av frågeformuläret. Respondenterna tilldelas slumpmässigt för att få någon form, så vi kan anta att de två grupperna av respondenter är väsentligen identiska. På frågor där två versioner används berättar betydande skillnader i svaren mellan de två formerna att skillnaden är ett resultat av hur vi formulerade de två versionerna.

ett av de vanligaste formaten som används i enkätfrågor är formatet ”överens-oense”. I denna typ av fråga frågas respondenterna om de håller med eller inte håller med om ett visst uttalande. Forskning har visat att jämfört med de bättre utbildade och bättre informerade, mindre utbildade och mindre informerade respondenterna har en större tendens att komma överens med sådana uttalanden. Detta kallas ibland en” samtycke bias ” (eftersom vissa typer av respondenter är mer benägna att samtycka till påståendet än andra). Detta beteende är ännu mer uttalat när det finns en intervjuare närvarande, snarare än när undersökningen är självadministrerad. En bättre praxis är att erbjuda respondenterna ett val mellan alternativa uttalanden. Ett Pew Research Center-experiment med en av dess rutinmässigt ställda värden frågor illustrerar skillnaden som frågeformat kan göra. Inte bara ger det tvingade valformatet ett helt annat resultat Totalt sett från det överens-oense formatet, men mönstret av svar mellan respondenter med mer eller mindre formell utbildning tenderar också att vara väldigt annorlunda.

en annan utmaning i att utveckla frågeformulär är vad som kallas ” social önskvärdhet bias.”Människor har en naturlig tendens att vilja accepteras och gillas, och det kan leda till att människor ger felaktiga svar på frågor som handlar om känsliga ämnen. Forskning har visat att respondenterna underskattar alkohol-och narkotikamissbruk, skatteflykt och rasfördomar. De kan också överdriva kyrkans närvaro, välgörenhetsbidrag och sannolikheten för att de kommer att rösta i ett val. Forskare försöker redogöra för denna potentiella bias i att skapa frågor om dessa ämnen. Till exempel när Pew Research Center undersökningar frågar om tidigare röstbeteende är det viktigt att notera att omständigheterna kan ha hindrat respondenten från att rösta: ”i presidentvalet 2012 mellan Barack Obama och Mitt Romney, kom saker upp som hindrade dig från att rösta, eller råkade du rösta?”Valet av svaralternativ kan också göra det lättare för människor att vara ärliga. Till exempel kan en fråga om kyrkans närvaro innehålla tre av sex svaralternativ som indikerar sällsynt närvaro. Forskning har också visat att social önskvärdhet bias kan vara större när en intervjuare är närvarande (t.ex. telefon och ansikte mot ansikte undersökningar) än när respondenterna slutföra undersökningen själva (t. ex. papper och webbundersökningar).

slutligen, eftersom små ändringar i frågeformuleringen kan påverka svaren, bör identisk frågeformulering användas när avsikten är att jämföra resultaten med resultaten från tidigare undersökningar. På samma sätt, eftersom frågeformulering och svar kan variera beroende på vilket sätt som används för att undersöka respondenterna, bör forskare noggrant utvärdera de sannolika effekterna på trendmätningar om ett annat undersökningsläge kommer att användas för att bedöma åsiktsförändringar över tiden.

frågeställning

när enkätfrågorna har utvecklats bör särskild uppmärksamhet ägnas åt hur de beställs i frågeformuläret. Inspektörer måste vara uppmärksamma på hur frågor tidigt i ett frågeformulär kan ha oavsiktliga effekter på hur respondenterna svarar på efterföljande frågor. Forskare har visat att den ordning i vilken frågor ställs kan påverka hur människor svarar; tidigare frågor kan oavsiktligt ge sammanhang för de frågor som följer (dessa effekter kallas ”ordereffekter”).

en typ av order effekt kan ses i svar på öppna frågor. Pew Research Center-undersökningar ställer i allmänhet öppna frågor om nationella problem, åsikter om ledare och liknande ämnen nära början av frågeformuläret. Om slutna frågor som rör ämnet placeras före den öppna frågan är det mycket mer troligt att respondenterna nämner begrepp eller överväganden som tagits upp i de tidigare frågorna när de svarar på den öppna frågan.

för slutna opinionsfrågor finns det två huvudtyper av ordereffekter: kontrasteffekter ( där ordern resulterar i större skillnader i svar) och assimileringseffekter (där svaren är mer lika som ett resultat av deras ordning).

ett exempel på en kontrasteffekt kan ses i en undersökning från Pew Research Center som genomfördes i oktober 2003, ett dussin år innan samkönade äktenskap legaliserades i USA. Den undersökningen visade att människor var mer benägna att gynna att homosexuella och lesbiska skulle ingå juridiska avtal som ger dem samma rättigheter som gifta par när denna fråga ställdes efter en om huruvida de gynnade eller motsatte sig att homosexuella och lesbiska skulle gifta sig (45% gynnade juridiska avtal när de frågades efter äktenskapsfrågan, men 37% gynnade juridiska avtal utan det omedelbara föregående sammanhanget av en fråga om äktenskap av samma kön). Svar på frågan om samkönade äktenskap, under tiden, påverkades inte signifikant av dess placering före eller efter juridiska avtalsfrågan.

ett annat experiment inbäddat i en undersökning från December 2008 Pew Research Center resulterade också i en kontrasteffekt. När människor frågades ”allt som allt, är du nöjd eller missnöjd med hur det går i detta land idag?”omedelbart efter att ha blivit frågad ”godkänner eller ogillar du hur George W. Bush hanterar sitt jobb som president?”; 88% sa att de var missnöjda, jämfört med endast 78% utan sammanhanget med den tidigare frågan.

svar på presidentens godkännande förblev relativt oförändrade om nationell tillfredsställelse ställdes före eller efter det. Ett liknande resultat inträffade i December 2004 när både tillfredsställelse och presidentgodkännande var mycket högre (57% var missnöjda när Bush-godkännande frågades först mot 51% när allmän tillfredsställelse frågades först).

flera studier har också visat att ställa en mer specifik fråga innan en mer allmän fråga (t. ex., fråga om lycka med ens äktenskap innan du frågar om ens övergripande lycka) kan resultera i en kontrasteffekt. Även om vissa undantag har hittats tenderar människor att undvika redundans genom att utesluta den mer specifika frågan från den allmänna bedömningen.

Assimilationseffekter uppstår när svaren på två frågor är mer konsekventa eller närmare varandra på grund av deras placering i frågeformuläret. Vi hittade ett exempel på en assimilationseffekt i en Pew Research Center-undersökning som genomfördes i November 2008 när vi frågade om Republikanska ledare skulle arbeta med Obama eller stå upp för honom i viktiga frågor och om Demokratiska ledare skulle arbeta med Republikanska ledare eller stå upp för dem i viktiga frågor. Folk var mer benägna att säga att Republikanska ledare borde arbeta med Obama när frågan föregicks av den som frågade Vad Demokratiska ledare borde göra för att arbeta med Republikanska ledare (81% mot 66%). Men när folk först frågades om Republikanska ledare som arbetar med Obama, sa färre att Demokratiska ledare borde arbeta med Republikanska ledare (71% mot 82%).

orderfrågorna ställs är av särskild betydelse när man spårar trender över tiden. Som ett resultat bör man se till att sammanhanget är lika varje gång en fråga ställs. Att ändra frågans sammanhang kan ifrågasätta eventuella observerade förändringar över tid (se mäta förändring över tid för mer information).

ett frågeformulär, som en konversation, ska grupperas efter ämne och utvecklas i en logisk ordning. Det är ofta bra att börja undersökningen med enkla frågor som respondenterna tycker är intressanta och engagerande. Under hela undersökningen bör man försöka hålla undersökningen intressant och inte överbelasta respondenterna med flera svåra frågor direkt efter varandra. Demografiska frågor som inkomst, utbildning eller ålder bör inte ställas nära början av en undersökning om de inte behövs för att bestämma behörighet för undersökningen eller för att dirigera respondenter genom särskilda delar av frågeformuläret. Även då är det bäst att föregå sådana saker med mer intressanta och engagerande frågor. En fördel med undersökningspaneler som ATP är att demografiska frågor vanligtvis bara behöver ställas en gång om året, inte i varje undersökning.