snad nejdůležitější součástí procesu průzkumu je vytváření otázek, které přesně měří názory, zkušenosti a chování veřejnosti. Přesné náhodné vzorkování bude zbytečné, pokud jsou shromážděné informace postaveny na nejistém základě nejednoznačných nebo zaujatých otázek. Vytvoření dobrých opatření zahrnuje jak psaní dobrých otázek, tak jejich organizaci pro vytvoření dotazníku.

návrh dotazníku je vícestupňový proces, který vyžaduje pozornost k mnoha detailům najednou. Navrhování dotazníku je komplikované, protože průzkumy se mohou ptát na témata v různé míře podrobností, otázky lze klást různými způsoby, a otázky položené dříve v průzkumu mohou ovlivnit, jak lidé reagují na pozdější otázky. Vědci se také často zajímají o měření změn v čase, a proto musí být pozorní na to, jak byly názory nebo chování měřeny v předchozích průzkumech.

inspektoři mohou provádět pilotní testy nebo fokusní skupiny v raných fázích vývoje dotazníku, aby lépe porozuměli tomu, jak lidé přemýšlejí o problému nebo chápou otázku. Předběžné testování průzkumu je nezbytným krokem v procesu návrhu dotazníku k vyhodnocení toho, jak lidé reagují na celkový dotazník a konkrétní otázky, zejména když jsou otázky zaváděny poprvé.

po mnoho let se inspektoři přiblížili designu dotazníku jako umění, ale podstatný výzkum za posledních čtyřicet let prokázal, že existuje mnoho vědy zapojených do vytváření dobrého dotazníkového dotazníku. Tady, diskutujeme o úskalích a osvědčených postupech při navrhování dotazníků.

vývoj otázek

existuje několik kroků, které se podílejí na vývoji dotazníku. Prvním je určení, jaká témata budou v průzkumu pokryta. Pro průzkumy Pew Research Center, To zahrnuje přemýšlení o tom, co se děje v našem národě a ve světě a co bude relevantní pro veřejnost, tvůrci politik a média. V průběhu času také sledujeme názory na různé problémy, takže často zajišťujeme, abychom tyto trendy pravidelně aktualizovali, abychom lépe porozuměli tomu, zda se názory lidí mění.

ve Výzkumném centru Pew je vývoj dotazníku kolaborativní a iterativní proces, kdy se zaměstnanci scházejí, aby v průběhu svého vývoje několikrát diskutovali o návrzích dotazníku. Často testujeme nové otázky průzkumu předem pomocí kvalitativních výzkumných metod, jako jsou fokusní skupiny, kognitivní rozhovory, předběžné testování (často pomocí online vzorku opt-in) nebo kombinace těchto přístupů. Vědci používají poznatky z tohoto testování k upřesnění otázek před tím, než jsou položeni ve výrobním průzkumu, například na ATP.

měření změn v čase

mnoho inspektorů chce sledovat změny v čase v postojích, názorech a chování lidí. Pro měření změn jsou otázky kladeny ve dvou nebo více časových bodech. Průřezový design zkoumá různé lidi ve stejné populaci ve více časových bodech. Panel, jako je ATP, zkoumá stejné lidi v průběhu času. Je však běžné, že se skupina lidí v průzkumných panelech v průběhu času mění, protože se přidávají noví panelisté a někteří předchozí panelisté vypadnou. Mnoho otázek v průzkumech Pew Research Center bylo položeno v předchozích průzkumech. Kladení stejných otázek v různých časových okamžicích nám umožňuje podávat zprávy o změnách v celkových názorech široké veřejnosti(nebo podmnožiny veřejnosti, jako jsou registrovaní voliči, muži nebo černí Američané) nebo o tom, čemu říkáme „trendy v datech“.

při měření změn v čase je důležité používat stejné znění otázky a být citlivý na to, kde je otázka položena v dotazníku, aby byl zachován podobný kontext, jako když byla otázka položena dříve (další informace viz formulace otázky a pořadí otázek). Všechny naše zprávy z průzkumu obsahují dotazník topline, který poskytuje přesné znění otázky a sekvenování, spolu s výsledky aktuálního průzkumu a předchozích průzkumů, ve kterých jsme položili otázku.

přechod centra od provádění amerických průzkumů živým telefonickým rozhovorem k online panelu (kolem 2014 na 2020) komplikoval některé názorové trendy, ale ne jiné. Názorové trendy, které se ptají na citlivá témata (např. osobní finance nebo účast na bohoslužbách) nebo které vyvolaly dobrovolné odpovědi (např., „ani“ nebo „nevím“) po telefonu měl tendenci vykazovat větší rozdíly než jiné trendy při přechodu z telefonních průzkumů na online ATP. Centrum přijalo několik strategií pro zvládání změn datových trendů, které mohou souviset s touto změnou metodiky. Pokud existují důkazy naznačující, že změna trendu pramení z přechodu z telefonu na online měření, zprávy Centra tuto možnost pro čtenáře označují, aby se pokusili odvrátit zmatek nebo chybné závěry.

otevřené a uzavřené otázky

jedním z nejvýznamnějších rozhodnutí, která mohou ovlivnit to, jak lidé odpovídají na otázky, je, zda je otázka položena jako otevřená otázka, kde respondenti poskytují odpověď vlastními slovy, nebo uzavřená otázka, kde jsou požádáni, aby si vybrali ze seznamu možností odpovědí.

například v anketě provedené po prezidentských volbách v roce 2008 lidé reagovali velmi odlišně na dvě verze otázky: „na čem vám při rozhodování o tom, jak jste volili prezidenta, nejvíce záleželo?“Jeden byl uzavřený a druhý otevřený. V uzavřené verzi, respondenti dostali pět možností a mohli dobrovolně zvolit možnost, která není na seznamu.

když výslovně nabídl ekonomiku jako odpověď, více než polovina respondentů (58%) zvolila tuto odpověď; pouze 35% těch, kteří odpověděli na otevřenou verzi, se dobrovolně přihlásilo k ekonomice. Kromě toho mezi dotázanými na uzavřenou verzi méně než jeden z deseti (8%) poskytl jinou odpověď než pět, které byly přečteny. Naproti tomu plně 43% dotázaných na otevřenou verzi poskytlo odpověď, která není uvedena v uzavřené verzi otázky. Všechny ostatní problémy byly vybrány alespoň o něco častěji, když byly výslovně nabízeny v uzavřené verzi než v otevřené verzi. (Viz také „vysoké známky pro kampaň, vysoká laťka pro Obamu“ pro více informací.)

vědci někdy provedou pilotní studii pomocí otevřených otázek, aby zjistili, které odpovědi jsou nejčastější. Poté vyvinou uzavřené otázky založené na této pilotní studii, které zahrnují nejčastější odpovědi jako výběr odpovědí. Takto, otázky mohou lépe odrážet to, co si veřejnost myslí, jak vidí konkrétní problém, nebo přinést určité problémy na světlo, o kterých vědci možná nevěděli.

při kladení uzavřených otázek může výběr poskytnutých možností, jak je každá možnost popsána, počet nabízených možností odpovědi a pořadí, ve kterém jsou možnosti čteny, ovlivnit to, jak lidé reagují. Jeden příklad dopadu definování kategorií lze nalézt v průzkumu Pew Research Center provedeném v lednu 2002. Když byla polovina vzorku dotázána, zda je „důležitější, aby se prezident Bush zaměřil na domácí politiku nebo zahraniční politiku“, 52% zvolilo domácí politiku, zatímco pouze 34% uvedlo zahraniční politiku. Když byla Kategorie „zahraniční politika“ zúžena na konkrétní aspekt – „válka proti terorismu“ – zvolilo ji mnohem více lidí; pouze 33% zvolilo domácí politiku, zatímco 52% zvolilo válku proti terorismu.

ve většině případů by měl být počet odpovědí udržován na relativně malém počtu-maximálně čtyři nebo možná pět-zejména v telefonních průzkumech. Psychologický výzkum ukazuje, že lidé mají těžké udržet více než tento počet možností v paměti najednou. Když se otázka ptá na objektivní skutečnost a / nebo demografii, jako je náboženská příslušnost respondenta, lze použít více kategorií. Ve skutečnosti jsou povzbuzováni k zajištění inkluzivity. Například standardní otázky náboženství Pew Research Center zahrnují více než 12 různých kategorií, počínaje nejběžnějšími vztahy (protestantské a katolické). Většina respondentů nemá s touto otázkou žádné potíže, protože mohou očekávat, že uvidí svou náboženskou skupinu v tomto seznamu v samosprávném průzkumu.

kromě počtu a výběru nabízených možností odpovědi může pořadí kategorií odpovědí ovlivnit, jak lidé reagují na uzavřené otázky. Výzkum naznačuje, že v telefonických průzkumech respondenti častěji vybírají položky slyšené později v seznamu („efekt aktuálnosti“) a v samosprávných průzkumech mají tendenci volit položky v horní části seznamu (efekt“ prvenství“).

kvůli obavám z účinků pořadí kategorií na odpovědi na uzavřené otázky, mnoho sad možností odpovědí v průzkumech Pew Research Center je naprogramováno tak, aby bylo randomizováno, aby se zajistilo, že možnosti nebudou požádány ve stejném pořadí pro každého respondenta. Otáčení nebo randomizace znamená, že otázky nebo položky v seznamu nejsou položeny ve stejném pořadí každému respondentovi. Odpovědi na otázky jsou někdy ovlivněny otázkami, které jim předcházejí. Předložením otázek v jiném pořadí každému respondentovi zajistíme, aby každá otázka byla položena ve stejném kontextu jako každá jiná otázka tolikrát (např. První, Poslední nebo jakákoli pozice mezi nimi). To nevylučuje potenciální dopad předchozích otázek na aktuální otázku, ale zajišťuje, že tato zaujatost je náhodně rozložena na všechny otázky nebo položky v seznamu. Například, ve výše uvedeném příkladu o tom, na jakém problému v lidovém hlasování nejvíce záleželo, pořadí pěti otázek v uzavřené verzi otázky bylo randomizováno tak,aby se u všech respondentů neobjevil žádný problém brzy nebo pozdě. Randomizace položek odezvy nevylučuje efekty objednávky, ale zajišťuje, že tento typ zkreslení je náhodně rozložen.

otázky s kategoriemi pořadových odpovědí – otázky s podkladovým řádem (např. vynikající, dobré, pouze spravedlivé, špatné nebo velmi příznivé, většinou příznivé, většinou nepříznivé, velmi nepříznivé) – obecně nejsou randomizovány, protože pořadí kategorií přináší důležité informace, které respondentům pomohou odpovědět na otázku. Obvykle, tyto typy stupnic by měly být prezentovány tak, aby respondenti mohli snadno umístit své odpovědi podél kontinua, ale pořadí může být u některých respondentů obráceno. Například, v jedné z otázek Pew Research Center o potratu, polovina vzorku je dotázána, zda by potrat měl být „legální ve všech případech, legální ve většině případů, nezákonné ve většině případů, nezákonné ve všech případech,“ zatímco druhá polovina vzorku je položena stejná otázka s kategoriemi odpovědí čtenými v opačném pořadí, počínaje “ nezákonným ve všech případech.“Opět platí, že obrácení objednávky nevylučuje efekt recence, ale distribuuje jej náhodně napříč populací.

formulace otázky

výběr slov a frází v otázce je rozhodující pro vyjádření významu a záměru otázky respondentovi a zajištění toho, aby všichni respondenti interpretovali otázku stejným způsobem. I malé rozdíly ve formulaci mohou podstatně ovlivnit odpovědi, které lidé poskytují.

příklad formulačního rozdílu, který měl významný dopad na odpovědi, pochází z průzkumu Pew Research Center z ledna 2003. Když byli lidé dotázáni, zda by „upřednostňovali nebo nesouhlasili s vojenskou akcí v Iráku, aby ukončili vládu Saddáma Husajna“, 68% uvedlo, že upřednostňuje vojenskou akci, zatímco 25% uvedlo, že je proti vojenské akci. Na otázku, zda by „upřednostňovali nebo nesouhlasili s vojenskými akcemi v Iráku, aby ukončili vládu Saddáma Husajna, i kdyby to znamenalo, že americké síly mohou utrpět tisíce obětí“, byly odpovědi dramaticky odlišné; pouze 43% uvedlo, že upřednostňuje vojenskou akci, zatímco 48% uvedlo, že je proti. Zavedení USA oběti změnily kontext otázky a ovlivnily, zda lidé upřednostňují nebo jsou proti vojenské akci v Iráku.

bylo provedeno značné množství výzkumu, aby bylo možné posoudit dopad různých způsobů kladení otázek a jak minimalizovat rozdíly ve způsobu, jakým respondenti interpretují to, co je žádáno. Otázky týkající se formulace otázek jsou četnější, než je možné v tomto krátkém prostoru adekvátně zacházet, ale níže je několik důležitých věcí, které je třeba zvážit:

nejprve je důležité klást otázky, které jsou jasné a konkrétní a které každý respondent bude schopen odpovědět. Pokud je otázka otevřená, mělo by být respondentům zřejmé, že mohou odpovědět vlastními slovy a jaký typ odpovědi by měli poskytnout (problém nebo problém, měsíc,počet dní atd.). Uzavřené otázky by měly zahrnovat všechny rozumné odpovědi (tj. seznam možností je vyčerpávající) a kategorie odpovědí by se neměly překrývat (tj. možnosti odpovědí by se měly vzájemně vylučovat). Dále je důležité rozeznat, kdy je nejlepší použít otázky s nuceným výběrem (často označené přepínačem v online průzkumech) versus seznamy „Vybrat vše, co platí“ (nebo zaškrtávací políčka). Studie Centra z roku 2019 zjistila, že otázky s nuceným výběrem mají tendenci poskytovat přesnější odpovědi, zejména u citlivých otázek. Na základě tohoto výzkumu, centrum se obecně vyhýbá používání otázek typu select-all-that-apply.

je také důležité položit pouze jednu otázku najednou. Otázky, které žádají respondenty, aby vyhodnotili více než jeden koncept – známý jako otázky s dvojitým barelem) – například “ kolik důvěry máte v prezidenta Obamu, abyste zvládli domácí a zahraniční politiku?– – jsou pro respondenty obtížné odpovědět a často vedou k odpovědím, které je obtížné interpretovat. V tomto příkladu by bylo efektivnější položit dvě samostatné otázky, jednu o domácí politice a druhou o zahraniční politice.

respondenti obecně chápou otázky, které používají jednoduchý a konkrétní jazyk. Při přemýšlení o tom, jak snadné bude pro respondenty interpretovat a odpovědět na otázku, je obzvláště důležité zvážit úroveň vzdělání populace průzkumu. Dvojité negativy (např, dáváte přednost nebo proti nedovolí gayové a lesbičky legálně oženit) nebo neznámé zkratky nebo žargon (např ANWR namísto Arctic National Wildlife Refuge) může vést k respondent zmatek a je třeba se vyhnout.

podobně je důležité zvážit, zda některá slova mohou být považována za zaujatá nebo potenciálně urážlivá pro některé respondenty, stejně jako emoční reakce, kterou mohou některá slova vyvolat. Například v průzkumu Pew Research Center z roku 2005 51% respondentů uvedlo, že upřednostňují „legální, aby lékaři poskytovali nevyléčitelně nemocným pacientům prostředky k ukončení jejich života“, ale pouze 44% uvedlo, že upřednostňují “ legální, aby lékaři pomáhali nevyléčitelně nemocným pacientům při spáchání sebevraždy.“Ačkoli se obě verze otázky ptají na stejnou věc, reakce respondentů byla odlišná. V jiném příkladu, respondenti reagovali odlišně na otázky pomocí slova „blahobyt“ na rozdíl od obecnější „pomoci chudým“.“Několik experimentů ukázalo, že existuje mnohem větší podpora veřejnosti pro rozšiřování „pomoci chudým“ než pro rozšiřování „blahobytu“.“

často píšeme dvě verze otázky a položíme polovinu vzorku průzkumu jednu verzi otázky a druhou polovinu druhé verze. Říkáme tedy, že máme dvě formy dotazníku. Respondenti jsou přiřazeni náhodně, aby obdrželi kteroukoli formu, takže můžeme předpokládat, že obě skupiny respondentů jsou v podstatě totožné. U otázek, kde se používají dvě verze, významné rozdíly v odpovědích mezi oběma formami nám říkají, že rozdíl je výsledkem způsobu, jakým jsme obě verze formulovali.

jedním z nejběžnějších formátů používaných v otázkách průzkumu je formát“ souhlasím-nesouhlasím“. V tomto typu otázky jsou respondenti dotázáni, zda souhlasí nebo nesouhlasí s konkrétním tvrzením. Výzkum ukázal, že ve srovnání s lépe vzdělanými a lépe informovanými respondenty mají méně vzdělaní a méně informovaní respondenti větší tendenci s takovými tvrzeními souhlasit. Toto je někdy nazýváno „souhlasným zaujatím“ (protože některé druhy respondentů s větší pravděpodobností souhlasí s tvrzením než jiné). Toto chování je ještě výraznější, když je přítomen tazatel, spíše než když je průzkum prováděn samostatně. Lepší praxí je nabídnout respondentům možnost volby mezi alternativními výroky. Experiment Pew Research Center s jednou z jeho běžně kladených hodnotových otázek ilustruje rozdíl, který může formát otázek způsobit. Nejen, že formát vynucené volby přináší celkově velmi odlišný výsledek od formátu souhlasu-nesouhlasu, ale vzorec odpovědí mezi respondenty s více či méně formálním vzděláním má také tendenci být velmi odlišný.

jednou z dalších výzev při vývoji dotazníků je to, co se nazývá „zkreslení sociální potřebnosti.“Lidé mají přirozenou tendenci chtít být přijímáni a oblíbeni, což může vést lidi k tomu, aby poskytovali nepřesné odpovědi na otázky, které se zabývají citlivými subjekty. Výzkum ukázal, že respondenti podceňují užívání alkoholu a drog, daňové úniky a rasovou zaujatost. Mohou také přeceňovat docházku do kostela, charitativní příspěvky a pravděpodobnost, že budou hlasovat ve volbách. Vědci se pokoušejí vysvětlit tuto potenciální zaujatost při tvorbě otázek o těchto tématech. Například, když se průzkumy Pew Research Center ptají na minulé volební chování, je důležité si uvědomit, že okolnosti mohly respondentovi zabránit v hlasování: „v prezidentských volbách 2012 mezi Barackem Obamou a Mittem Romneym se objevily věci, které vás bránily v hlasování, nebo jste náhodou hlasovali?“Výběr možností reakce může také lidem usnadnit upřímnost. Například, otázka týkající se docházky do kostela může zahrnovat tři ze šesti možností odpovědi, které naznačují občasnou účast. Výzkum také ukázal, že zkreslení sociální potřebnosti může být větší, když je tazatel přítomen (např. telefonické a osobní průzkumy), než když respondenti dokončí průzkum sami (např.

a konečně, vzhledem k tomu, že mírné změny ve znění otázek mohou ovlivnit odpovědi, je třeba použít stejné znění otázek, pokud je záměrem Porovnat výsledky s výsledky z dřívějších průzkumů. Podobně, protože formulace otázek a odpovědi se mohou lišit v závislosti na režimu používaném k průzkumu respondentů, vědci by měli pečlivě vyhodnotit pravděpodobné účinky na měření trendů, pokud bude k posouzení změny názoru v průběhu času použit jiný režim průzkumu.

pořadí otázek

jakmile jsou otázky průzkumu vyvinuty, je třeba věnovat zvláštní pozornost tomu, jak jsou v dotazníku objednány. Inspektoři musí být pozorní k tomu, jak otázky na začátku dotazníku mohou mít nezamýšlené účinky na to, jak respondenti odpovídají na následující otázky. Vědci prokázali, že pořadí, ve kterém jsou otázky kladeny, může ovlivnit to, jak lidé reagují; dřívější otázky mohou neúmyslně poskytnout kontext pro otázky, které následují (tyto účinky se nazývají „objednávkové efekty“).

jeden druh efektu objednávky lze vidět v odpovědích na otevřené otázky. Průzkumy Pew Research Center obecně kladou otevřené otázky o národních problémech, názory na vůdce a podobná témata poblíž začátku dotazníku. Pokud jsou otázky s uzavřeným koncem, které se vztahují k tématu, umístěny před otevřenou otázku, respondenti při odpovědi na otevřenou otázku mnohem častěji zmiňují koncepty nebo úvahy vznesené v těchto dřívějších otázkách.

u otázek s uzavřeným názorem existují dva hlavní typy efektů objednávky: kontrastní efekty (kde pořadí vede k větším rozdílům v odpovědích) a asimilační efekty(kde jsou odpovědi v důsledku jejich pořadí podobnější).

příklad kontrastního efektu lze vidět v průzkumu Pew Research Center provedeném v říjnu 2003, tucet let před legalizací manželství osob stejného pohlaví v USA. Tento průzkum zjistil, že lidé s větší pravděpodobností upřednostňují umožnění gayům a lesbám uzavírat právní dohody, které jim dávají stejná práva jako manželským párům, když byla tato otázka položena po jedné otázce, zda upřednostňují nebo nesouhlasí s povolením gayů a lesbiček uzavřít manželství (45% upřednostňovalo právní dohody, když bylo položeno po manželské otázce, ale 37% upřednostňovalo právní dohody bez bezprostředního předcházejícího kontextu otázky týkající se manželství osob stejného pohlaví). Odpovědi na otázku týkající se manželství osob stejného pohlaví, mezitím, nebyly významně ovlivněny jeho umístěním před nebo po otázce právních dohod.

další experiment vložený do průzkumu Pew Research Center z prosince 2008 také vyústil v kontrastní efekt. Když byli lidé dotázáni “ Celkově vzato, jste spokojeni nebo nespokojeni s tím, jak se dnes v této zemi děje?“ihned poté, co byl požádán“ schvalujete nebo nesouhlasíte s tím, jak George W. Bush zvládá svou práci prezidenta?“; 88% uvedlo, že jsou nespokojeni, zatímco pouze 78% bez kontextu předchozí otázky.

odpovědi na prezidentský souhlas zůstaly relativně nezměněny, zda byla národní spokojenost požádána před nebo po něm. K podobnému zjištění došlo v prosinci 2004, kdy spokojenost i prezidentský souhlas byly mnohem vyšší (57% bylo nespokojeno, když byl Bushův souhlas požádán jako první vs. 51%, když byla nejprve požádána obecná spokojenost).

několik studií také ukázalo, že kladení konkrétnější otázky před obecnější otázkou (např., ptát se na štěstí s manželstvím, než se zeptáte na celkové štěstí) může mít za následek kontrastní efekt. Ačkoli byly nalezeny některé výjimky, lidé mají tendenci vyhýbat se redundanci vyloučením konkrétnější otázky z obecného hodnocení.

k asimilačním účinkům dochází, když jsou odpovědi na dvě otázky konzistentnější nebo blíže k sobě kvůli jejich umístění v dotazníku. Příklad asimilačního efektu jsme našli v průzkumu Pew Research Center provedeném v listopadu 2008, když jsme se zeptali, zda by Republikánští vůdci měli spolupracovat s Obamou nebo se mu postavit v důležitých otázkách a zda by demokratičtí vůdci měli spolupracovat s republikánskými vůdci nebo se jim postavit v důležitých otázkách. Lidé častěji říkali, že Republikánští vůdci by měli spolupracovat s Obamou, když otázce předcházela otázka, co by měli demokratičtí vůdci dělat při práci s republikánskými vůdci(81% vs. 66%). Když se však lidé poprvé ptali na republikánské vůdce spolupracující s Obamou, méně uvedlo, že demokratičtí vůdci by měli spolupracovat s republikánskými vůdci (71% vs. 82%).

při sledování trendů v průběhu času jsou kladeny otázky objednávky. V důsledku toho je třeba dbát na to, aby byl kontext při každé položené otázce podobný. Změna kontextu otázky by mohla zpochybnit jakékoli pozorované změny v čase (více informací viz měření změny v čase).

dotazník, stejně jako konverzace, by měl být seskupen podle tématu a rozvinut v logickém pořadí. Často je užitečné zahájit průzkum jednoduchými otázkami, které respondenti najdou zajímavé a poutavé. V průběhu průzkumu, je třeba vyvinout úsilí, aby byl průzkum zajímavý a nezatěžoval respondenty několika obtížnými otázkami hned po sobě. Demografické otázky, jako je příjem, vzdělání nebo věk, by neměly být kladeny na začátku průzkumu, pokud nejsou potřebné k určení způsobilosti pro průzkum nebo pro směrování respondentů prostřednictvím konkrétních částí dotazníku. Dokonce i tehdy je nejlepší předcházet těmto položkám zajímavějšími a poutavějšími otázkami. Jednou z výhod průzkumných panelů, jako je ATP, je, že demografické otázky je obvykle třeba klást pouze jednou ročně, ne v každém průzkumu.