być może najważniejszą częścią procesu badania jest tworzenie pytań, które dokładnie mierzą opinie, doświadczenia i zachowania społeczeństwa. Dokładne losowe próbkowanie zostanie zmarnowane, jeśli zebrane informacje są oparte na chwiejnym fundamencie dwuznacznych lub stronniczych pytań. Tworzenie dobrych środków polega zarówno na pisaniu dobrych pytań, jak i organizowaniu ich w formie kwestionariusza.

projektowanie kwestionariuszy to wieloetapowy proces, który wymaga uwagi na wiele szczegółów jednocześnie. Projektowanie kwestionariusza jest skomplikowane, ponieważ ankiety mogą pytać o tematy w różnym stopniu szczegółowości, pytania mogą być zadawane na różne sposoby, a pytania zadane wcześniej w ankiecie mogą wpływać na to, jak ludzie odpowiadają na późniejsze pytania. Badacze są również często zainteresowani pomiarem zmian w czasie i dlatego muszą zwracać uwagę na to, jak opinie lub zachowania zostały zmierzone we wcześniejszych ankietach.

geodeci mogą przeprowadzać testy pilotażowe lub grupy fokusowe na wczesnym etapie opracowywania kwestionariusza, aby lepiej zrozumieć, w jaki sposób ludzie myślą o danej kwestii lub rozumieją pytanie. Wstępne przetestowanie ankiety jest niezbędnym krokiem w procesie projektowania kwestionariusza, aby ocenić, w jaki sposób ludzie odpowiadają na ogólny kwestionariusz i konkretne pytania, zwłaszcza gdy pytania są wprowadzane po raz pierwszy.

przez wiele lat geodeci podchodzili do projektowania kwestionariuszy jako sztuki, ale znaczące badania w ciągu ostatnich czterdziestu lat wykazały, że w tworzeniu dobrego kwestionariusza ankietowego zaangażowanych jest wiele nauki. Tutaj omawiamy pułapki i najlepsze praktyki projektowania kwestionariuszy.

opracowanie pytania

w opracowaniu kwestionariusza ankietowego zaangażowanych jest kilka kroków. Pierwszym z nich jest określenie, jakie tematy zostaną uwzględnione w ankiecie. W przypadku badań Pew Research Center wiąże się to z myśleniem o tym, co dzieje się w naszym kraju i na świecie oraz o tym, co będzie istotne dla społeczeństwa, decydentów i mediów. W miarę upływu czasu śledzimy również opinie na różne tematy, dlatego często upewniamy się, że regularnie aktualizujemy te trendy, aby lepiej zrozumieć, czy opinie ludzi się zmieniają.

w Pew Research Center opracowywanie kwestionariusza jest wspólnym i iteracyjnym procesem, w którym pracownicy spotykają się, aby omówić projekty kwestionariusza kilka razy w trakcie jego opracowywania. Często testujemy nowe pytania ankietowe z wyprzedzeniem za pomocą jakościowych metod badawczych, takich jak grupy fokusowe, wywiady kognitywne, wstępne testowanie (często przy użyciu próbki online, opt-in) lub połączenie tych podejść. Naukowcy wykorzystują spostrzeżenia z tego testu, aby udoskonalić pytania, zanim zostaną one zadane w badaniu produkcyjnym, takim jak ATP.

pomiar zmian w czasie

wielu geodetów chce śledzić zmiany w czasie w postawach, opiniach i zachowaniach ludzi. Aby zmierzyć zmianę, pytania zadawane są w dwóch lub więcej punktach w czasie. Projekt przekrojowy bada różne osoby w tej samej populacji w wielu punktach w czasie. Panel, taki jak ATP, bada te same osoby w czasie. Jednak często zdarza się, że grupa osób w panelach ankietowych zmienia się w miarę dodawania nowych panelistów, a niektórzy wcześniejsi paneliści rezygnują. Wiele pytań w badaniach Pew Research Center zostało zadanych we wcześniejszych sondażach. Zadawanie tych samych pytań w różnych momentach czasu pozwala nam raportować o zmianach w ogólnych poglądach ogółu społeczeństwa (lub podgrupy społeczeństwa, takich jak zarejestrowani wyborcy, mężczyźni lub czarni Amerykanie) lub coś, co nazywamy „trendowaniem danych”.

mierząc zmiany w czasie, ważne jest, aby używać tego samego sformułowania pytania i zwracać uwagę na to, gdzie pytanie jest zadawane w kwestionariuszu, aby zachować podobny kontekst, jak w przypadku gdy pytanie zostało zadane wcześniej (patrz sformułowanie pytania i kolejność pytań w celu uzyskania dalszych informacji). Wszystkie nasze raporty ankietowe zawierają górny kwestionariusz, który zapewnia dokładne sformułowanie i kolejność pytań, wraz z wynikami obecnego i poprzednich badań, w których zadaliśmy pytanie.

Przejście centrum z prowadzenia amerykańskich badań przez rozmowy telefoniczne na żywo do panelu online (około 2014 do 2020) skomplikowało niektóre trendy opinii, ale nie inne. Trendy opinii, które pytają o delikatne tematy (np. finanse osobiste lub uczęszczanie na nabożeństwa) lub które wywołują dobrowolne odpowiedzi (np., „ani „LUB” NIE WIEM”) przez telefon miał tendencję do wykazywania większych różnic niż inne trendy podczas przechodzenia z ankiet telefonicznych do ATP online. Centrum przyjęło kilka strategii radzenia sobie ze zmianami trendów danych, które mogą być związane z tą zmianą metodologii. Jeśli istnieją dowody sugerujące, że zmiana trendu wynika z przejścia z pomiaru telefonicznego na pomiar online, raporty Centrum zaznaczają, że czytelnicy mogą spróbować uniknąć nieporozumień lub błędnych wniosków.

pytania otwarte i zamknięte

jedną z najważniejszych decyzji, które mogą mieć wpływ na sposób, w jaki ludzie odpowiadają na pytania, jest to, czy pytanie jest stawiane jako pytanie otwarte, w którym respondenci udzielają odpowiedzi własnymi słowami, czy pytanie zamknięte, w którym są proszeni o wybór z listy wyborów odpowiedzi.

na przykład w sondażu przeprowadzonym po wyborach prezydenckich w 2008 r. ludzie bardzo różnie odpowiedzieli na dwie wersje pytania: „Jaka jedna kwestia miała dla Ciebie największe znaczenie w decydowaniu o tym, jak zagłosowałeś na prezydenta?”Jeden był zamknięty, a drugi otwarty. W wersji zamkniętej respondenci otrzymali Pięć opcji i mogli zgłosić opcję nieujętą na liście.

kiedy wyraźnie zaproponowano gospodarkę jako odpowiedź, ponad połowa respondentów (58%) wybrała tę odpowiedź; tylko 35% osób, które odpowiedziały na otwartą wersję, zgłosiło się do gospodarki. Co więcej, wśród osób pytanych o wersję zamkniętą mniej niż jeden na dziesięciu (8%) udzielił odpowiedzi innej niż pięć, które zostały odczytane. Natomiast 43% osób, które zadały pytanie w wersji otwartej, udzieliło odpowiedzi nie wymienionej w wersji zamkniętej pytania. Wszystkie pozostałe numery były wybierane przynajmniej nieco częściej, gdy były wyraźnie oferowane w wersji zamkniętej niż w wersji otwartej. (Zobacz też „wysokie oceny za kampanię, wysoka poprzeczka dla Obamy”, aby uzyskać więcej informacji.)

naukowcy czasami przeprowadzają badania pilotażowe z wykorzystaniem pytań otwartych, aby dowiedzieć się, które odpowiedzi są najczęstsze. Następnie opracują zamknięte pytania oparte na tym badaniu pilotażowym, które obejmują najczęstsze odpowiedzi jako wybory odpowiedzi. W ten sposób pytania mogą lepiej odzwierciedlać to, co opinia publiczna myśli, w jaki sposób postrzegają konkretną kwestię lub ujawniają pewne problemy, o których naukowcy mogą nie być świadomi.

podczas zadawania pytań zamkniętych, wybór dostarczonych opcji, sposób opisania każdej opcji, liczba oferowanych opcji odpowiedzi i kolejność odczytywania opcji mogą wpływać na to, jak ludzie reagują. Przykład wpływu definicji kategorii można znaleźć w sondażu Pew Research Center przeprowadzonym w styczniu 2002 roku. Kiedy połowa próby została zapytana, czy „ważniejsze dla prezydenta Busha jest skupienie się na polityce wewnętrznej czy zagranicznej”, 52% wybrało politykę wewnętrzną, podczas gdy tylko 34% odpowiedziało na politykę zagraniczną. Kiedy Kategoria ” polityka zagraniczna „została zawężona do konkretnego aspektu –” wojny z terroryzmem ” – wybrało ją znacznie więcej osób; tylko 33% wybrało politykę wewnętrzną, podczas gdy 52% wybrało wojnę z terroryzmem.

w większości przypadków liczba odpowiedzi powinna być utrzymywana na stosunkowo niewielkiej liczbie – zaledwie czterech, a może najwyżej pięciu – zwłaszcza w badaniach telefonicznych. Badania psychologiczne wskazują, że ludzie mają trudności z zachowaniem większej liczby wyborów w jednym czasie. Gdy pytanie dotyczy obiektywnych faktów i / lub danych demograficznych, takich jak przynależność Religijna respondenta, można użyć więcej kategorii. W rzeczywistości zachęca się ich do zapewnienia integracji. Na przykład standardowe pytania dotyczące religii Pew Research Center obejmują ponad 12 różnych kategorii, począwszy od najczęstszych afiliacji (protestanckiej i katolickiej). Większość respondentów nie ma problemów z tym pytaniem, ponieważ mogą spodziewać się, że ich grupa religijna znajdzie się na tej liście w samodzielnym badaniu.

oprócz liczby i wyboru oferowanych opcji odpowiedzi, kolejność kategorii odpowiedzi może wpływać na to, jak ludzie odpowiadają na pytania zamknięte. Badania sugerują, że w ankietach telefonicznych respondenci częściej wybierają pozycje usłyszane później na liście („efekt niedawności”), aw ankietach samodzielnie administrowanych mają tendencję do wybierania pozycji na górze listy (efekt „prymatu”).

ze względu na obawy dotyczące wpływu kolejności kategorii Na odpowiedzi na pytania zamknięte, wiele zestawów opcji odpowiedzi w badaniach Pew Research Center jest zaprogramowanych tak, aby były randomizowane, aby upewnić się, że opcje nie są zadawane w tej samej kolejności dla każdego respondenta. Obracanie lub losowanie oznacza, że pytania lub elementy na liście nie są zadawane w tej samej kolejności każdemu respondentowi. Na odpowiedzi na pytania często wpływają pytania, które je poprzedzają. Przedstawiając każdemu respondentowi pytania w innej kolejności, zapewniamy, że każde pytanie zostanie zadane w tym samym kontekście, co każde inne pytanie, tyle samo razy (np. pierwsze, Ostatnie lub dowolna pozycja pomiędzy). Nie eliminuje to potencjalnego wpływu poprzednich pytań na bieżące pytanie, ale zapewnia losowe rozłożenie tego błędu na wszystkie pytania lub pozycje na liście. Na przykład, w omówionym powyżej przykładzie dotyczącym tego, która kwestia miała największe znaczenie w głosowaniu ludzi, kolejność pięciu kwestii w zamkniętej wersji pytania została randomizowana, tak aby żadna kwestia nie pojawiła się wcześnie lub późno na liście dla wszystkich respondentów. Randomizacja elementów odpowiedzi nie eliminuje efektów porządkowych, ale zapewnia losowe rozłożenie tego typu nastawienia.

pytania z porządkowych kategorii odpowiedzi – te z podstawowego porządku (na przykład, doskonały, dobry, tylko sprawiedliwy, biedny lub bardzo korzystne, głównie korzystne, głównie niekorzystne, bardzo niekorzystne) – na ogół nie są randomizowane, ponieważ kolejność kategorii przekazuje ważne informacje, aby pomóc respondentom odpowiedzieć na pytanie. Ogólnie rzecz biorąc, te rodzaje skal powinny być przedstawione w kolejności tak respondenci mogą łatwo umieścić swoje odpowiedzi wzdłuż kontinuum, ale kolejność może być odwrócona dla niektórych respondentów. Na przykład, w jednym z pytań Pew Research Center dotyczących aborcji, połowa próbki jest pytana, czy aborcja powinna być „legalna we wszystkich przypadkach, legalna w większości przypadków, nielegalna w większości przypadków, nielegalna we wszystkich przypadkach”, podczas gdy druga połowa próbki jest zadawana to samo pytanie z kategoriami odpowiedzi czytanymi w odwrotnej kolejności, zaczynając od „nielegalna we wszystkich przypadkach.”Ponownie, odwrócenie kolejności nie eliminuje efektu niedawności, ale rozdziela go losowo w całej populacji.

treść Pytania

wybór słów i zwrotów w pytaniu ma kluczowe znaczenie dla wyrażenia znaczenia i intencji pytania respondentowi i zapewnienia, że wszyscy respondenci interpretują pytanie w ten sam sposób. Nawet niewielkie różnice w brzmieniu mogą znacząco wpłynąć na odpowiedzi udzielane przez ludzi.

przykład różnicy sformułowań, która miała znaczący wpływ na odpowiedzi, pochodzi z badania Pew Research Center ze stycznia 2003 r. Kiedy ludzie zostali zapytani, czy „popierają lub sprzeciwiają się podejmowaniu działań wojskowych w Iraku w celu zakończenia rządów Saddama Husajna”, 68% odpowiedziało, że popiera działania wojskowe, podczas gdy 25% odpowiedziało, że jest przeciw. Jednak na pytanie, czy „popierają lub sprzeciwiają się podjęciu działań wojskowych w Iraku w celu zakończenia rządów Saddama Husajna, nawet jeśli oznaczałoby to, że siły amerykańskie mogą ponieść tysiące ofiar”, odpowiedzi były diametralnie różne; tylko 43% stwierdziło, że popierają działania wojskowe, podczas gdy 48% stwierdziło, że są przeciwni. Wprowadzenie USA ofiary zmieniły kontekst pytania i wpłynęły na to, czy ludzie popierali lub sprzeciwiali się działaniom wojskowym w Iraku.

przeprowadzono znaczną ilość badań, aby ocenić wpływ różnych sposobów zadawania pytań i jak zminimalizować różnice w sposobie, w jaki respondenci interpretują to, co jest zadawane. Kwestie związane z formułowaniem pytań są liczniejsze niż można odpowiednio potraktować w tej krótkiej przestrzeni, ale poniżej kilka ważnych rzeczy do rozważenia:

po pierwsze, ważne jest, aby zadawać pytania, które są jasne i konkretne, a każdy respondent będzie w stanie odpowiedzieć. Jeśli pytanie jest otwarte, powinno być oczywiste dla respondentów, że mogą odpowiedzieć własnymi słowami i jakiego rodzaju odpowiedzi powinni udzielić (problem lub problem, miesiąc, liczba dni itp.). Pytania zamknięte powinny zawierać wszystkie rozsądne odpowiedzi (tj. lista opcji jest wyczerpująca), a Kategorie odpowiedzi nie powinny się pokrywać (tj. opcje odpowiedzi powinny się wzajemnie wykluczać). Ponadto, ważne jest, aby rozpoznać, kiedy najlepiej jest użyć wymuszonego wyboru pytania zamknięte (często oznaczone przyciskiem radiowym w ankietach online) w porównaniu z listami „Wybierz wszystko, co zastosuj” (lub Zaznacz wszystkie pola). Badanie Centrum 2019 wykazało, że pytania wymuszonego wyboru zwykle dają bardziej dokładne odpowiedzi, szczególnie w przypadku wrażliwych pytań. Opierając się na tych badaniach, Centrum zazwyczaj unika używania pytań typu select-all-that-apply.

ważne jest również, aby zadawać tylko jedno pytanie naraz. Pytania, które proszą respondentów, aby ocenili więcej niż jedną koncepcję (znane jako pytania dwuwarstwowe)-takie jak „ile zaufania masz do prezydenta Obamy, aby poradzić sobie z polityką krajową i zagraniczną?”- są trudne dla respondentów do odpowiedzi i często prowadzą do odpowiedzi, które są trudne do interpretacji. W tym przykładzie skuteczniej byłoby zadać dwa oddzielne pytania, jedno dotyczące polityki wewnętrznej, a drugie dotyczące polityki zagranicznej.

ogólnie rzecz biorąc, pytania, które używają prostego i konkretnego języka, są łatwiejsze do zrozumienia przez respondentów. Szczególnie ważne jest, aby wziąć pod uwagę poziom wykształcenia populacji badanej, gdy myślimy o tym, jak łatwo będzie respondentom interpretować i odpowiadać na pytania. Podwójne negatywy (np. czy popierasz lub sprzeciwiasz się nie zezwalaniu gejom i lesbijkom na legalne małżeństwa) lub nieznane skróty lub żargon (np. ANWR zamiast Arctic National Wildlife Refuge) mogą powodować zamieszanie i należy ich unikać.

podobnie, ważne jest, aby rozważyć, czy niektóre słowa mogą być postrzegane jako stronnicze lub potencjalnie obraźliwe dla niektórych respondentów, a także emocjonalną reakcję, którą niektóre słowa mogą wywołać. Na przykład, w badaniu Pew Research Center z 2005 r. 51% respondentów opowiedziało się za „legalizacją, aby lekarze dawali nieuleczalnie chorym pacjentom środki do zakończenia ich życia”, ale tylko 44% respondentów opowiedziało się za „legalizacją, aby lekarze pomagali nieuleczalnie chorym pacjentom w popełnianiu samobójstw.”Choć obie wersje pytania pytają o to samo, reakcja respondentów była inna. W innym przykładzie respondenci różnie reagowali na pytania używając słowa ” dobrobyt „w przeciwieństwie do bardziej ogólnego” pomoc dla ubogich.”Kilka eksperymentów wykazało, że istnieje znacznie większe poparcie społeczne dla rozszerzenia” pomocy dla ubogich „niż dla rozszerzenia” dobrobytu.”

często piszemy dwie wersje pytania i zadajemy połowę próby ankietowej jedną wersję pytania, a drugą połowę drugiej wersji. Zatem mówimy, że mamy dwie formy kwestionariusza. Respondenci są przydzielani losowo do otrzymania obu form, więc możemy założyć, że dwie grupy respondentów są zasadniczo identyczne. W przypadku pytań, w których używane są dwie wersje, znaczące różnice w odpowiedziach między tymi dwoma formami mówią nam, że różnica jest wynikiem sposobu, w jaki sformułowaliśmy te dwie wersje.

jednym z najczęstszych formatów używanych w pytaniach ankietowych jest format „agree-disagree”. W tego typu pytaniach respondenci są pytani, czy zgadzają się lub nie zgadzają się z danym stwierdzeniem. Badania wykazały, że w porównaniu z lepiej wykształconymi i lepiej poinformowanymi, mniej wykształceni i mniej poinformowani respondenci mają większą tendencję do zgadzania się z takimi stwierdzeniami. Jest to czasami nazywane „stronniczością zgody” (ponieważ niektóre rodzaje respondentów częściej zgadzają się z twierdzeniem niż inni). Takie zachowanie jest jeszcze bardziej wyraźne, gdy obecny jest ankieter, a nie gdy ankieta jest samodzielnie administrowana. Lepszą praktyką jest oferowanie respondentom wyboru między alternatywnymi stwierdzeniami. Eksperyment Pew Research Center z jednym z rutynowo zadawanych pytań o wartości ilustruje różnicę, jaką może zrobić format pytania. Nie tylko format wymuszonego wyboru daje bardzo inny wynik ogólny od formatu zgadzam się-nie zgadzam się, ale wzór odpowiedzi między respondentami z mniej lub bardziej formalnym wykształceniem również wydaje się być bardzo różny.

kolejnym wyzwaniem w tworzeniu kwestionariuszy jest tzw. „stronniczość społeczna.”Ludzie mają naturalną tendencję do chęci bycia akceptowanym i lubianym, co może prowadzić do udzielenia niedokładnych odpowiedzi na pytania dotyczące wrażliwych tematów. Badania wykazały, że respondenci zaniżają spożycie alkoholu i narkotyków, uchylanie się od płacenia podatków i uprzedzenia rasowe. Mogą również zawyżać frekwencję w kościele, składki na cele charytatywne i prawdopodobieństwo, że zagłosują w wyborach. Naukowcy próbują wyjaśnić ten potencjalny błąd w tworzeniu pytań na te tematy. Na przykład, gdy ankiety Pew Research Center pytają o przeszłe zachowania wyborcze, ważne jest, aby pamiętać, że okoliczności mogły uniemożliwić respondentowi głosowanie: „w wyborach prezydenckich w 2012 roku między Barackiem Obamą i Mittem Romneyem, czy pojawiły się rzeczy, które powstrzymywały Cię od głosowania, czy też zdarzyło ci się głosować?”Wybór opcji odpowiedzi może również ułatwić ludziom bycie uczciwym. Na przykład pytanie o frekwencję w kościele może obejmować trzy z sześciu opcji odpowiedzi, które wskazują na rzadką frekwencję. Badania wykazały również, że stronniczość społeczna może być większa, gdy ankieter jest obecny (np. ankiety telefoniczne i twarzą w twarz) niż gdy respondenci sami wypełniają ankietę (np. ankiety papierowe i internetowe).

wreszcie, ponieważ niewielkie zmiany w sformułowaniu pytań mogą mieć wpływ na odpowiedzi, należy użyć identycznego sformułowania pytania, gdy intencją jest porównanie wyników z wynikami wcześniejszych badań. Podobnie, ponieważ sformułowanie pytania i odpowiedzi mogą się różnić w zależności od trybu używanego do badania respondentów, naukowcy powinni dokładnie ocenić prawdopodobny wpływ na pomiary trendów, jeśli inny tryb badania zostaną wykorzystane do oceny zmian w opinii w czasie.

kolejność pytań

po opracowaniu pytań ankietowych należy zwrócić szczególną uwagę na sposób ich uporządkowania w kwestionariuszu. Ankieterzy muszą zwracać uwagę na to, jak pytania na początku kwestionariusza mogą mieć niezamierzony wpływ na sposób, w jaki respondenci odpowiadają na kolejne pytania. Naukowcy wykazali, że kolejność zadawania pytań może wpływać na to, jak ludzie reagują; Wcześniejsze pytania mogą mimowolnie zapewnić kontekst dla kolejnych pytań (efekty te nazywane są „efektami porządkowymi”).

jeden rodzaj efektu zamówienia można zobaczyć w odpowiedziach na pytania otwarte. Ankiety Pew Research Center na ogół zadają otwarte pytania dotyczące problemów krajowych, opinii na temat liderów i podobnych tematów na początku ankiety. Jeśli zamknięte pytania, które odnoszą się do tematu są umieszczone przed pytaniem otwartym, respondenci są znacznie bardziej prawdopodobne, aby wspomnieć pojęcia lub rozważania podniesione w tych wcześniejszych pytań, gdy odpowiadając na pytanie otwarte.

w przypadku pytań o opinię zamkniętą istnieją dwa główne rodzaje efektów zlecenia: efekty kontrastu ( gdzie kolejność powoduje większe różnice w odpowiedziach) i efekty asymilacji (gdzie odpowiedzi są bardziej podobne w wyniku ich kolejności).

przykład efektu kontrastu można zobaczyć w sondażu Pew Research Center przeprowadzonym w październiku 2003 roku, kilkanaście lat przed zalegalizowaniem małżeństw osób tej samej płci w USA. Ankieta ta wykazała, że ludzie bardziej skłonni byli popierać zezwalanie gejom i lesbijkom na zawieranie umów prawnych, które dają im takie same prawa jak pary małżeńskie, gdy to pytanie zostało zadane po jednym, czy faworyzowali lub sprzeciwiali się zezwalaniu gejom i lesbijkom na zawieranie małżeństw (45% popierało umowy prawne, gdy pytano je po pytaniu o małżeństwo, ale 37% popierało umowy prawne bez bezpośrednio poprzedzającego kontekstu pytania o małżeństwo osób tej samej płci). Odpowiedzi na pytanie o małżeństwo osób tej samej płci nie miały jednak znaczącego wpływu na jego umieszczenie przed lub po pytaniu o umowy prawne.

kolejny eksperyment osadzony w grudniowej ankiecie Pew Research Center również zaowocował efektem kontrastu. Kiedy ludzie zostali zapytani: „w sumie, czy jesteś zadowolony lub niezadowolony z tego, jak sprawy mają się dzisiaj w tym kraju?”natychmiast po zapytaniu, czy aprobuje pan lub nie aprobuje sposobu, w jaki George W. Bush zajmuje się swoją pracą jako prezydent?”; 88% osób stwierdziło, że jest niezadowolonych, w porównaniu z zaledwie 78% bez kontekstu wcześniejszego pytania.

odpowiedzi na aprobatę prezydenta pozostały względnie niezmienione, niezależnie od tego, czy pytano o satysfakcję narodową przed, czy po niej. Podobne odkrycie miało miejsce w grudniu 2004 r., kiedy zarówno zadowolenie, jak i zgoda prezydenta były znacznie wyższe (57% było niezadowolonych, gdy najpierw zapytano o zgodę Busha, vs. 51%, gdy najpierw zapytano o ogólną satysfakcję).

kilka badań wykazało również, że zadawanie bardziej konkretnego pytania przed bardziej ogólnym pytaniem (np., pytanie o szczęście w małżeństwie przed pytaniem o ogólne szczęście) może spowodować efekt kontrastu. Chociaż stwierdzono pewne wyjątki, ludzie zwykle unikają zwolnień, wykluczając bardziej szczegółowe pytanie z ogólnej oceny.

efekty asymilacji występują, gdy odpowiedzi na dwa pytania są bardziej spójne lub bliższe sobie ze względu na ich umieszczenie w kwestionariuszu. Przykład efektu asymilacji znaleźliśmy w sondażu Pew Research Center przeprowadzonym w listopadzie 2008 roku, kiedy zapytaliśmy, czy przywódcy republikańscy powinni współpracować z Obamą, czy postawić się mu w ważnych kwestiach i czy przywódcy Demokratyczni powinni współpracować z przywódcami republikańskimi, czy też postawić się im w ważnych kwestiach. Ludzie byli bardziej skłonni powiedzieć, że republikańscy przywódcy powinni pracować z Obamą, gdy pytanie było poprzedzone pytaniem, co Demokratyczni przywódcy powinni zrobić w pracy z przywódcami republikańskimi (81% vs. 66%). Jednak kiedy ludzie zostali po raz pierwszy zapytani o republikańskich przywódców pracujących z Obamą, mniej powiedziało, że demokratyczni przywódcy powinni współpracować z republikańskimi przywódcami (71% vs. 82%).

pytania dotyczące zamówienia mają szczególne znaczenie przy śledzeniu trendów w czasie. W związku z tym należy zadbać o to, aby kontekst był podobny za każdym razem, gdy zadawane jest pytanie. Zmiana kontekstu pytania może podważyć wszelkie zaobserwowane zmiany w czasie (więcej informacji można znaleźć w części pomiar zmiany w czasie).

kwestionariusz, podobnie jak rozmowa, powinien być pogrupowany według tematu i rozwinięty w logicznej kolejności. Często pomocne jest rozpoczęcie badania od prostych pytań, które respondenci uznają za interesujące i angażujące. W trakcie badania należy dołożyć starań, aby badanie było interesujące i nie obciążało respondentów kilkoma trudnymi pytaniami zaraz po sobie. Pytania demograficzne, takie jak dochód, wykształcenie lub wiek, nie powinny być zadawane na początku badania, chyba że są one potrzebne do określenia kwalifikowalności do badania lub do przekierowania respondentów przez poszczególne sekcje kwestionariusza. Nawet wtedy najlepiej jest poprzedzić takie pozycje bardziej interesującymi i angażującymi pytaniami. Jedną z zalet paneli ankietowych, takich jak ATP, jest to, że pytania demograficzne zwykle muszą być zadawane raz w roku, a nie w każdym badaniu.