ehkä tärkein osa kyselyprosessia on sellaisten kysymysten luominen, jotka mittaavat tarkasti yleisön mielipiteitä, kokemuksia ja käyttäytymistä. Tarkka satunnaisotanta menee hukkaan, jos kerätty tieto rakentuu epäselvien tai puolueellisten kysymysten huteralle pohjalle. Hyvien toimenpiteiden luomiseen kuuluu sekä hyvien kysymysten kirjoittaminen että niiden järjestäminen kyselylomakkeen muodostamiseksi.

kyselylomakkeen suunnittelu on monivaiheinen prosessi, joka vaatii monien yksityiskohtien huomioimista kerralla. Kyselylomakkeen suunnittelu on monimutkaista, koska kyselytutkimuksissa voidaan kysyä aiheista eri tavoin, kysymyksiä voidaan esittää eri tavoin ja kyselytutkimuksessa aiemmin esitetyt kysymykset voivat vaikuttaa siihen, miten ihmiset vastaavat myöhempiin kysymyksiin. Tutkijat ovat myös usein kiinnostuneita mittaamaan muutosta ajan myötä ja siksi heidän on oltava tarkkana siitä, miten mielipiteitä tai käyttäytymistä on mitattu aiemmissa kyselyissä.

katsastajat voivat suorittaa pilottitestejä tai kohderyhmiä kyselylomakkeen kehittämisen alkuvaiheessa ymmärtääkseen paremmin, miten ihmiset ajattelevat asiasta tai ymmärtävät kysymyksen. Kyselyn teeskentely on olennainen askel kyselylomakkeen suunnitteluprosessissa sen arvioimiseksi, miten ihmiset vastaavat yleiseen kyselyyn ja erityisiin kysymyksiin, erityisesti silloin, kun kysymyksiä otetaan käyttöön ensimmäistä kertaa.

monien vuosien ajan katsastajat lähestyivät kyselylomakkeen suunnittelua taiteena, mutta viimeisten neljänkymmenen vuoden mittainen tutkimus on osoittanut, että hyvän kyselykyselyn laatimiseen liittyy paljon tiedettä. Täällä keskustellaan kyselylomakkeiden suunnittelun sudenkuopista ja parhaista käytännöistä.

kysymyksen kehittäminen

tutkimuskyselyn laatimiseen liittyy useita vaiheita. Ensimmäinen on kartoittaa, mitä aiheita kyselyssä käsitellään. Pew Research Centerin kyselyissä tämä tarkoittaa sitä, että mietitään, mitä kansakunnassamme ja maailmassa tapahtuu ja mikä on relevanttia yleisölle, päättäjille ja medialle. Seuraamme myös mielipiteitä monista eri asioista ajan mittaan, joten varmistamme usein, että päivitämme näitä suuntauksia säännöllisesti ymmärtääksemme paremmin, ovatko ihmisten mielipiteet muuttumassa.

Pew Research Centerissä kyselylomakkeen kehittäminen on yhteistoiminnallinen ja iteratiivinen prosessi, jossa henkilökunta kokoontuu keskustelemaan kyselylomakkeen luonnoksista useita kertoja sen kehittämisen aikana. Testaamme usein uusia kyselykysymyksiä etukäteen laadullisilla tutkimusmenetelmillä, kuten kohderyhmillä, kognitiivisilla haastatteluilla, pretestingillä (usein käyttämällä online-otosta, opt-in-otosta) tai näiden lähestymistapojen yhdistelmällä. Tutkijat käyttävät tämän testauksen oivalluksia tarkentaakseen kysymyksiä ennen kuin niitä kysytään tuotantotutkimuksessa, kuten ATP: llä.

ajan myötä tapahtuvan muutoksen mittaaminen

monet katsastajat haluavat seurata muutoksia ihmisten asenteissa, mielipiteissä ja käyttäytymisessä ajan mittaan. Muutoksen mittaamiseksi kysymyksiä esitetään kahdessa tai useammassa vaiheessa. Poikkileikkausmalli kartoittaa eri ihmisiä samassa populaatiossa useana ajankohtana. ATP: n kaltainen paneeli kartoittaa ajan mittaan samoja ihmisiä. On kuitenkin tavallista, että tutkimuspaneelien joukko muuttuu ajan myötä, kun uusia panelisteja lisätään ja osa aiemmista panelisteista putoaa pois. Monet Pew Research Centerin kyselytutkimusten kysymyksistä on kysytty aiemmissa gallupeissa. Samojen kysymysten esittäminen eri aikoina antaa meille mahdollisuuden raportoida muutoksista yleisön (tai yleisön osajoukon, kuten rekisteröityjen äänestäjien, miesten tai mustien amerikkalaisten) yleisissä näkemyksissä tai mitä kutsumme ”tietojen trendiksi”.

ajan kuluessa tapahtuvaa muutosta mitattaessa on tärkeää käyttää samaa kysymyksen sanamuotoa ja ottaa huomioon, missä kysymys esitetään kyselylomakkeessa, jotta voidaan säilyttää samanlainen asiayhteys kuin silloin, kun kysymys esitettiin aiemmin (KS.kysymyksen sanamuoto ja kysymysjärjestys). Kaikki tutkimusraporttimme sisältävät ylälinjaisen kyselylomakkeen, joka tarjoaa tarkan kysymyksen sanamuodon ja sekvensoinnin sekä tulokset nykyisestä kyselystä ja aiemmista kyselyistä, joissa esitimme kysymyksen.

Keskuksen siirtyminen yhdysvaltalaistutkimusten suorittamisesta suoralla puhelinhaastattelulla verkkopaneeliin (noin vuosina 2014-2020) mutkisti joitakin mielipidesuuntauksia, mutta ei toisia. Mielipidesuuntaukset, joissa kysytään arkaluonteisista aiheista (esim. henkilökohtaisesta raha-asioista tai uskonnollisiin tilaisuuksiin osallistumisesta) tai joihin saadaan vapaaehtoisia vastauksia (esim., ”nother ”tai” don ’t know”) puhelimitse taipumus näyttää suurempia eroja kuin muut suuntaukset siirryttäessä puhelinäänestyksistä online ATP. Keskus hyväksyi useita strategioita, joiden avulla voidaan selviytyä muutoksista datasuuntauksissa, jotka voivat liittyä tähän menetelmämuutokseen. Jos on näyttöä siitä, että muutos trendi johtuu siirtyminen puhelimen Online mittaus, Center reports flag, että mahdollisuus lukijat yrittää päästä pois sekaannusta tai virheellisiä johtopäätöksiä.

avoimet ja suljetut kysymykset

yksi merkittävimmistä päätöksistä, jotka voivat vaikuttaa siihen, miten ihmiset vastaavat kysymyksiin, on se, esitetäänkö kysymys avoimena kysymyksenä, jossa vastaajat antavat vastauksen omin sanoin, vai suljettuna kysymyksenä, jossa heitä pyydetään valitsemaan vastausvalintojen luettelosta.

esimerkiksi vuoden 2008 presidentinvaalien jälkeen tehdyssä kyselyssä ihmiset vastasivat hyvin eri tavalla kysymyksen kahteen versioon: ”mikä yksi asia merkitsi sinulle eniten päättäessäsi, miten äänestit presidenttiä?”Toinen oli suljettu ja toinen avoin. Suljetussa versiossa vastaajille annettiin viisi vaihtoehtoa, ja he saattoivat vapaaehtoisesti valita vaihtoehdon, joka ei ollut listalla.

kun vastaukseksi tarjottiin nimenomaan taloutta, yli puolet vastaajista (58%) valitsi tämän vastauksen; avoimeen versioon vastanneista vain 35% ilmoitti vapaaehtoisesti talouden. Lisäksi suljettua versiota pyytäneistä harvempi kuin joka kymmenes (8%) antoi vastauksen kuin ne viisi, jotka ne luettiin. Sen sijaan täysin 43 prosenttia avoimeen versioon vastanneista antoi vastauksen, jota ei ole mainittu suljetussa versiossa. Kaikki muut asiat valittiin ainakin hieman useammin, kun niitä nimenomaisesti tarjottiin suljetussa versiossa kuin avoimessa versiossa. (Katso myös ”High Marks for the Campaign, a High Bar for Obama” lisätietoja.)

tutkijat tekevät joskus pilottitutkimuksen avoimilla kysymyksillä selvittääkseen, mitkä vastaukset ovat yleisimpiä. Sen jälkeen he kehittävät suljettuja kysymyksiä, jotka perustuvat pilottitutkimukseen, joka sisältää yleisimmät vastaukset vastausvalintoina. Näin kysymykset voivat paremmin heijastaa sitä, mitä yleisö ajattelee, miten he suhtautuvat tiettyyn asiaan, tai tuoda esiin tiettyjä asioita, joista tutkijat eivät ehkä ole olleet tietoisia.

suljetuissa kysymyksissä tarjottujen vaihtoehtojen valinta, kunkin vaihtoehdon kuvaus, tarjottujen vastausvaihtoehtojen määrä ja vaihtoehtojen lukujärjestys voivat kaikki vaikuttaa siihen, miten ihmiset vastaavat. Yksi esimerkki kategorioiden määrittelyn vaikutuksista löytyy Pew Research Centerin kyselystä, joka tehtiin tammikuussa 2002. Kun puolet otoksesta kysyi, oliko ”tärkeämpää, että presidentti Bush keskittyy sisäpolitiikkaan vai ulkopolitiikkaan”, 52 prosenttia valitsi sisäpolitiikan, kun taas vain 34 prosenttia sanoi ulkopolitiikan. Kun kategoria ” ulkopolitiikka ”rajattiin tiettyyn näkökohtaan –” terrorismin vastaiseen sotaan ” – paljon useammat valitsivat sen; vain 33 prosenttia valitsi sisäpolitiikan, kun taas 52 prosenttia valitsi terrorismin vastaisen sodan.

useimmissa tilanteissa vastausvalintojen määrä tulisi pitää suhteellisen pienessä määrässä – vain neljässä tai korkeintaan viidessä – erityisesti puhelinkyselyissä. Psykologiset tutkimukset osoittavat, että ihmisten on vaikea pitää yhtä monta valintamäärää mielessään. Kun kysymyksessä kysytään objektiivista faktaa ja / tai väestötietoa, kuten vastaajan uskonnollista kuulumista, voidaan käyttää useampia kategorioita. Itse asiassa heitä kannustetaan varmistamaan osallisuus. Esimerkiksi Pew Research Centerin vakiouskontokysymyksiin kuuluu yli 12 eri kategoriaa alkaen yleisimmistä kytköksistä (protestanttiset ja katoliset). Useimmilla vastaajilla ei ole mitään vaikeuksia tämän kysymyksen kanssa, koska he voivat odottaa näkevänsä uskonnollisen ryhmänsä tuossa luettelossa omatoimisessa tutkimuksessa.

tarjottujen vastausvaihtoehtojen määrän ja valinnan lisäksi vastauskategorioiden järjestys voi vaikuttaa siihen, miten ihmiset vastaavat suljettuihin kysymyksiin. Tutkimus viittaa siihen, että puhelinkyselyissä vastaajat valitsevat useammin listassa myöhemmin kuultuja asioita (”recency effect”), ja itse annetuissa kyselyissä heillä on taipumus valita listan kärkipäässä olevia asioita (”primacy” effect).

koska on huolestuttu kategoriajärjestyksen vaikutuksista suljettuihin kysymyksiin annettuihin vastauksiin, monet Pew Research Centerin kyselyissä olevat vastausvaihtoehdot on ohjelmoitu satunnaistamaan siten, että vaihtoehtoja ei kysytä samassa järjestyksessä jokaiselta vastaajalta. Kiertäminen tai satunnaistaminen tarkoittaa sitä, että listan kysymyksiä tai kohteita ei esitetä samassa järjestyksessä jokaiselle vastaajalle. Kysymyksiin vastaamiseen vaikuttavat joskus niitä edeltävät kysymykset. Esittämällä kysymykset eri järjestyksessä jokaiselle vastaajalle varmistamme, että jokainen kysymys esitetään samassa yhteydessä kuin kaikki muutkin kysymykset yhtä monta kertaa (esim.ensimmäinen, viimeinen tai mikä tahansa niiden välissä oleva asento). Tämä ei poista aiempien kysymysten mahdollista vaikutusta nykyiseen kysymykseen, mutta se varmistaa, että tämä vinouma leviää satunnaisesti kaikkiin listan kysymyksiin tai kohtiin. Esimerkiksi edellä käsitellyssä esimerkissä siitä, millä asialla oli eniten merkitystä ihmisten äänestyksessä, kysymyksen suljetun version viiden numeron järjestys satunnaistettiin niin, ettei yksi kysymys ilmestynyt etuajassa tai myöhässä kaikkien vastaajien listalla. Satunnaistaminen vastaus kohteita ei poista järjestyksessä vaikutuksia, mutta se varmistaa, että tällainen bias leviää satunnaisesti.

kysymyksiä, joissa on ordinaaliset vastausluokat – ne, joiden taustalla on järjestys (esim.erinomainen, hyvä, vain oikeudenmukainen, huono tai erittäin suotuisa, enimmäkseen suotuisa, enimmäkseen epäsuotuisa, erittäin epäsuotuisa) – ei yleensä satunnaisteta, koska luokkien järjestys välittää tärkeää tietoa, joka auttaa vastaajia vastaamaan kysymykseen. Yleensä tämäntyyppiset asteikot tulee esittää järjestyksessä, joten vastaajat voivat helposti sijoittaa vastauksensa jatkumoon, mutta järjestys voidaan joidenkin vastaajien kohdalla kääntää päinvastaiseksi. Esimerkiksi eräässä Pew Research Centerin aborttia koskevassa kysymyksessä puolet näytteestä kysyy, pitäisikö Abortin olla ”laillinen kaikissa tapauksissa, laillinen useimmissa tapauksissa, laiton useimmissa tapauksissa, laiton kaikissa tapauksissa”, kun taas toinen puoli näytteestä kysytään samaa kysymystä vastausluokilla, jotka luetaan käänteisessä järjestyksessä alkaen ”laiton kaikissa tapauksissa.”Järjestyksen kääntäminen ei myöskään poista viimeaikaista vaikutusta, vaan jakaa sen satunnaisesti koko väestöön.

kysymyksen sanamuoto

kysymyksen sanojen ja lauseiden valinta on ratkaisevaa, kun halutaan ilmaista kysymyksen merkitys Ja tarkoitus vastaajalle ja varmistaa, että kaikki vastaajat tulkitsevat kysymyksen samalla tavalla. Pienetkin sanamuotoerot voivat vaikuttaa oleellisesti ihmisten antamiin vastauksiin.

esimerkki sanamuoto-erosta, jolla oli merkittävä vaikutus vastauksiin, on peräisin tammikuussa 2003 julkaistusta Pew Research Centerin kyselystä. Kun ihmisiltä kysyttiin, ”kannattaisivatko vai vastustaisivatko he sotilaallisia toimia Irakissa Saddam Husseinin hallinnon lopettamiseksi”, 68 prosenttia sanoi kannattavansa sotilaallisia toimia, kun taas 25 prosenttia sanoi vastustavansa sotilaallisia toimia. Kun heiltä kuitenkin kysyttiin, ”kannattaisivatko vai vastustaisivatko he sotilaallisia toimia Irakissa Saddam Husseinin hallinnon lopettamiseksi, vaikka se merkitsisi sitä, että Yhdysvaltain joukot saattaisivat kärsiä tuhansia tappioita”, vastaukset olivat dramaattisesti erilaisia; vain 43% sanoi kannattavansa sotilaallisia toimia, kun taas 48% sanoi vastustavansa sitä. The introduction of U. S. tappiot muuttivat kysymyksen kontekstia ja vaikuttivat siihen, suosivatko vai vastustivatko ihmiset sotatoimia Irakissa.

on tehty paljon tutkimusta, jossa on pyritty arvioimaan erilaisten kyselytapojen vaikutusta ja sitä, miten vastaajien tulkintaeroja voidaan minimoida. Kysymykset liittyvät kysymyksen sanamuoto on enemmän kuin voidaan käsitellä riittävästi tässä lyhyessä tilassa, mutta alla on muutamia tärkeitä asioita harkita:

ensin on tärkeää esittää selkeitä ja täsmällisiä kysymyksiä, joihin jokainen vastaaja pystyy vastaamaan. Jos kysymys on avoin, vastaajille pitäisi olla selvää, että he voivat vastata omin sanoin ja minkälaisen vastauksen he antavat (kysymys tai ongelma, kuukausi, päivien lukumäärä jne.). Suljettuihin kysymyksiin olisi sisällyttävä kaikki kohtuulliset vastaukset (toisin sanoen vaihtoehtojen luettelo on tyhjentävä), eivätkä vastausluokat saisi olla päällekkäisiä (eli vastausvaihtoehtojen olisi oltava toisensa poissulkevia). Lisäksi on tärkeää havaita, milloin on parasta käyttää pakkovalintaisia lähikysymyksiä (jotka on usein merkitty radiopainikkeella verkkokyselyissä) verrattuna ”valitse-KAIKKI-että-käytä”-listoihin (tai valintaruutuihin). Keskuksen vuonna 2019 tekemässä tutkimuksessa havaittiin, että pakkovalintakysymyksillä on taipumus saada tarkempia vastauksia etenkin arkaluontoisiin kysymyksiin. Tämän tutkimuksen perusteella keskus yleensä välttää käyttämästä select-all-that-apply-kysymyksiä.

on myös tärkeää kysyä vain yksi kysymys kerrallaan. Kysymykset, jotka pyytävät vastaajia arvioimaan useampaa kuin yhtä käsitettä (tunnetaan kaksipiippuisina kysymyksinä)-kuten ”kuinka paljon luottamusta teillä on presidentti Obamaan sisä – ja ulkopolitiikan hoitamiseen?”- ovat vastaajien vaikeita vastata ja johtavat usein vastauksiin, joita on vaikea tulkita. Tässä esimerkissä olisi tehokkaampaa esittää kaksi erillistä kysymystä, toinen sisäpolitiikasta ja toinen ulkopolitiikasta.

vastaajat ymmärtävät helpommin kysymyksiä, joissa käytetään yksinkertaista ja konkreettista kieltä. Erityisen tärkeää on ottaa huomioon tutkimusjoukon koulutustaso, kun mietitään, kuinka helppoa vastaajien on tulkita ja vastata kysymykseen. Kaksoisnegatiivit (esim. Kannatatko tai vastustatko sitä, että homoja ja lesboja ei sallita laillisesti naimisiin) tai tuntemattomat lyhenteet tai ammattikielet (esim.Anwr Arctic National Wildlife Refugen sijaan) voivat aiheuttaa vastaajien hämmennystä ja niitä tulisi välttää.

samoin on tärkeää pohtia, voidaanko joitakin sanoja pitää puolueellisina tai mahdollisesti loukkaavina joillekin vastaajille, samoin kuin sitä tunnereaktiota, jonka jotkin sanat saattavat aiheuttaa. Esimerkiksi vuonna 2005 tehdyssä Pew Research Centerin tutkimuksessa 51 prosenttia vastaajista sanoi kannattavansa ”sitä, että lääkärit voivat laillisesti antaa parantumattomasti sairaille potilaille keinot päättää elämänsä”, mutta vain 44 prosenttia sanoi kannattavansa ”sitä, että lääkärit voivat laillisesti auttaa parantumattomasti sairaita potilaita tekemään itsemurhan.”Vaikka kysymyksen molemmissa versioissa kysytään samaa asiaa, vastaajien reaktio oli erilainen. Toisessa esimerkissä vastaajat ovat reagoineet kysymyksiin eri tavalla käyttämällä sanaa” hyvinvointi ”verrattuna yleisempään” köyhäinapu.”Useat kokeet ovat osoittaneet, että ”köyhäinavun” laajentamiselle on paljon suurempi julkinen tuki kuin ”hyvinvoinnin laajentamiselle”.”

kirjoitamme kysymyksestä usein kaksi versiota ja kysymme puolet kyselyotoksesta yhden version kysymyksestä ja toinen puoli toisen version. Näin ollen sanomme, että meillä on kaksi lomaketta kyselylomake. Vastaajat on satunnaistettu saamaan joko lomake, joten voimme olettaa, että kaksi vastaajaryhmää ovat olennaisesti identtisiä. Kysymyksissä, joissa käytetään kahta versiota, näiden kahden lomakkeen vastausten huomattavat erot osoittavat, että ero johtuu siitä, miten nämä kaksi versiota muotoiltiin.

yksi yleisimmistä kyselykysymyksissä käytetyistä formaateista on ”samaa mieltä-eri mieltä” – formaatti. Tämän tyyppisessä kysymyksessä vastaajilta kysytään, ovatko he samaa vai eri mieltä tietyn väitteen kanssa. Tutkimus on osoittanut, että verrattuna paremmin koulutettuihin ja paremmin perillä oleviin, vähemmän koulutetuilla ja vähemmän valistuneilla vastaajilla on suurempi taipumus yhtyä tällaisiin väitteisiin. Tätä kutsutaan joskus ”myöntyväisyysharhaksi” (koska tietyntyyppiset vastaajat myöntyvät väitteeseen todennäköisemmin kuin toiset). Tämä käytös korostuu vielä enemmän silloin, kun paikalla on haastattelija, eikä silloin, kun kysely toteutetaan itse. Parempi tapa on tarjota vastaajille mahdollisuus valita vaihtoehtoisten lausuntojen välillä. Pew Research Center kokeilu yksi sen rutiininomaisesti kysyttyjä arvoja kysymyksiä havainnollistaa eroa, että kysymys muoto voi tehdä. Sen lisäksi, että pakotettu valinta-formaatti tuottaa hyvin erilaisen tuloksen kokonaisuudessaan kuin samaa mieltä-eri mieltä-formaatti, myös enemmän tai vähemmän muodollisen koulutuksen saaneiden vastausten malli on yleensä hyvin erilainen.

eräs toinen haaste kyselylomakkeiden kehittämisessä on niin sanottu ” social desirability bias.”Ihmisillä on luontainen taipumus haluta tulla hyväksytyiksi ja pidetyiksi, ja tämä voi saada ihmiset antamaan epätarkkoja vastauksia kysymyksiin, jotka käsittelevät arkaluonteisia aiheita. Tutkimusten mukaan vastaajat vähättelevät alkoholin ja huumeiden käyttöä, veronkiertoa ja rotuennakkoluuloja. He saattavat myös liioitella kirkossa käyntiä, hyväntekeväisyyttä ja sitä, että he todennäköisesti äänestävät vaaleissa. Tutkijat yrittävät selittää tätä mahdollista vinoumaa askartelukysymyksissä näistä aiheista. Kun esimerkiksi Pew Research Centerin kyselyissä kysytään menneestä äänestyskäyttäytymisestä, on tärkeää huomata, että olosuhteet ovat saattaneet estää vastaajaa äänestämästä: ”Barack Obaman ja Mitt Romneyn välisissä vuoden 2012 presidentinvaaleissa tuli esiin asioita, jotka estivät äänestämästä, vai satuitko äänestämään?”Vastausvaihtoehtojen valinta voi myös helpottaa ihmisten rehellisyyttä. Esimerkiksi kirkossa käyntiä koskeva kysymys voisi sisältää kolme kuudesta vastausvaihtoehdosta, jotka osoittavat, että läsnä on harvoin. Tutkimus on myös osoittanut, että sosiaalinen toivottavuus harhaa voi olla suurempi, kun haastattelija on läsnä (esim., puhelin-ja face-to-face kyselyt) kuin silloin, kun vastaajat suorittavat kyselyn itse (esim., paperi-ja web-kyselyt).

lopuksi, koska kysymyksen sanamuotoon tehtävät pienet muutokset voivat vaikuttaa vastauksiin, on käytettävä samaa kysymysmuotoa, kun pyritään vertaamaan tuloksia aikaisempien tutkimusten tuloksiin. Samoin, koska kysymysten sanamuoto ja vastaukset voivat vaihdella vastaajien kyselytavan mukaan, tutkijoiden tulisi huolellisesti arvioida todennäköisiä vaikutuksia trendimittauksiin, jos mielipiteen muuttumisen arvioimiseen käytetään eri kyselytapaa.

Kysymysjärjestys

kun kyselykysymykset on laadittu, on kiinnitettävä erityistä huomiota siihen, miten ne kyselylomakkeessa on järjestetty. Katsastajien on oltava tarkkana sen suhteen, miten kyselyn alussa esitettävät kysymykset voivat vaikuttaa tahattomasti siihen, miten vastaajat vastaavat myöhempiin kysymyksiin. Tutkijat ovat osoittaneet, että kysymysten esittämisjärjestys voi vaikuttaa siihen, miten ihmiset vastaavat; aiemmat kysymykset voivat tahattomasti antaa kontekstin seuraaville kysymyksille (näitä vaikutuksia kutsutaan ”järjestysvaikutuksiksi”).

yhdenlainen järjestysvaikutus näkyy vastauksissa avoimiin kysymyksiin. Pew Research Centerin kyselyissä kysytään yleensä avoimia kysymyksiä kansallisista ongelmista, mielipiteitä johtajista ja vastaavista aiheista lähellä kyselyn alkua. Jos aiheeseen liittyvät suljetut kysymykset asetetaan avoimen kysymyksen edelle, vastaajat mainitsevat paljon todennäköisemmin näissä aiemmissa kysymyksissä esiin otetut käsitteet tai näkökohdat vastatessaan avoimeen kysymykseen.

suljetuissa mielipidekysymyksissä on kahdenlaisia järjestysvaikutuksia: varjovaikutukset ( joissa järjestys johtaa suurempiin vastausten eroihin) ja assimilaatiovaikutukset (joissa vastaukset ovat järjestyksensä vuoksi samankaltaisempia).

esimerkki vastavaikutuksesta voidaan nähdä Pew Research Centerin kyselyssä, joka tehtiin lokakuussa 2003, kymmenkunta vuotta ennen kuin samaa sukupuolta olevien avioliitto laillistettiin Yhdysvalloissa. Tämä kysely osoitti, että ihmiset olivat todennäköisemmin kannattaa sallimalla homot ja lesbot tehdä laillisia sopimuksia, jotka antavat heille samat oikeudet kuin avioparit, kun tämä kysymys kysyttiin jälkeen yksi siitä, suosivatko tai vastustivat sallivatko homot ja lesbot mennä naimisiin (45% suosi oikeudellisia sopimuksia, kun kysyttiin jälkeen avioliittokysymyksen, mutta 37% suosi laillisia sopimuksia ilman välittömässä yhteydessä kysymys samaa sukupuolta olevien avioliitto). Vastauksia kysymykseen samaa sukupuolta olevien avioliitosta, sillä välin, ei merkittävästi vaikuttanut sen sijoittaminen ennen tai jälkeen oikeudellisten sopimusten kysymys.

toinen koe upotettu joulukuussa 2008 Pew Research Center kysely johti myös kontrasti vaikutus. Kun ihmisiltä kysyttiin ” kaiken kaikkiaan, oletteko tyytyväisiä tai tyytymättömiä siihen, miten asiat ovat menossa tässä maassa tänään?”heti kysyttyänne” hyväksyttekö vai paheksutteko tapaa, jolla George W. Bush hoitaa työtään presidenttinä?”; 88 prosenttia ilmoitti olevansa tyytymättömiä, kun taas vain 78 prosenttia oli ilman aiemman kysymyksen asiayhteyttä.

vastaukset presidentin hyväksyntään pysyivät suhteellisen muuttumattomina riippumatta siitä, kysyttiinkö kansallisesta tyytyväisyydestä ennen vai jälkeen sen. Vastaava havainto tehtiin joulukuussa 2004, jolloin sekä tyytyväisyys että presidentin hyväksyntä olivat paljon korkeammat (57% oli tyytymättömiä, kun Bushin hyväksyntää kysyttiin ensin, ja 51%, Kun yleistä tyytyväisyyttä kysyttiin ensin).

useat tutkimukset ovat myös osoittaneet, että tarkemman kysymyksen esittäminen ennen yleisempää kysymystä (esim., kysymällä onnellisuudesta avioliittonsa kanssa ennen kuin kysymällä omasta kokonaisonnestaan) voi saada aikaan vastavaikutuksen. Vaikka joitakin poikkeuksia on löytynyt, ihmiset pyrkivät välttämään irtisanomisia jättämällä tarkemman kysymyksen yleisluokituksen ulkopuolelle.

Assimilaatiovaikutuksia esiintyy, kun vastaukset kahteen kysymykseen ovat johdonmukaisempia tai lähempänä toisiaan, koska ne on sijoitettu kyselylomakkeeseen. Löysimme esimerkin assimilaatiovaikutuksesta Pew Research Centerin kyselyssä, joka tehtiin marraskuussa 2008, kun kysyimme, pitäisikö Republikaanijohtajien työskennellä Obaman kanssa tai nousta häntä vastaan tärkeissä kysymyksissä ja pitäisikö Demokraattijohtajien työskennellä Republikaanijohtajien kanssa vai nousta heitä vastaan tärkeissä kysymyksissä. Ihmiset olivat todennäköisemmin sitä mieltä, että Republikaanijohtajien pitäisi työskennellä Obaman kanssa, kun kysymystä edelsi kysymys, jossa kysyttiin, mitä Demokraattijohtajien pitäisi tehdä työskennellessään Republikaanijohtajien kanssa (81% vs. 66%). Kun ihmisiltä kuitenkin ensimmäisen kerran kysyttiin Republikaanijohtajien yhteistyöstä Obaman kanssa, harvempi sanoi, että Demokraattijohtajien pitäisi työskennellä Republikaanijohtajien kanssa (71% vs. 82%).

esitettyjen järjestyskysymysten merkitys on erityisen suuri seurattaessa trendejä ajan mittaan. Tämän vuoksi on huolehdittava siitä, että asiayhteys on samanlainen joka kerta, kun kysymys esitetään. Kysymyksen asiayhteyden muuttaminen voi kyseenalaistaa kaikki havaitut muutokset ajan myötä (katso lisätietoja muutoksen mittaamisesta ajan myötä).

kysely, kuten keskustelu, on ryhmiteltävä aiheen mukaan ja esitettävä loogisessa järjestyksessä. Kysely kannattaa usein aloittaa yksinkertaisilla kysymyksillä, joita vastaajat pitävät kiinnostavina ja mukaansatempaavina. Koko kyselyn ajan pitäisi pyrkiä pitämään kysely mielenkiintoisena, eikä rasittaa vastaajia useilla vaikeilla kysymyksillä heti perään. Demografisia kysymyksiä, kuten tuloja, koulutusta tai ikää, ei pitäisi esittää tutkimuksen alussa, ellei niitä tarvita tutkimukseen kelpoisuuden määrittämiseksi tai vastaajien ohjaamiseksi kyselylomakkeen tiettyjen osien kautta. Silloinkin on parasta edeltää tällaisia kohteita mielenkiintoisemmilla ja mukaansatempaavilla kysymyksillä. Yksi ATP: n kaltaisten tutkimuspaneelien hyve on se, että demografisia kysymyksiä tarvitsee yleensä esittää vain kerran vuodessa, ei jokaisessa kyselyssä.