misschien wel het belangrijkste onderdeel van het enquêteproces is het creëren van vragen die de meningen, ervaringen en gedragingen van het publiek nauwkeurig meten. Accurate willekeurige bemonstering zal worden verspild als de verzamelde informatie is gebouwd op een wankele basis van dubbelzinnige of bevooroordeelde vragen. Het creëren van goede maatregelen omvat zowel het schrijven van goede vragen en het organiseren van hen om de vragenlijst te vormen.

het ontwerp van de vragenlijst is een proces in meerdere fasen dat aandacht vraagt voor vele details tegelijk. Het ontwerpen van de vragenlijst is ingewikkeld omdat enquêtes kunnen vragen over onderwerpen in verschillende mate van detail, vragen kunnen worden gesteld op verschillende manieren, en vragen die eerder in een enquête worden gesteld kan invloed hebben op hoe mensen reageren op latere vragen. Onderzoekers zijn ook vaak geà nteresseerd in het meten van verandering in de tijd en moeten daarom alert zijn op hoe meningen of gedrag zijn gemeten in eerdere enquêtes.

inspecteurs kunnen in de eerste stadia van de ontwikkeling van de vragenlijst pilottests of focusgroepen uitvoeren om beter te begrijpen hoe mensen over een probleem denken of een vraag begrijpen. Het testen van een enquête is een essentiële stap in het ontwerpproces van de vragenlijst om te evalueren hoe mensen reageren op de Algemene vragenlijst en specifieke vragen, vooral wanneer vragen voor het eerst worden geïntroduceerd.

gedurende vele jaren benaderden surveyors het ontwerp van de vragenlijst als een kunst, maar substantieel onderzoek in de afgelopen veertig jaar heeft aangetoond dat er veel wetenschap betrokken is bij het opstellen van een goede enquêtevragenlijst. Hier bespreken we de valkuilen en best practices van het ontwerpen van vragenlijsten.

Vraagontwikkeling

bij de ontwikkeling van een enquêtevragenlijst zijn verschillende stappen betrokken. De eerste is het identificeren van welke onderwerpen zullen worden behandeld in de enquête. Voor Pew Research Center surveys gaat het erom na te denken over wat er gebeurt in onze natie en de wereld en wat relevant zal zijn voor het publiek, beleidsmakers en de media. We volgen ook de meningen over een verscheidenheid aan onderwerpen in de loop van de tijd, dus we zorgen er vaak voor dat we deze trends regelmatig bijwerken om beter te begrijpen of de meningen van mensen veranderen.In het Pew Research Center is questionnaire development een collaboratief en iteratief proces waarbij medewerkers elkaar meerdere malen ontmoeten om de ontwerpen van de vragenlijst in de loop van de ontwikkeling te bespreken. We testen regelmatig nieuwe enquãatevragen van tevoren door middel van kwalitatieve onderzoeksmethoden zoals focusgroepen, cognitieve interviews, pretesting (vaak met behulp van een online, opt-in steekproef), of een combinatie van deze benaderingen. Onderzoekers gebruiken inzichten uit deze testen om vragen te verfijnen voordat ze worden gesteld in een productie-enquête, zoals op de ATP.

het meten van veranderingen in de loop van de tijd

veel landmeters willen veranderingen in de loop van de tijd in de attitudes, meningen en gedragingen van mensen volgen. Om verandering te meten, worden vragen gesteld op twee of meer punten in de tijd. Een transversaal ontwerp onderzoekt verschillende mensen in dezelfde populatie op meerdere punten in de tijd. Een panel, zoals de ATP, onderzoekt dezelfde mensen in de loop van de tijd. Het is echter gebruikelijk dat de groep mensen in enquêtepanelen in de loop van de tijd verandert als nieuwe panelleden worden toegevoegd en sommige eerdere panelleden afhaken. Veel van de vragen in Pew Research Center enquêtes zijn gesteld in eerdere peilingen. Het stellen van dezelfde vragen op verschillende tijdstippen stelt ons in staat om te rapporteren over veranderingen in de algemene opvattingen van het grote publiek (of een deel van het publiek, zoals geregistreerde kiezers, mannen of zwarte Amerikanen), of wat we noemen “trending the data”.

bij het meten van de verandering in de tijd is het belangrijk om dezelfde vraagformulering te gebruiken en gevoelig te zijn voor de plaats waar de vraag wordt gesteld in de vragenlijst om een vergelijkbare context te behouden als toen de vraag eerder werd gesteld (zie de formulering van de vraag en de vraagvolgorde voor verdere informatie). Al onze enquêterapporten bevatten een topline-vragenlijst met de exacte formulering en volgorde van de vraag, samen met de resultaten van de huidige en eerdere enquêtes waarin we de vraag stelden.

de overgang van het centrum van het uitvoeren van Amerikaanse enquêtes door live telefonisch interviewen naar een online panel (rond 2014 tot 2020) compliceerde sommige opinietrends, maar andere niet. Opinietrends die vragen stellen over gevoelige onderwerpen (bijv. persoonlijke financiën of het bijwonen van religieuze diensten) of die vrijwillig antwoorden lokten (bijv., “noch” of” weet niet”) over de telefoon de neiging om grotere verschillen dan andere trends tonen bij het verschuiven van telefoon polls naar de online ATP. Het centrum nam verschillende strategieën voor het omgaan met veranderingen in data trends die kunnen worden gerelateerd aan deze verandering in methodologie. Als er bewijs is dat suggereert dat een verandering in een trend voortkomt uit het overschakelen van telefoon naar online meting, Center rapporten vlag die mogelijkheid voor lezers om te proberen om het hoofd af verwarring of onjuiste conclusies.

Open – en closed-end vragen

een van de belangrijkste beslissingen die van invloed kunnen zijn op hoe mensen vragen beantwoorden, is of de vraag wordt gesteld als een open-ended vraag, waarbij respondenten een antwoord in hun eigen woorden geven, of een gesloten-ended vraag, waarbij ze worden gevraagd te kiezen uit een lijst van antwoordkeuzes.

bijvoorbeeld, in een poll die na de presidentsverkiezingen van 2008 werd gehouden, reageerden mensen heel anders op twee versies van de vraag: “welke kwestie was het belangrijkst voor jou om te beslissen hoe je voor het presidentschap stemde?”De ene was gesloten en de andere open. In de closed-ended versie kregen respondenten vijf opties en konden ze een optie aanbieden die niet op de lijst stond.

toen meer dan de helft van de respondenten (58%) expliciet de economie als antwoord aanbood, koos voor dit antwoord; slechts 35% van de respondenten die op de open-end versie reageerden, gaf zich vrijwillig op voor de economie. Bovendien heeft minder dan één op de tien (8%) van de ondervraagden een ander antwoord gegeven dan de vijf die zij hebben gelezen. Daarentegen heeft 43% van de ondervraagden in de versie met een open einde een antwoord gegeven dat niet in de versie met een gesloten einde van de vraag is vermeld. Alle andere kwesties werden ten minste iets vaker gekozen wanneer ze expliciet in de versie van het closed-ended werden aangeboden dan in de versie van het open-ended. (Zie ook “hoge cijfers voor de campagne, Een hoge lat voor Obama” voor meer informatie.)

onderzoekers voeren soms een pilotstudie uit met open vragen om te ontdekken welke antwoorden het meest voorkomen. Vervolgens ontwikkelen zij op basis van die pilotstudie vragen met een gesloten einde die de meest voorkomende antwoorden als antwoordkeuzes bevatten. Op deze manier kunnen de vragen beter weergeven wat het publiek denkt, hoe ze een bepaalde kwestie bekijken, of bepaalde kwesties aan het licht brengen waarvan de onderzoekers zich misschien niet bewust waren.

bij het stellen van vragen met een gesloten einde kunnen de keuze van de geboden opties, hoe elke optie wordt beschreven, het aantal aangeboden responsopties en de volgorde waarin opties worden gelezen, allemaal van invloed zijn op hoe mensen reageren. Een voorbeeld van de impact van de definitie van categorieën is te vinden in een peiling van het Pew Research Center in januari 2002. Toen de helft van de steekproef werd gevraagd of het “belangrijker was voor President Bush om zich te concentreren op binnenlands beleid of buitenlands beleid”, koos 52% voor binnenlands beleid, terwijl slechts 34% zei buitenlands beleid. Toen de categorie “buitenlands beleid “werd beperkt tot een specifiek aspect –” de oorlog tegen het terrorisme ” – kozen veel meer mensen ervoor; slechts 33% koos voor binnenlands beleid en 52% koos voor de oorlog tegen het terrorisme.

in de meeste gevallen moet het aantal antwoordkeuzes beperkt blijven tot een relatief klein aantal – hooguit vier of misschien vijf – vooral bij telefonische enquêtes. Psychologisch onderzoek geeft aan dat mensen het moeilijk hebben om meer dan dit aantal keuzes tegelijk in gedachten te houden. Wanneer de vraag betrekking heeft op een objectief feit en/of demografische gegevens, zoals de religieuze overtuiging van de respondent, kunnen meer categorieën worden gebruikt. In feite worden ze aangemoedigd om inclusiviteit te garanderen. Bijvoorbeeld, Pew Research Center ‘ s standaard religie vragen omvatten meer dan 12 verschillende categorieën, te beginnen met de meest voorkomende affiliaties (Protestant en katholiek). De meeste respondenten hebben geen moeite met deze vraag, omdat ze kunnen verwachten dat hun religieuze groep binnen die lijst in een zelf-beheerde enquête.

naast het aantal en de keuze van de aangeboden antwoordopties, kan de volgorde van de antwoordcategorieën van invloed zijn op de manier waarop mensen reageren op vragen met een gesloten einde. Uit onderzoek blijkt dat respondenten in Telefonische Enquêtes vaker items kiezen die later in een lijst worden gehoord (een “recentheidseffect”), en in zelf beheerde enquêtes meestal items bovenaan de lijst kiezen (een “primaateffect”).

vanwege bezorgdheid over de effecten van categorievolgorde op antwoorden op vragen met een gesloten einde, zijn veel sets van responsopties in de enquêtes van het Pew Research Center geprogrammeerd om te worden gerandomiseerd om ervoor te zorgen dat de opties niet in dezelfde volgorde voor elke respondent worden gevraagd. Roteren of randomiseren betekent dat vragen of items in een lijst niet in dezelfde volgorde aan elke respondent worden gesteld. Antwoorden op vragen worden soms beïnvloed door vragen die eraan voorafgaan. Door vragen in een andere volgorde te presenteren aan elke respondent, zorgen we ervoor dat elke vraag in dezelfde context wordt gesteld als elke andere vraag hetzelfde aantal keren (bijvoorbeeld, eerste, laatste of een positie daartussen). Dit elimineert niet de potentiële impact van eerdere vragen op de huidige vraag, maar het zorgt ervoor dat dit vooroordeel willekeurig wordt verspreid over alle vragen of items in de lijst. Bijvoorbeeld, in het hierboven besproken voorbeeld over welke kwestie het belangrijkst was bij de stemming van mensen, werd de volgorde van de vijf kwesties in de closed-ended versie van de vraag gerandomiseerd zodat er geen enkel probleem vroeg of laat in de lijst voor alle respondenten verscheen. Randomisatie van response items elimineert geen ordeeffecten, maar het zorgt ervoor dat dit soort bias willekeurig wordt verspreid.

vragen met ordinale responscategorieën – die met een onderliggende volgorde (bijvoorbeeld uitstekend, goed, alleen redelijk, slecht of zeer gunstig, meestal gunstig, meestal ongunstig, zeer ongunstig) – worden over het algemeen niet gerandomiseerd omdat de volgorde van de categorieën belangrijke informatie overbrengt om respondenten te helpen de vraag te beantwoorden. Over het algemeen moeten deze soorten schalen in volgorde worden gepresenteerd, zodat respondenten gemakkelijk hun antwoorden langs het continuüm kunnen plaatsen, maar de volgorde kan voor sommige respondenten worden omgekeerd. Bijvoorbeeld, in een van de vragen van Pew Research Center over abortus, wordt de helft van de steekproef gevraagd of abortus “legaal moet zijn in alle gevallen, legaal in de meeste gevallen, illegaal in de meeste gevallen, illegaal in alle gevallen,” terwijl de andere helft van de steekproef dezelfde vraag wordt gesteld met de responscategorieën in omgekeerde volgorde, te beginnen met “illegaal in alle gevallen.”Nogmaals, het omkeren van de orde elimineert het recente effect niet, maar verdeelt het willekeurig over de bevolking.

vraagformulering

de keuze van woorden en zinnen in een vraag is van cruciaal belang om de betekenis en de bedoeling van de vraag aan de respondent uit te drukken en ervoor te zorgen dat alle respondenten de vraag op dezelfde manier interpreteren. Zelfs kleine verschillen in formulering kunnen de antwoorden die mensen geven aanzienlijk beïnvloeden.

een voorbeeld van een verschil in formulering dat een aanzienlijke invloed had op de reacties komt uit een enquête van het Pew Research Center in januari 2003. Toen mensen werd gevraagd of ze “voor of tegen het nemen van militaire actie in Irak zouden zijn om de heerschappij van Saddam Hoessein te beëindigen,” zei 68% dat ze voor militaire actie waren, terwijl 25% zei dat ze tegen militaire actie waren. Echter, toen hen werd gevraagd of ze” voor of tegen het nemen van militaire actie in Irak zouden zijn om de heerschappij van Saddam Hoessein te beëindigen, zelfs als het zou betekenen dat Amerikaanse troepen duizenden slachtoffers zouden kunnen lijden”, waren de reacties dramatisch verschillend; slechts 43% zei dat ze voor militaire actie waren, terwijl 48% zei dat ze ertegen waren. De introductie van U. S. slachtoffers veranderden de context van de vraag en beïnvloedden of mensen voor of tegen militaire actie in Irak waren.

er is een aanzienlijke hoeveelheid onderzoek verricht om het effect van de verschillende manieren om vragen te stellen te peilen en om de verschillen in de manier waarop de respondenten de vragen interpreteren tot een minimum te beperken. De kwesties in verband met de vraag formulering zijn talrijker dan adequaat kan worden behandeld in deze korte ruimte, maar hieronder zijn een paar van de belangrijke dingen om te overwegen:

Allereerst is het belangrijk om vragen te stellen die duidelijk en specifiek zijn en die elke respondent kan beantwoorden. Als een vraag open is, moet het voor respondenten duidelijk zijn dat ze in hun eigen woorden kunnen antwoorden en wat voor soort antwoord ze moeten geven (een probleem of probleem, een maand, aantal dagen, enz.). Vragen met een gesloten einde moeten alle redelijke antwoorden bevatten (d.w.z. dat de lijst met opties uitputtend is) en de categorieën antwoorden mogen elkaar niet overlappen (d.w.z. dat de antwoordopties elkaar wederzijds uitsluiten). Verder is het belangrijk om te onderscheiden wanneer het het beste is om geforceerde-keuze close-ended vragen te gebruiken (vaak aangeduid met een keuzerondje in online enquêtes) versus “select-all-that-apply” lijsten (of check-all boxes). Een 2019 Center studie bleek dat gedwongen-keuze vragen hebben de neiging om meer accurate antwoorden op te leveren, vooral voor gevoelige vragen. Op basis van dat onderzoek vermijdt het centrum over het algemeen het gebruik van select-all-that-apply vragen.

het is ook belangrijk om slechts één vraag tegelijk te stellen. Vragen die respondenten vragen om meer dan één concept te evalueren (bekend als double-barreled vragen) – zoals “hoeveel vertrouwen heb je in President Obama om het binnenlandse en buitenlandse beleid te behandelen?”- zijn moeilijk te beantwoorden voor respondenten en leiden vaak tot antwoorden die moeilijk te interpreteren zijn. In dit voorbeeld zou het effectiever zijn om twee afzonderlijke vragen te stellen, een over binnenlands beleid en een over buitenlands beleid.

in het algemeen worden vragen die een eenvoudige en concrete taal gebruiken, gemakkelijker begrepen door de respondenten. Het is vooral belangrijk om rekening te houden met het opleidingsniveau van de enquêtepopulatie bij het denken over hoe gemakkelijk het zal zijn voor respondenten om een vraag te interpreteren en te beantwoorden. Dubbele negatieven (bijvoorbeeld, ben je voor of tegen het niet toestaan van homo ‘ s en lesbiennes om legaal te trouwen) of Onbekende afkortingen of jargon (bijvoorbeeld, ANWR in plaats van Arctic National Wildlife Refuge) kan leiden tot verwarring van respondenten en moet worden vermeden.

evenzo is het belangrijk te overwegen of bepaalde woorden als bevooroordeeld of potentieel beledigend voor sommige respondenten kunnen worden beschouwd, evenals de emotionele reactie die sommige woorden kunnen veroorzaken. Bijvoorbeeld, in een 2005 Pew Research Center survey, 51% van de respondenten zei dat ze de voorkeur gaf aan ” het legaal maken voor artsen om terminaal zieke patiënten de middelen te geven om hun leven te beëindigen, “maar slechts 44% zei dat ze de voorkeur gaven aan” het legaal maken voor artsen om terminaal zieke patiënten te helpen bij het plegen van zelfmoord.”Hoewel beide versies van de vraag over hetzelfde onderwerp gaan, was de reactie van de respondenten anders. In een ander voorbeeld hebben de respondenten anders gereageerd op vragen met het woord “welzijn” in plaats van de meer algemene “hulp aan de armen.”Verschillende experimenten hebben aangetoond dat er veel meer publieke steun is voor het uitbreiden van “hulp aan de armen” dan voor het uitbreiden van “welzijn.”

we schrijven vaak twee versies van een vraag en stellen de helft van de steekproef één versie van de vraag en de andere helft de tweede versie. We zeggen dus dat we twee vormen van de vragenlijst hebben. Respondenten worden willekeurig toegewezen om elk formulier te ontvangen, dus we kunnen aannemen dat de twee groepen respondenten in wezen identiek zijn. Bij vragen waarbij twee versies worden gebruikt, blijkt uit de grote verschillen in de antwoorden tussen de twee formulieren dat het verschil het gevolg is van de manier waarop we de twee versies verwoorden.

een van de meest gebruikte formaten voor enquêtevragen is het formaat ‘akkoord-oneens’. In dit soort vragen wordt aan respondenten gevraagd of zij het eens of oneens zijn met een bepaalde verklaring. Uit onderzoek is gebleken dat, in vergelijking met de beter opgeleide en beter geïnformeerde respondenten, de minder opgeleide en minder geïnformeerde respondenten een grotere neiging hebben om met dergelijke uitspraken in te stemmen. Dit wordt soms een “toegeeflijkheid bias” genoemd (omdat sommige soorten respondenten meer kans hebben om toe te geven aan de bewering dan anderen). Dit gedrag is nog meer uitgesproken wanneer er een interviewer aanwezig is, in plaats van wanneer de enquête zelf wordt beheerd. Een betere praktijk is om respondenten de keuze te bieden tussen alternatieve verklaringen. Een Pew Research Center experiment met een van de routinematig gestelde waarden vragen illustreert het verschil dat Vraag formaat kan maken. Niet alleen levert het forced choice-formaat over het algemeen een heel ander resultaat op dan het eens-oneens-formaat, maar ook het patroon van antwoorden tussen respondenten met min of meer formeel onderwijs neigt er heel anders uit te zien.

een andere uitdaging bij het ontwikkelen van vragenlijsten is wat “sociale wenselijkheid bias” wordt genoemd.”Mensen hebben een natuurlijke neiging om geaccepteerd en geliefd te worden, en dit kan ertoe leiden dat mensen onjuiste antwoorden geven op vragen over gevoelige onderwerpen. Uit onderzoek is gebleken dat de respondenten alcohol-en drugsgebruik, belastingontduiking en raciale vooringenomenheid onderschatten. Ze kunnen ook te veel kerkbezoek, charitatieve bijdragen en de kans dat ze zullen stemmen in een verkiezing. Onderzoekers proberen rekening te houden met deze potentiële vooringenomenheid in het maken van vragen over deze onderwerpen. Bijvoorbeeld, wanneer Pew Research Center enquãates vragen over het stemgedrag in het verleden, is het belangrijk op te merken dat de omstandigheden de respondent kunnen hebben verhinderd om te stemmen: “In de 2012 presidentsverkiezingen tussen Barack Obama en Mitt Romney, zijn er dingen naar voren gekomen die je ervan weerhouden om te stemmen, of heb je toevallig om te stemmen?”De keuze van de responsopties kan het ook makkelijker maken voor mensen om eerlijk te zijn. Een vraag over kerkbezoek kan bijvoorbeeld drie van de zes reactieopties bevatten die wijzen op onregelmatig bezoek. Onderzoek heeft ook aangetoond dat sociale wenselijkheid bias groter kan zijn wanneer een interviewer aanwezig is (bijvoorbeeld, telefoon en face-to-face enquêtes) dan wanneer respondenten invullen van de enquête zelf (bijvoorbeeld, papier en web enquêtes).

ten slotte moet, omdat kleine wijzigingen in de betrokken formulering van invloed kunnen zijn op de antwoorden, dezelfde vraagformulering worden gebruikt wanneer het de bedoeling is de resultaten te vergelijken met die van eerdere enquêtes. Evenzo, omdat vraagformulering en antwoorden kunnen variëren op basis van de wijze die wordt gebruikt om respondenten te onderzoeken, moeten onderzoekers zorgvuldig de waarschijnlijke effecten op trendmetingen evalueren als een andere enquêtemodus zal worden gebruikt om verandering in de mening in de loop van de tijd te beoordelen.

Vraagvolgorde

zodra de enquêtevragen zijn ontwikkeld, moet bijzondere aandacht worden besteed aan de wijze waarop ze in de vragenlijst worden gerangschikt. Surveyors moeten erop letten hoe vragen in een vroeg stadium van een vragenlijst onbedoelde effecten kunnen hebben op de manier waarop respondenten latere vragen beantwoorden. Onderzoekers hebben aangetoond dat de volgorde waarin vragen worden gesteld van invloed kan zijn op hoe mensen reageren; eerdere vragen kunnen onbedoeld context bieden voor de vragen die volgen (deze effecten worden “orde-effecten”genoemd).

Eén soort ordeeffect kan worden waargenomen in antwoorden op vragen met een open einde. Pew Research Center surveys stellen over het algemeen open vragen over nationale problemen, meningen over leiders en soortgelijke onderwerpen in de buurt van het begin van de vragenlijst. Als vragen met een gesloten einde die betrekking hebben op het onderwerp worden geplaatst voor de open-end vraag, hebben respondenten veel meer kans om concepten of overwegingen die in die eerdere vragen bij het beantwoorden van de open-end vraag te noemen.

voor vragen met een gesloten einde zijn er twee hoofdtypes van ordeeffecten: contrasteffecten (waarbij de volgorde leidt tot grotere verschillen in reacties) en assimilatie-effecten (waarbij reacties meer op elkaar lijken als gevolg van hun volgorde).

een voorbeeld van een contrast effect kan worden gezien in een Pew Research Center poll uitgevoerd in oktober 2003, een dozijn jaar voordat het homohuwelijk werd gelegaliseerd in de VS. Die poll bleek dat mensen waren meer kans om het toestaan van homo ’s en lesbiennes om juridische overeenkomsten die hen dezelfde rechten als gehuwde paren te sluiten wanneer deze vraag werd gesteld na een over de vraag of ze begunstigd of tegen het toestaan van homo’ s en lesbiennes om te trouwen (45% begunstigd juridische overeenkomsten wanneer gevraagd na het huwelijk vraag, maar 37% begunstigd juridische overeenkomsten zonder de onmiddellijke voorafgaande context van een vraag over het homohuwelijk). Antwoorden op de vraag over het homohuwelijk werden ondertussen niet significant beïnvloed door de plaatsing ervan voor of na de vraag over juridische overeenkomsten.

een ander experiment ingebed in een peiling van het Pew Research Center in December 2008 resulteerde ook in een contrasteffect. Toen aan mensen werd gevraagd: “al met al, bent u tevreden of ontevreden over de manier waarop de dingen gaan in dit land vandaag?”onmiddellijk na gevraagd te zijn” keur je de manier goed waarop George W. Bush zijn taak als president afhandelt of afkeurt?”; 88% verklaarde ontevreden te zijn, tegen slechts 78% zonder de context van de voorafgaande vraag.

reacties op de goedkeuring van de president bleven relatief onveranderd, ongeacht of er voor of na de goedkeuring nationale tevredenheid werd gevraagd. Een soortgelijke bevinding deed zich voor in December 2004, toen zowel de tevredenheid als de goedkeuring door de president veel hoger waren (57% was ontevreden toen Bush als eerste werd gevraagd tegenover 51% toen algemene tevredenheid als eerste werd gevraagd).

verschillende studies hebben ook aangetoond dat het stellen van een meer specifieke vraag vóór een meer algemene vraag (bijv. vragen over geluk met je huwelijk voordat je vraagt naar je algehele geluk) kan resulteren in een contrasteffect. Hoewel er enkele uitzonderingen zijn gevonden, hebben mensen de neiging om ontslag te vermijden door de meer specifieke vraag uit te sluiten van de Algemene beoordeling.

Assimilatie-effecten treden op wanneer antwoorden op twee vragen consistenter of dichter bij elkaar liggen vanwege hun plaatsing in de vragenlijst. We vonden een voorbeeld van een Assimilatie-effect in een Pew Research Center poll uitgevoerd in November 2008, toen we vroegen of Republikeinse leiders moeten werken met Obama of opstaan tegen hem op belangrijke kwesties en of Democratische leiders moeten werken met Republikeinse leiders of opstaan tegen hen op belangrijke kwesties. Mensen hadden meer kans om te zeggen dat Republikeinse leiders moeten werken met Obama toen de vraag werd voorafgegaan door de vraag wat Democratische leiders moeten doen in het werken met Republikeinse leiders (81% vs.66%). Echter, toen mensen voor het eerst werden gevraagd over Republikeinse leiders werken met Obama, minder zei dat Democratische leiders moeten werken met Republikeinse leiders (71% Versus 82%).

de volgorde vragen worden gesteld is van bijzonder belang bij het bijhouden van trends in de tijd. Daarom moet ervoor worden gezorgd dat de context gelijk is telkens wanneer een vraag wordt gesteld. Het wijzigen van de context van de vraag kan de waargenomen veranderingen in de tijd in twijfel trekken (zie verandering in de tijd meten voor meer informatie).

een vragenlijst, zoals een gesprek, moet worden gegroepeerd per onderwerp en ontvouwen in een logische volgorde. Het is vaak nuttig om de enquête te beginnen met eenvoudige vragen die respondenten interessant en boeiend zullen vinden. Gedurende de enquête, een inspanning moet worden gedaan om de enquête interessant te houden en niet overladen respondenten met een aantal moeilijke vragen direct na elkaar. Demografische vragen zoals inkomen, opleiding of leeftijd mogen niet aan het begin van een enquête worden gesteld, tenzij ze nodig zijn om te bepalen of respondenten in aanmerking komen voor de enquête of om respondenten via bepaalde delen van de vragenlijst te leiden. Zelfs dan is het het beste om dergelijke items vooraf te gaan met interessantere en boeiende vragen. Een voordeel van survey panels zoals de ATP is dat demografische vragen meestal slechts één keer per jaar worden gesteld, niet in elke enquête.