talvez a parte mais importante do processo de pesquisa seja a criação de perguntas que medem com precisão as opiniões, experiências e comportamentos do público. A amostragem aleatória precisa será desperdiçada se as informações coletadas forem construídas sobre uma base instável de perguntas ambíguas ou tendenciosas. Criar boas medidas envolve escrever boas perguntas e organizá-las para formar o questionário.
o design do questionário é um processo de vários estágios que requer atenção a muitos detalhes ao mesmo tempo. Projetar o questionário é complicado porque as pesquisas podem perguntar sobre tópicos em vários graus de detalhes, as perguntas podem ser feitas de maneiras diferentes e as perguntas feitas anteriormente em uma pesquisa podem influenciar a forma como as pessoas respondem a perguntas posteriores. Os pesquisadores também estão frequentemente interessados em medir a mudança ao longo do tempo e, portanto, devem estar atentos a como as opiniões ou comportamentos foram medidos em pesquisas anteriores. Os agrimensores podem realizar testes piloto ou grupos focais nos estágios iniciais do desenvolvimento do questionário, a fim de entender melhor como as pessoas pensam sobre um problema ou compreendem uma pergunta. O pré-teste de uma pesquisa é uma etapa essencial no processo de design do questionário para avaliar como as pessoas respondem ao questionário geral e a perguntas específicas, especialmente quando as perguntas estão sendo introduzidas pela primeira vez.Por muitos anos, os pesquisadores abordaram o design de questionários como uma arte, mas pesquisas substanciais nos últimos quarenta anos demonstraram que há muita ciência envolvida na elaboração de um bom questionário de pesquisa. Aqui, discutimos as armadilhas e as melhores práticas de elaboração de questionários.
desenvolvimento de perguntas
existem várias etapas envolvidas no desenvolvimento de um questionário de pesquisa. A primeira é identificar quais tópicos serão abordados na pesquisa. Para pesquisas do Pew Research Center, isso envolve pensar sobre o que está acontecendo em nossa nação e no mundo e o que será relevante para o público, os formuladores de políticas e a mídia. Também acompanhamos a opinião sobre uma variedade de questões ao longo do tempo, por isso muitas vezes garantimos que atualizamos essas tendências regularmente para entender melhor se as opiniões das pessoas estão mudando.
no Pew Research Center, o desenvolvimento de questionários é um processo colaborativo e iterativo em que a equipe se reúne para discutir rascunhos do questionário várias vezes ao longo de seu desenvolvimento. Freqüentemente, testamos novas perguntas de pesquisa com antecedência por meio de métodos de pesquisa qualitativa, como grupos focais, entrevistas cognitivas, pré-teste (geralmente usando uma amostra on-line, opt-in) ou uma combinação dessas abordagens. Os pesquisadores usam insights desse teste para refinar as perguntas antes de serem feitas em uma pesquisa de produção, como no ATP.
medir a mudança ao longo do tempo
muitos agrimensores querem acompanhar as mudanças ao longo do tempo nas atitudes, opiniões e comportamentos das pessoas. Para medir a mudança, as perguntas são feitas em dois ou mais pontos no tempo. Um desenho transversal examina pessoas diferentes na mesma população em vários pontos no tempo. Um painel, como o ATP, pesquisa as mesmas pessoas ao longo do tempo. No entanto, é comum que o conjunto de Pessoas nos painéis de pesquisa mude com o tempo à medida que novos painelistas são adicionados e alguns painelistas anteriores desistem. Muitas das perguntas nas pesquisas do Pew Research Center foram feitas em pesquisas anteriores. Fazer as mesmas perguntas em diferentes pontos no tempo nos permite relatar mudanças nas visões gerais do público em geral (ou um subconjunto do público, como eleitores registrados, homens ou negros americanos), ou o que chamamos de “tendências dos dados”.
Quando medir mudanças ao longo do tempo, é importante usar a mesma pergunta de texto e de ser sensível, onde a pergunta é feita no questionário para manter um contexto semelhante como quando a pergunta foi feita anteriormente (ver a pergunta de texto e de questão de ordem para obter mais informações). Todos os nossos relatórios de pesquisa incluem um questionário topline que fornece a redação exata da pergunta e o sequenciamento, juntamente com os resultados da pesquisa atual e pesquisas anteriores nas quais fizemos a pergunta.
a transição do centro da realização de pesquisas nos EUA por telefone ao vivo entrevistando para um painel on-line (por volta de 2014 a 2020) complicou algumas tendências de opinião, mas não Outras. Tendências de opinião que perguntam sobre tópicos sensíveis (por exemplo, finanças pessoais ou participação em serviços religiosos) ou que suscitaram respostas voluntárias (por exemplo., “NEM “ou” não sei”) por telefone tendiam a mostrar diferenças maiores do que outras tendências ao mudar de pesquisas telefônicas para o ATP online. O centro adotou várias estratégias para lidar com mudanças nas tendências de dados que podem estar relacionadas a essa mudança na metodologia. Se houver evidências sugerindo que uma mudança em uma tendência decorre da mudança do telefone para a medição on-line, Os relatórios do centro sinalizam a possibilidade de os leitores tentarem evitar confusão ou conclusões errôneas.
Abertas e perguntas fechadas
Uma das mais significativas decisões que podem afetar como as pessoas respondem perguntas é se a questão é colocada como uma questão aberta, onde os participantes fornecem uma resposta em suas próprias palavras, ou um fechadas pergunta, de onde eles são convidados a escolher de uma lista de opções de resposta.Por exemplo, em uma pesquisa realizada após a eleição presidencial de 2008, as pessoas responderam de forma muito diferente a duas versões da Pergunta: “Qual questão importava mais para você ao decidir como você votou em Presidente?”Um foi fechado e o outro aberto. Na versão fechada, os entrevistados receberam cinco opções e puderam oferecer uma opção que não estava na lista.
quando explicitamente ofereceu a economia como resposta, mais da metade dos entrevistados (58%) escolheu essa resposta; apenas 35% daqueles que responderam à versão aberta ofereceram a economia. Além disso, entre aqueles que pediram a versão fechada, menos de um em cada dez (8%) forneceu uma resposta diferente das cinco que foram lidas. Por outro lado, 43% das pessoas que fizeram a versão aberta forneceram uma resposta não listada na versão fechada da pergunta. Todos os outros problemas foram escolhidos pelo menos um pouco mais frequentemente quando explicitamente oferecidos na versão fechada do que na versão aberta. (Veja Também “notas altas para a campanha, Uma barra alta para Obama” para mais informações.)
os pesquisadores às vezes conduzem um estudo piloto usando perguntas abertas para descobrir quais respostas são mais comuns. Eles então desenvolverão perguntas fechadas com base naquele estudo piloto que inclui as respostas mais comuns como opções de resposta. Dessa forma, as questões podem refletir melhor o que o público está pensando, como eles veem uma questão específica ou trazem certas questões à luz das quais os pesquisadores podem não estar cientes.
Quando perguntando perguntas fechadas, a escolha de opções fornecidas, como cada opção é descrita, o número de opções de resposta oferecidas, e a ordem em que as opções são de leitura podem influenciar a forma como as pessoas respondem. Um exemplo do impacto de como as categorias são definidas pode ser encontrado em uma pesquisa do Pew Research Center realizada em janeiro de 2002. Quando metade da amostra foi questionada se era” mais importante para o Presidente Bush se concentrar na política interna Ou Externa”, 52% escolheram a política interna, enquanto apenas 34% disseram que a política externa. Quando a categoria “política externa” foi reduzida a um aspecto específico – “a guerra ao terrorismo” – muito mais pessoas a escolheram; apenas 33% escolheram a política interna, enquanto 52% escolheram a guerra ao terrorismo.
Na maioria das circunstâncias, o número de opções de resposta deve ser mantido um número relativamente pequeno – apenas quatro ou talvez cinco, no máximo, especialmente em pesquisas telefônicas. Pesquisas psicológicas indicam que as pessoas têm dificuldade em manter mais do que esse número de escolhas em mente ao mesmo tempo. Quando a pergunta é sobre um fato objetivo e / ou demografia, como a afiliação religiosa do entrevistado, mais categorias podem ser usadas. Na verdade, eles são incentivados a garantir a inclusão. Por exemplo, as questões de religião padrão do Pew Research Center incluem mais de 12 categorias diferentes, começando com as afiliações mais comuns (protestantes e Católicas). A maioria dos entrevistados não tem problemas com essa pergunta porque pode esperar ver seu grupo religioso nessa lista em uma pesquisa autoadministrada.
além do número e da escolha das opções de resposta oferecidas, a ordem das categorias de resposta pode influenciar a forma como as pessoas respondem a perguntas fechadas. Pesquisas sugerem que, em pesquisas telefônicas, os entrevistados escolhem com mais frequência itens ouvidos posteriormente em uma lista (um “efeito de recência”) e, em pesquisas autoadministradas, tendem a escolher itens no topo da lista (um efeito de “primazia”).
Devido a preocupações sobre os efeitos da categoria de ordem nas respostas às perguntas fechadas, muitos conjuntos de opções de resposta, no Centro de Pesquisa Pew de pesquisas são programados para ser randomizados para garantir que as opções não são feitas na mesma ordem para cada respondente. Girar ou randomizar significa que perguntas ou itens em uma lista não são solicitados na mesma ordem para cada respondente. As respostas às perguntas às vezes são afetadas por perguntas que as precedem. Ao apresentar perguntas em uma ordem diferente para cada respondente, garantimos que cada pergunta seja feita no mesmo contexto de todas as outras perguntas o mesmo número de vezes (por exemplo, Primeiro, Último ou qualquer posição intermediária). Isso não elimina o impacto potencial de perguntas anteriores na pergunta atual, mas garante que esse viés seja espalhado aleatoriamente por todas as perguntas ou itens da lista. Por exemplo, no exemplo discutido acima sobre qual questão importava mais no voto das pessoas, a ordem das cinco questões na versão fechada da pergunta foi randomizada para que nenhum problema aparecesse cedo ou tarde na lista para todos os entrevistados. A randomização de itens de resposta não elimina os efeitos de ordem, mas garante que esse tipo de viés seja espalhado aleatoriamente.
Perguntas com resposta ordinal categorias, aqueles com uma ordem subjacente (por exemplo, excelente, bom, razoável, ruim OU muito favorável, principalmente favorável, principalmente desfavorável muito desfavorável) – são, geralmente, não randomizado, porque a ordem das categorias transmite informações importantes para ajudar os participantes a responder à pergunta. Geralmente, esses tipos de escalas devem ser apresentados para que os entrevistados possam facilmente colocar suas respostas ao longo do continuum, mas a ordem pode ser revertida para alguns entrevistados. Por exemplo, em uma Pesquisa do Pew research Center questões sobre o aborto, metade da amostra é perguntado se o aborto deve ser legal em todos os casos, é legal na maioria dos casos, ilegal na maioria dos casos, ilegal em todos os casos”, enquanto a outra metade da amostra é a mesma pergunta com as categorias de resposta de leitura, em ordem inversa, começando com “ilegal em todos os casos.”Novamente, reverter a ordem não elimina o efeito de recência, mas a distribui aleatoriamente pela população.
redação da pergunta
a escolha de palavras e frases em uma pergunta é fundamental para expressar o significado e a intenção da pergunta ao entrevistado e garantir que todos os entrevistados interpretem a pergunta da mesma maneira. Mesmo pequenas diferenças de redação podem afetar substancialmente as respostas que as pessoas fornecem.
um exemplo de diferença de redação que teve um impacto significativo nas respostas vem de uma pesquisa do Pew Research Center de janeiro de 2003. Quando as pessoas foram questionadas se” favoreceriam ou se oporiam a tomar medidas militares no Iraque para acabar com o governo de Saddam Hussein”, 68% disseram que favoreciam a ação militar, enquanto 25% disseram que se opunham à ação militar. No entanto, quando perguntado se isso seria “a favor ou opor-se a tomar a ação militar no Iraque a fim de Saddam Hussein regra, mesmo se isso significasse que as forças dos EUA poderiam sofrer milhares de vítimas”, as respostas foram drasticamente diferente; apenas 43% disseram que favoreceu a ação militar, enquanto 48% disseram que se opuseram. A introdução dos EUA as baixas alteraram o contexto da questão e influenciaram se as pessoas favoreciam ou se opunham à ação militar no Iraque.
tem havido uma quantidade substancial de pesquisas para avaliar o impacto de diferentes formas de fazer as perguntas e como minimizar diferenças na forma como os inquiridos interpretar o que está sendo perguntado. As questões relacionadas à formulação de perguntas são mais numerosas do que podem ser tratadas adequadamente neste curto espaço, mas abaixo estão algumas das coisas importantes a considerar:
primeiro, é importante fazer perguntas claras e específicas e que cada respondente possa responder. Se uma pergunta for aberta, deve ser evidente para os entrevistados que eles podem responder com suas próprias palavras e que tipo de resposta devem fornecer (um problema ou problema, um mês, número de dias, etc.). As perguntas fechadas devem incluir todas as respostas razoáveis (ou seja, a lista de opções é exaustiva) e as categorias de resposta não devem se sobrepor (ou seja, as opções de resposta devem ser mutuamente exclusivas). Além disso, é importante discernir quando é melhor usar perguntas fechadas de escolha forçada (geralmente denotadas com um botão de opção em pesquisas on-line) versus listas de “selecionar tudo que aplicar” (ou caixas de seleção). Um estudo do centro de 2019 descobriu que as perguntas de escolha forçada tendem a produzir respostas mais precisas, especialmente para questões sensíveis. Com base nessa pesquisa, o Centro geralmente evita o uso de perguntas select-all-that-apply.
também é importante fazer apenas uma pergunta de cada vez. Perguntas que pedem aos entrevistados para avaliar mais de um conceito (conhecido como perguntas de cano duplo)-como “quanta confiança você tem no Presidente Obama para lidar com a política interna e externa?”- são difíceis para os entrevistados responderem e muitas vezes levam a respostas difíceis de interpretar. Neste exemplo, seria mais eficaz fazer duas perguntas separadas, uma sobre política interna e outra sobre política externa.
em geral, perguntas que usam linguagem simples e concreta são mais facilmente compreendidas pelos entrevistados. É especialmente importante considerar o nível de Educação da população da pesquisa ao pensar em como será fácil para os entrevistados interpretar e responder a uma pergunta. Negativos duplos (por exemplo, você favorece ou se opõe a não permitir que gays e lésbicas se casem legalmente) ou abreviações ou jargões desconhecidos (por exemplo, ANWR em vez de Arctic National Wildlife Refuge) podem resultar em confusão do entrevistado e devem ser evitados.Da mesma forma, é importante considerar se certas palavras podem ser vistas como tendenciosas ou potencialmente ofensivas para alguns entrevistados, bem como a reação emocional que algumas palavras podem provocar. Por exemplo, em 2005, Pesquisa do Pew research Center levantamento, 51% dos entrevistados disseram que favoreceu “tornando legal para os médicos para dar doentes em fase terminal os meios para acabar com suas vidas”, mas apenas 44% disseram que favoreceu “tornando legal para os médicos para ajudar doentes terminais em cometer suicídio.”Embora ambas as versões da pergunta estejam perguntando sobre a mesma coisa, a reação dos entrevistados foi diferente. Em outro exemplo, os entrevistados reagiram de maneira diferente a perguntas usando a palavra “bem-estar” em oposição à “assistência aos pobres” mais genérica.”Vários experimentos mostraram que há muito maior apoio público para expandir a “assistência aos pobres” do que para expandir o “bem-estar”.”
muitas vezes escrevemos duas versões de uma pergunta e fazemos metade da amostra da pesquisa uma versão da pergunta e a outra metade da segunda versão. Assim, dizemos que temos duas formas do questionário. Os respondentes são designados aleatoriamente para receber qualquer formulário, para que possamos assumir que os dois grupos de respondentes são essencialmente idênticos. Em perguntas onde duas versões são usadas, diferenças significativas nas respostas entre as duas formas nos dizem que a diferença é resultado da maneira como redigimos as duas versões.
um dos formatos mais comuns usados nas perguntas da pesquisa é o formato “concordo-discordo”. Nesse tipo de pergunta, os entrevistados são questionados se concordam ou discordam de uma declaração específica. A pesquisa mostrou que, em comparação com os respondentes mais instruídos e melhor informados, menos instruídos e menos informados têm maior tendência a concordar com tais afirmações. Isso às vezes é chamado de “viés de aquiescência” (uma vez que alguns tipos de entrevistados são mais propensos a concordar com a afirmação do que outros). Esse comportamento é ainda mais pronunciado quando há um entrevistador presente, e não quando a pesquisa é autoadministrada. Uma prática melhor é oferecer aos entrevistados uma escolha entre declarações alternativas. Um experimento do Pew Research Center com uma de suas perguntas de valores rotineiramente feitas ilustra a diferença que o formato da pergunta pode fazer. Não apenas o formato de escolha forçada produz um resultado muito diferente em geral do formato concordo-discordo, mas o padrão de respostas entre entrevistados com educação mais ou menos formal também tende a ser muito diferente.
outro desafio no desenvolvimento de questionários é o que é chamado de ” viés de desejabilidade social.”As pessoas têm uma tendência natural de querer ser aceitas e apreciadas, e isso pode levar as pessoas a fornecer respostas imprecisas a perguntas que lidam com assuntos sensíveis. A pesquisa mostrou que os entrevistados subestimam o uso de álcool e drogas, evasão fiscal e preconceito racial. Eles também podem exagerar a frequência à Igreja, contribuições de caridade e a probabilidade de votarem em uma eleição. Os pesquisadores tentam explicar esse viés potencial na elaboração de perguntas sobre esses tópicos. Por exemplo, quando o Centro de Pesquisa Pew de pesquisas perguntar sobre o passado comportamento de voto, é importante notar que as circunstâncias podem ter impedido o respondente a partir de voto: “Na eleição presidencial de 2012 entre Barack Obama e Mitt Romney, fez coisas que impedido de votar, ou por acaso você votar?”A escolha das opções de resposta também pode tornar mais fácil para as pessoas serem honestas. Por exemplo, uma pergunta sobre a frequência à igreja pode incluir três das seis opções de resposta que indicam frequência infrequente. A pesquisa também mostrou que o viés de desejabilidade social pode ser maior quando um entrevistador está presente (por exemplo, pesquisas telefônicas e presenciais) do que quando os próprios entrevistados completam a pesquisa (por exemplo, pesquisas em papel e na web).
por último, uma vez que ligeiras modificações na formulação das questões podem afectar as respostas, deve ser utilizada uma formulação de questões idêntica quando se pretende comparar os resultados com os de inquéritos anteriores. Da mesma forma, como o texto e as respostas das perguntas podem variar com base no modo usado para pesquisar os entrevistados, os pesquisadores devem avaliar cuidadosamente os efeitos prováveis nas medições de tendência se um modo de pesquisa diferente for usado para avaliar a mudança de opinião ao longo do tempo.
pedido de perguntas
uma vez que as perguntas da pesquisa são desenvolvidas, atenção especial deve ser dada à forma como elas são ordenadas no questionário. Os pesquisadores devem estar atentos a como as perguntas no início de um questionário podem ter efeitos não intencionais sobre como os entrevistados respondem às perguntas subsequentes. Os pesquisadores demonstraram que a ordem em que as perguntas são feitas pode influenciar a forma como as pessoas respondem; as perguntas anteriores podem, sem querer, fornecer contexto para as perguntas que se seguem (esses efeitos são chamados de “efeitos de ordem”).
um tipo de efeito de ordem pode ser visto em respostas a perguntas abertas. As pesquisas do Pew Research Center geralmente fazem perguntas abertas sobre problemas nacionais, opiniões sobre líderes e tópicos semelhantes perto do início do questionário. Se perguntas fechadas relacionadas ao tópico forem colocadas antes da pergunta aberta, os entrevistados são muito mais propensos a mencionar conceitos ou considerações levantadas nessas perguntas anteriores ao responder à pergunta aberta.
Para “fechado” questões de opinião, há dois tipos principais de ordem efeitos: efeitos de contraste ( onde a ordem resulta em maiores diferenças nas respostas), e a assimilação de efeitos, onde as respostas são mais similares, como resultado de sua encomenda).
um exemplo de efeito de contraste pode ser visto em uma pesquisa do Pew Research Center realizada em outubro de 2003, uma dúzia de anos antes do casamento entre pessoas do mesmo sexo ser legalizado nos EUA. Que pesquisa descobriu que as pessoas estavam mais propensos a favor de permitir que gays e lésbicas para entrar em acordos jurídicos que dar-lhes os mesmos direitos que os casais quando essa pergunta foi feita depois de um sobre se eles favorecida ou oposição permitindo que os gays e lésbicas a se casar (45% favorecidos acordos legais, quando solicitado após o casamento pergunta, mas 37% favorecidos acordos legais, sem a imediata contexto anterior de uma pergunta sobre o casamento do mesmo sexo). As respostas à pergunta sobre o casamento entre pessoas do mesmo sexo, entretanto, não foram significativamente afetadas por sua colocação antes ou depois da questão dos acordos legais.
outro experimento incorporado em uma pesquisa do Pew Research Center de dezembro de 2008 também resultou em um efeito de contraste. Quando as pessoas foram perguntadas ” em suma, você está satisfeito ou insatisfeito com a maneira como as coisas estão indo neste país hoje?”imediatamente depois de ter sido perguntado” Você aprova ou desaprova a maneira como George W. Bush está lidando com seu trabalho como presidente?”; 88% disseram estar insatisfeitos, em comparação com apenas 78% sem o contexto da questão anterior. As respostas à aprovação presidencial permaneceram relativamente inalteradas se a satisfação nacional foi solicitada antes ou depois dela. Um achado semelhante ocorreu em dezembro de 2004, quando tanto a satisfação quanto a aprovação presidencial foram muito maiores (57% estavam insatisfeitos quando a aprovação de Bush foi solicitada primeiro vs. 51% quando a satisfação geral foi solicitada primeiro).
vários estudos também mostraram que fazer uma pergunta mais específica antes de uma pergunta mais geral (por exemplo ,, perguntar sobre a felicidade com o casamento antes de perguntar sobre a felicidade geral) pode resultar em um efeito de contraste. Embora algumas exceções tenham sido encontradas, as pessoas tendem a evitar redundância excluindo a questão mais específica da classificação geral.
os efeitos de assimilação ocorrem quando as respostas a duas perguntas são mais consistentes ou mais próximas devido à sua colocação no questionário. Encontramos um exemplo de um efeito de assimilação em uma Pesquisa do Pew research Center pesquisa realizada em novembro de 2008, quando perguntamos se Republicano, os líderes devem trabalhar com Obama ou levantar-se para ele em questões importantes e se Democrático, os líderes devem trabalhar com líderes Republicanos ou levantar-se-lhes em questões importantes. As pessoas eram mais propensas a dizer que os líderes Republicanos deveriam trabalhar com Obama quando a pergunta foi precedida por aquele que perguntava o que os líderes democratas deveriam fazer ao trabalhar com líderes Republicanos (81% vs. 66%). No entanto, quando as pessoas foram perguntadas pela primeira vez sobre líderes Republicanos trabalhando com Obama, menos disseram que os líderes democratas deveriam trabalhar com líderes Republicanos (71% vs. 82%).
as perguntas do pedido são feitas é de particular importância ao rastrear tendências ao longo do tempo. Como resultado, deve-se ter cuidado para garantir que o contexto seja semelhante sempre que uma pergunta for feita. Modificar o contexto da questão pode colocar em questão quaisquer alterações observadas ao longo do tempo (consulte medir a mudança ao longo do tempo para obter mais informações).
um questionário, como uma conversa, deve ser agrupado por tópico e desdobrado em uma ordem lógica. Muitas vezes, é útil iniciar a pesquisa com perguntas simples que os entrevistados acharão interessantes e envolventes. Ao longo da pesquisa, deve-se fazer um esforço para manter a pesquisa interessante e não sobrecarregar os entrevistados com várias perguntas difíceis logo após as outras. Perguntas demográficas como renda, educação ou idade não devem ser feitas perto do início de uma pesquisa, a menos que sejam necessárias para determinar a elegibilidade para a pesquisa ou para encaminhar os entrevistados por meio de seções específicas do questionário. Mesmo assim, é melhor preceder esses itens com perguntas mais interessantes e envolventes. Uma virtude de painéis de pesquisa como o ATP é que as perguntas demográficas geralmente só precisam ser feitas uma vez por ano, não em cada pesquisa.