おそらく、アンケートプロセスの最も重要な部分は、一般の意見、経験、行動を正確に測定する質問の作成です。 収集された情報があいまいな質問や偏った質問の不安定な基盤の上に構築されている場合、正確なランダムサンプリングは無駄になります。 よい手段を作成することはよい質問を書き、アンケートを形作るために組織することを両方含む。

アンケートデザインは、一度に多くの詳細に注意を必要とする多段階のプロセスです。 アンケートはさまざまな程度の詳細でトピックについて尋ねることができ、質問はさまざまな方法で尋ねることができ、アンケートで以前に質問された質問は、人々が後の質問にどのように反応するかに影響を与える可能性があるため、アンケートの設計は複雑です。 研究者はまた、しばしば時間の経過とともに変化を測定することに興味があるため、以前の調査で意見や行動がどのように測定されたかに注意を

調査員は、人々が問題についてどのように考えているか、または質問を理解するかをよりよく理解するために、アンケート開発の初期段階でパイロットテス アンケートの事前テストは、特に質問が初めて導入されたときに、アンケート全体と特定の質問に人々がどのように反応するかを評価するためのアンケート設

長年にわたり、調査員はアンケートデザインを芸術としてアプローチしてきましたが、過去四十年間の実質的な研究は、良い調査アンケートを作成する ここでは、アンケートの設計の落とし穴とベストプラクティスについて説明します。

質問の開発

アンケートの開発にはいくつかのステップがあります。 最初は、調査でどのようなトピックがカバーされるかを特定することです。 ピュー-リサーチ-センターの調査では、これは私たちの国と世界で何が起こっているのか、そして公共、政策立案者、メディアに何が関連するのかを考えること 私たちはまた、時間をかけて様々な問題に関する意見を追跡するので、私たちはしばしば、人々の意見が変化しているかどうかをよりよく理解するために、

ピュー-リサーチ-センターでは、アンケートの開発は、スタッフが集まり、アンケートの草案を開発の過程で数回議論する共同作業および反復プロセスです。 私たちは頻繁に、フォーカスグループ、認知インタビュー、プレテスト（多くの場合、オンライン、オプトインサンプルを使用して）、またはこれらのアプローチの組 研究者は、ATPなどの生産調査で質問される前に、このテストの洞察を使用して質問を絞り込むことができます。

時間の経過とともに変化を測定する

多くの調査員は、人々の態度、意見、行動の時間の経過とともに変化を追跡したいと考えています。 変化を測定するために、質問は2つ以上の時点で尋ねられます。 横断的なデザインは、同じ人口の異なる人々を複数の時点で調査します。 ATPなどのパネルは、時間の経過とともに同じ人を調査します。 しかし、新しいパネリストが追加され、いくつかの以前のパネリストが脱落するにつれて、調査パネルの人々のセットが時間の経過とともに変化するこ Pew Research Centerの調査での質問の多くは、以前の世論調査で尋ねられています。 異なる時点で同じ質問をすることで、一般市民（または登録された有権者、男性、黒人などの一般市民のサブセット）の全体的な見解の変化、または「データの

時間の経過とともに変化を測定する場合、同じ質問の文言を使用し、質問が以前に質問されたときと同様の文脈を維持するために、質問が質問された場所に敏感であることが重要です（詳細については、質問の文言と質問の順序を参照）。 私たちの調査レポートのすべては、現在の調査と私たちが質問をした以前の調査の結果と一緒に、正確な質問の文言とシーケンスを提供するtoplineアンケート

センターが、電話によるライブインタビューによる米国調査からオンラインパネルへの移行（2014年から2020年頃）は、いくつかの意見の傾向を複雑にしたが、他のものは複雑ではなかった。 敏感なトピックについて尋ねる意見の傾向（例えば、個人的な財政や宗教的なサービスに出席する）またはボランティアの回答を引き出した意見の傾向（例 電話投票からオンラインATPに移行すると、電話での投票は他の傾向よりも大きな違いを示す傾向がありました。 センターは、この方法論の変更に関連する可能性のあるデータ傾向の変化に対処するためのいくつかの戦略を採用しました。 傾向の変化が電話からオンライン測定への切り替えに起因することを示唆する証拠がある場合、センターは、読者が混乱や誤った結論を避けようとす

オープンエンドとクローズエンドの質問

人々が質問に答える方法に影響を与える可能性のある最も重要な決定の一つは、質問がオープンエンドの質問として、回答者が自分の言葉で回答を提供するか、回答の選択肢のリストから選択するように求められるクローズエンドの質問であるかどうかです。

例えば、2008年の大統領選挙後に行われた世論調査では、「大統領に投票する方法を決定する際に最も重要な問題は何ですか？”一つはクローズドエンドであり、もう一つはオープンエンドであった。 クローズドエンド版では、回答者には5つのオプションが提供され、リストにないオプションをボランティアすることができました。

明示的に経済を回答として提供した場合、回答者の半数以上（58％）がこの回答を選択し、オープンエンド版に回答した人の35％のみが経済を志願しました。 また、クローズドエンド版を尋ねた人の中で、読んだ五つ以外の回答を提供した人は8％未満でした。 これとは対照的に、オープンエンド版を尋ねた人の43％は、質問のクローズエンド版に記載されていない回答を提供しました。 他のすべての問題は、オープンエンド版よりもクローズドエンド版で明示的に提供された場合、少なくともわずかに頻繁に選択されました。 （詳細については、”キャンペーンのための高いマーク、オバマのための高いバー”も参照してください。)

研究者は、どの回答が最も一般的であるかを発見するために、オープンエンドの質問を使用してパイロット研究を行うことがあります。 その後、回答の選択肢として最も一般的な回答を含むパイロット調査に基づいて、クローズドエンドの質問を開発します。 このようにして、質問は、一般の人々が何を考えているのか、特定の問題をどのように見ているのか、または研究者が認識していない可能性のある特定の問題を明らかにすることをよりよく反映するかもしれません。

クローズドエンドの質問をするとき、提供されるオプションの選択、各オプションの説明方法、提供される応答オプションの数、オプションの読み取り順 カテゴリがどのように定義されているかの影響の一例は、2002年1月に実施されたPew Research Centerの世論調査で見つけることができます。 サンプルの半分が”ブッシュ大統領が国内政策や外交政策に焦点を当てることがより重要である”かどうかを尋ねたところ、52％が国内政策を選択し、34％が外交政策を選択した。 「外交政策」というカテゴリーが「テロとの戦争」という特定の側面に絞られたとき、はるかに多くの人々がそれを選びました;33％が国内政策を選び、52％がテロとの戦争を選びました。

ほとんどの状況で、回答の選択肢の数は、特に電話調査では、比較的少ない数に保つ必要があります。 心理学的研究は、人々が一度に心の中で選択肢のこの数よりも多くを維持するのに苦労していることを示しています。 質問が回答者の宗教的所属などの客観的事実および/または人口統計について質問している場合、より多くのカテゴリを使用することができます。 実際には、彼らは包括性を確保することが奨励されています。 例えば、Pew Research Centerの標準的な宗教の質問には、最も一般的な所属（プロテスタントとカトリック）から始まる12以上の異なるカテゴリが含まれています。 ほとんどの回答者は、自己管理された調査でそのリスト内の宗教グループを見ることが期待できるため、この質問に問題はありません。

提供される回答オプションの数と選択に加えて、回答カテゴリの順序は、終了した質問に対する人々の回答方法に影響を与える可能性があります。 調査によると、電話調査では、回答者はリストの後半で聞いた項目をより頻繁に選択し（「最近の効果」）、自己管理調査ではリストの一番上にある項目を選

クローズドエンドの質問に対する回答に対するカテゴリ順の影響についての懸念のため、ピュー-リサーチ-センターの調査における回答オプションの多くのセットは、各回答者に対して同じ順序でオプションが尋ねられないように無作為化されるようにプログラムされている。 回転またはランダム化は、リスト内の質問や項目が各回答者に同じ順序で尋ねられないことを意味します。 質問への回答は、それに先行する質問の影響を受けることがあります。 各回答者に異なる順序で質問を提示することにより、各質問が他のすべての質問と同じ文脈で同じ回数（例えば、最初、最後、またはその間の任意の位置） これは、以前の質問が現在の質問に及ぼす潜在的な影響を排除するものではありませんが、このバイアスがリスト内のすべての質問または項目に無作為に分散されることを保証します。 たとえば、上記の例では、人々の投票で最も重要な問題について説明しましたが、質問のクローズドエンド版の5つの問題の順序はランダム化され、すべての回答者のリストに早期または後期に問題が表示されませんでした。 応答項目のランダム化は順序効果を排除するものではありませんが、このタイプのバイアスがランダムに分散されることを保証します。

序数応答カテゴリを持つ質問–基礎となる順序を持つ質問（例えば、優れた、良い、唯一の公正な、貧しい、または非常に有利な、主に有利な、主に不利な、非常に不利な）– 一般的に、これらのタイプの尺度は、回答者が連続体に沿って回答を簡単に配置できるように順番に提示する必要がありますが、一部の回答者では順序を逆転させることができます。 例えば、ピュー-リサーチ-センターの中絶に関する質問の一つでは、サンプルの半分は、中絶が”すべての場合において合法であり、ほとんどの場合において合法であり、ほとんどの場合において違法であり、すべての場合において違法である”べきかどうかを尋ねられ、サンプルの残りの半分は、”すべての場合において違法である”から始まる回答カテゴリを逆の順序で読んで同じ質問をされる。”繰り返しますが、順序を逆にしても、最近の効果は排除されず、人口全体にランダムに分配されます。

質問の文言

質問の意味と意図を回答者に表現し、すべての回答者が質問を同じように解釈するためには、質問内の単語やフレーズの選択が重要です。 小さな文言の違いでさえ、人々が提供する答えに実質的に影響を与える可能性があります。

回答に大きな影響を与えた文言の違いの例は、2003年1月のPew Research Centerの調査から来ています。 人々が「サダム・フセインの支配を終わらせるためにイラクで軍事行動をとることを支持するか反対するか」と尋ねられたとき、68％が軍事行動を好むと答え、25％が軍事行動に反対すると答えた。 しかし、”サダム-フセインの支配を終わらせるためにイラクで軍事行動を取ることを好むか反対するか”と尋ねられたところ、43％が軍事行動を好むと回答し、48％がそれに反対した。 米国の導入 死傷者は質問の文脈を変え、人々がイラクでの軍事行動を支持するか反対するかに影響を与えた。

さまざまな質問方法の影響と、回答者が尋ねられていることを解釈する方法の違いを最小限に抑える方法を測定するためのかなりの量の研究が 質問の文言に関連する問題は、この短いスペースで適切に扱うことができるよりも多くありますが、以下は考慮すべき重要なことのいくつかです:

まず、明確で具体的な質問をし、各回答者が答えることができることが重要です。 質問がオープンエンドである場合、それは彼らが自分の言葉で答えることができ、彼らが提供すべき応答の種類（問題や問題、月、日数など）を回答者に明ら). クローズドエンドの質問には、すべての合理的な回答（すなわち、オプションのリストは網羅的である）が含まれ、回答カテゴリは重複してはならない（すな さらに、強制選択終了質問（オンライン調査ではラジオボタンで示されることが多い）と”すべて選択適用”リスト（またはすべてのチェックボックス）を使 A2019Centerの調査によると、強制選択の質問は、特に敏感な質問に対して、より正確な回答をもたらす傾向があることがわかりました。 その研究に基づいて、センターは一般的にselect-all-that-apply質問の使用を避けています。

一度に一つだけ質問することも重要です。 回答者に複数の概念を評価するように求める質問（二重バレル質問として知られている）-“オバマ大統領に内政と外交政策をどのくらい信頼していますか？”-回答者が答えることは困難であり、多くの場合、解釈することは困難である応答につながる。 この例では、二つの別々の質問、一つは国内政策について、もう一つは外交政策についての質問をすることがより効果的であろう。

一般的に、単純で具体的な言語を使用する質問は、回答者によってより簡単に理解されます。 回答者が質問を解釈して答えるのがいかに簡単かを考えるときは、調査人口の教育レベルを考慮することが特に重要です。 二重否定（例えば、同性愛者やレズビアンが合法的に結婚することを許可しないことを支持したり反対したりしますか）または不慣れな略語や専門用語（例：北極国立野生生物保護区の代わりにANWR）は、回答者の混乱を招く可能性があり、避けるべきである。

同様に、特定の単語が一部の回答者に偏っているか、潜在的に攻撃的であると見なされるかどうか、および一部の単語が誘発する可能性のある感情的反応を考慮することが重要である。 例えば、2005年のピュー-リサーチ-センターの調査では、回答者の51％が”医師が末期患者に命を終わらせる手段を与えることを合法にする”ことを支持していたが、44％だけが”医師が末期患者を自殺させることを合法にする”ことを支持していたと回答した。”質問の両方のバージョンが同じことについて尋ねているが、回答者の反応は異なっていた。 別の例では、回答者は、より一般的な「貧しい人々への援助」とは対照的に、「福祉」という言葉を使用して質問に異なる反応を示しました。”いくつかの実験では、”福祉”を拡大するよりも”貧しい人々への援助”を拡大するための公的支援がはるかに大きいことが示されています。”

私たちはしばしば二つのバージョンの質問を書いて、アンケートサンプルの半分に一つのバージョンの質問と残りの半分の第二のバージョンを尋ねます。 したがって、我々はアンケートの二つの形態を持っていると言います。 回答者は、いずれかのフォームを受信するためにランダムに割り当てられているので、我々は、回答者の二つのグループは、本質的に同一であると仮定す 二つのバージョンが使用されている質問では、二つのフォーム間の答えの有意な違いは、違いは、我々は二つのバージョンを表現した方法の結果であることを

アンケートの質問で使用される最も一般的な形式の一つは、”同意-同意しない”形式です。 このタイプの質問では、回答者は特定の声明に同意するか同意しないかを尋ねられます。 調査によると、より良い教育を受け、より良い情報を得た回答者と比較して、教育を受けておらず、情報を得ていない回答者は、そのような声明に同意する傾向が強いことが示されています。 これは、「黙認バイアス」と呼ばれることもあります（回答者の中には、他の回答者よりもその主張を黙認する可能性が高いため）。 この行動は、調査が自己管理されている場合ではなく、面接者が存在する場合にさらに顕著です。 より良い練習は、回答者に代替文の選択肢を提供することです。 その日常的に尋ねられた値の質問の一つとピュー研究センターの実験は、質問形式が作ることができる違いを示しています。 強制選択形式は、同意-同意しない形式とは全体的に非常に異なる結果をもたらすだけでなく、多かれ少なかれ正式な教育を受けた回答者間の回答

アンケートを開発する上でのもう一つの課題は、”社会的望ましさバイアス”と呼ばれるものです。”人々は受け入れられ、好きになりたい自然な傾向があり、これは敏感な科目を扱う質問に不正確な答えを提供するために人々を導くかもしれません。 調査によると、回答者はアルコールや薬物の使用、脱税、人種的偏見を過小評価しています。 彼らはまた、教会の出席、慈善寄付、そして彼らが選挙で投票する可能性を誇張するかもしれません。 研究者は、これらのトピックに関する質問を作成する際に、この潜在的なバイアスを説明しようとします。 例えば、ピュー研究センターの調査は、過去の投票行動について尋ねるとき、それは状況が投票から回答者を妨げている可能性があることに注意するこ”応答オプションの選択は、人々が正直であることを容易にすることもできます。 例えば，教会の出席に関する質問には，出席頻度の低いことを示す六つの回答オプションのうち三つが含まれているかもしれません。 調査によると、面接官がいる場合（電話や対面調査など）は、回答者が自分で調査を完了した場合（紙やweb調査など）よりも社会的望ましさの偏りが大きくな

最後に、質問の文言のわずかな変更は回答に影響を与える可能性があるため、以前の調査の結果と結果を比較することを意図している場合は、同一の質問の文言を使用する必要があります。 同様に、質問の文言と回答は回答者を調査するために使用されるモードに基づいて変化する可能性があるため、異なる調査モードを使用して経時的な意見の変化を評価する場合、研究者は傾向測定に及ぼす可能性のある影響を慎重に評価する必要があります。

質問の順序

アンケートの質問が開発されたら、アンケートの順序に特に注意を払う必要があります。 調査員は、アンケートの初期の質問が、回答者がその後の質問にどのように答えるかに意図しない影響を与える可能性があるかに注意を払う必要が 以前の質問は、意図せずに続く質問の文脈を提供する可能性があります（これらの効果は「順序効果」と呼ばれます）。

オープンエンドの質問への回答には、ある種の注文効果が見られます。 ピュー-リサーチ-センターの調査では、一般的に、アンケートの冒頭付近で国家問題、指導者に関する意見、および同様のトピックに関するオープンエンドの質問を トピックに関連するクローズドエンドの質問がオープンエンドの質問の前に配置されている場合、回答者はオープンエンドの質問に応答する際に、以前の質問で提起された概念や考慮事項に言及する可能性がはるかに高くなります。

クローズドエンドのオピニオン質問には、コントラスト効果（順序が応答の差を大きくする）と同化効果（順序の結果として応答がより類似している）の二つの主なタイプがある。

コントラスト効果の例は、同性結婚が米国で合法化される10年前の2003年10月に実施されたPew Research Centerの世論調査で見ることができます。 その世論調査では、同性愛者とレズビアンが結婚することを支持するか反対するかについて質問されたときに、同性愛者とレズビアンが結婚することを支持するかどうかについて質問されたときに、同性愛者とレズビアンが結婚することを支持する法的契約を締結することを支持する可能性が高いことがわかりました（結婚の質問の後に尋ねられたときに45％が法的契約を支持しましたが、37％が同性結婚についての質問の直前の文脈なしに法的契約を支持しました）。 一方、同性結婚についての質問に対する回答は、法的合意の質問の前または後にその配置によって有意に影響されなかった。

2008年12月のPew Research Centerの世論調査に埋め込まれた別の実験も、コントラスト効果をもたらしました。 人々は”すべてのすべてで、あなたは物事が今日この国で行っている方法に満足しているか、不満を持っていますか？”すぐに尋ねられた後”ジョージW.ブッシュが大統領として彼の仕事を扱っている方法を承認するか、または不承認にするか。”; 88％は、以前の質問の文脈なしでわずか78％と比較して、彼らは不満を持っていたと述べました。

大統領の承認に対する回答は、国家の満足度がそれの前に求められたか後に求められたかにかかわらず、比較的変わらなかった。 同様の発見は、満足度と大統領の承認の両方がはるかに高かった2004年12月に発生しました（57％は、一般的な満足度が最初に尋ねられたときに51％対ブッシ

いくつかの研究では、より一般的な質問の前に、より具体的な質問をすることも示されています（例：、全体的な幸福について尋ねる前に、結婚との幸福について尋ねる）は、コントラスト効果をもたらす可能性があります。 いくつかの例外が見つかりましたが、人々は一般的な評価からより具体的な質問を除外することによって冗長性を避ける傾向があります。

同化効果は、二つの質問に対する回答がアンケートに配置されているため、より一貫性があるか、より近い場合に発生します。 2008年に行われたピュー-リサーチ-センターの世論調査では、共和党の指導者がオバマと協力すべきか、重要な問題について彼に立ち向かうべきか、民主党の指導者が共和党の指導者と協力すべきか、重要な問題について彼らに立ち向かうべきかを尋ねた。 民主党の指導者が共和党の指導者と協力する上で何をすべきかを尋ねる質問が先行したとき、人々は共和党の指導者がオバマと協力すべきであると言 しかし、人々が最初にオバマと協力して共和党の指導者について尋ねられたとき、民主党の指導者は共和党の指導者と協力すべきだと言った人は少な

質問される順序は、時間の経過とともに傾向を追跡する際に特に重要です。 その結果、質問が行われるたびに文脈が似ていることを確認するように注意する必要があります。 質問のコンテキストを変更すると、時間の経過とともに観測された変化が問題になる可能性があります（詳細については、時間の経過とともに変化

アンケートは、会話のように、トピックごとにグループ化し、論理的な順序で展開する必要があります。 回答者が興味深く魅力的であると思われる簡単な質問で調査を開始することはしばしば役に立ちます。 調査を通じて、努力は興味深い調査を維持し、すぐにお互いの後にいくつかの困難な質問で回答者を負担しないように作られるべきです。 所得、教育、年齢などの人口統計学的質問は、調査の適格性を判断するため、またはアンケートの特定のセクションを通じて回答者を誘導するために必 それでも、そのような項目には、より興味深く魅力的な質問を先行させることが最善です。 ATPのような調査パネルの1つの利点は、人口統計学的な質問は、通常、各調査ではなく、年に1回のみ質問する必要があるということです。