1. 240万まいの へんじを あつめた 雑誌は、なぜ はずれたの?
1. 240万通が集まったのに、予想は外れた
1. リテラリー・ダイジェスト誌の1936年予想 ── 回答数は正しさを保証しない
1936ねんの アメリカでは、大統領を えらぶ せんきょが ありました。ある 雑誌が、1000万まいの はがきを 出して、「だれに 入れますか」と たずねました。もどってきたのは、240万まいです[2]。
この 雑誌は、ランドンさんが 54パーセントで かつと 言いました。でも、ほんとうに かったのは、ルーズベルトさんで、61パーセントでした[2]。
240万まいの へんじを あつめたのに、どうして はずれたのでしょう。
1936年のアメリカ大統領選挙の前に、雑誌「リテラリー・ダイジェスト」は約1000万通のはがき投票を送りました。戻ってきたのは約240万通で、回収率は約24%でした[2]。
雑誌の予想では、共和党のランドンが約54%、ルーズベルトが約41%でした。ところが実際の選挙では、ルーズベルトが約61%の票を得て当選しました[2]。240万通という数は、勝ち負けの予想を守ってくれなかったのです。
同じ選挙で、ジョージ・ギャラップという人がずっと少ない数万人ほどの調査でルーズベルトの勝ちを予想したといわれます[2]。多いほうが外れ、少ないほうが当たったのは、なぜでしょうか。
1936年の米大統領選で、雑誌リテラリー・ダイジェストは約1000万通のはがきを送り、約240万通(回収率約24%)を得た。この回答から、共和党のランドンが約54%、ルーズベルトが約41%という予想を出したが、実際はルーズベルトが約61%で当選した[2]。なお、ランドン57%などの数字を見ることがあるが、二大政党の得票だけで割った比率であり、全体に占める54%とは基準が異なる。
一方、ジョージ・ギャラップは数万人規模の調査でルーズベルトの勝ちを予想した(標本数は資料により異なるため、ここでは規模の表記にとどめる)。ただし、その数字も完全には当たっていない。二大政党の得票率で見ると、予想55.7%に対して実際は62.5%で、6.8ポイントの過小予測だった[2]。「ぴったり当てた」と言える結果ではなく、勝者を外さなかったという点で、大きな標本を集めた側より近かった、というのが妥当な読み方になる。
大きな標本が外れ、小さな標本が勝者を外さなかったのはなぜか。原因は一つに決まらない。次の章でそれを分ける。
2. 「かえしやすい 人」だけが へんじを した?
2. 原因は、名簿だけでなく「返事をした人」の偏りにもあった
2. 名簿の偏りと無回答の偏り ── 失敗の主因をめぐる研究
むかしは、こう 言われて きました。はがきを 出した あいての 名前は、でんわを もつ 人や、じどうしゃを もつ 人の 名ぼが もとでした。お金に よゆうの ある 人に かたよって いた、という 話です。
ただし、あたらしい 研究では、べつの ところも 見て います。はがきを かえして くれた 人に、かたよりが あった、という 考え方です。
ギャラップさんの 会社が 聞いたところ、ランドンさんを おうえんする 人は、およそ 4分の 3が はがきを かえしていました。ルーズベルトさんを おうえんする 人は、およそ 10人に 6人ほどでした[2]。
かえした 人だけを 数えると、ランドンさんが 多く 見えて しまいます。たとえば、クラスで 「あそびに 行きたい 人?」と 声を かけて、手を あげた 人だけ 数えるのと 同じです。ただし、ほんとうの せんきょは もっと 大きくて、こんなに かんたんでは ありません。
失敗の理由として昔から言われてきたのは、名簿の偏りです。はがきの送り先は電話帳や自動車の登録名簿が中心で、暮らしに余裕のある人に偏っていた、という説明です[2]。
ただし、それだけで説明が終わるわけではありません。ある研究は、「返事をした人の偏り」を主因と考えています。ギャラップ社の調査では、ダイジェストの投票用紙を返したと答えた人は、ランドン支持者で約75%、ルーズベルト支持者では約57%でした[2]。
たとえば、クラスで「遊びに行きたい人は手をあげて」と聞くと、行きたい気持ちの強い子ばかりが手をあげて、全体より行きたい人が多く見えます。返事をした人だけを数えると、結果はそちらへずれます。ただし、実際の選挙は複雑なので、このたとえで全部は説明できません。
原因は名簿か返事かという1つに決めず、「学説は複数ある」と見るのが安全です。どちらにしても、「誰が答える立場に入るか」に偏りがあると、人数を増やしても直らないことは共通しています。
失敗の原因として長く語られてきたのは、標本枠(名簿)の偏りである。送付先が電話帳や自動車登録名簿に頼っていたため、所得の高い層に偏っていたという説明だ。一方、Lusinchi(2012)は、無回答の偏りを主因とする立場を取る。ギャラップ社の調査では、ダイジェスト投票の回収済みと答えた割合は、ランドン支持者の約75%に対し、ルーズベルト支持者は約57%だった[2]。
このため、名簿の偏りに無回答の偏りが重なると、回答数が増えても誤差は縮まらないと考えられる。ただし、「名簿が裕福な人に偏っていたから外れた」と一つに断定することはできない。学説は複数あり、本稿は一つの研究の結論を、その研究の主張として紹介するにとどめる。
ここから分かるのは、偏りは人数で薄まらないという点だ。では、偏りを避けるには、どう選べばよいのか。日本の労働力調査を例にする。
3. かたよらずに えらぶ には、どうする?
3. 「良い縮図」を作るための、日本の調査のくふう
3. 労働力調査の層化2段抽出 ── 「良い縮図」を得るための設計
日本には、まいつき ぜんこくの しごとの ようすを しらべる 調査が あります。「ろうどうりょく調査」と いいます。
この 調査で 聞かれるのは、ぜんこくから えらばれた およそ 4万の 世帯に すむ、15さい いじょうの およそ 10万人です[1]。日本の 人の 数から 見れば、ほんの 一ぶんです。
それでも かたよらないように、まず 地いきごとの 小さな 場所を 分けて、その 中から くじのように えらぶ やり方が 使われて います[1]。
たとえば、学年ぜんたいの すきな あそびを 知りたい ときです。1くみだけに 聞くより、どの くみからも 少しずつ 聞く ほうが、ぜんたいに 近く なります。地いきを 分けてから えらぶのも、同じ 考え方です。
労働力調査は、毎月、全国の約4万世帯に住む15歳以上の約10万人を対象に行われています。この調査から、就業者数や完全失業率が出されます[1]。これは平成30年の統計局の解説にある数字で、現在の値は最新の公表で確かめる必要があります。
10万人に聞くだけで全国が分かるのは、聞く人を「偏りなく」選ぶからです。国勢調査で決められた小さな地域(調査区)を、地域や産業などの特徴でいくつかのグループ(層)に分け、グループごとに調べる地域を選び、その中から住戸を選びます。これを「層化2段抽出」と呼びます[1]。
グループに分けておくのは、たまたま農家の多い地域ばかりが選ばれる、といった偏りを避けるためです。統計局は、この方法が「良い縮図」を得るために非常に有効だと説明しています[1]。
学年全体の好きな遊びを知りたいとき、1組だけに聞くより、どの組からも少しずつ聞くほうが全体に近づきます。地域をグループに分けてから選ぶのも同じ考え方です。
労働力調査は、毎月、全国の約4万世帯に居住する15歳以上の約10万人を対象とする標本調査で、就業者数や完全失業率などを提供している[1]。ただし、この数値は平成30年の統計局の解説に基づくもので、現行値は最新の公表で確認する必要がある。
この規模の標本で全国を代表させるには、選び方を工夫する必要がある。統計局の解説によれば、調査は国勢調査の調査区を先に抽出し、その中の住戸を抽出する二段階の方法を取る。さらに、調査区を地域や産業などの特性でグループ(層)に分け、各グループで独立に抽出する[1]。これが層化2段抽出である。
層に分ける理由は、たまたま農家の多い調査区ばかりが選ばれるといった偏りを避けるためだ。統計局はこの方法を、「良い縮図を得るために非常に有効」と述べている[1]。したがって、実際の設計は単純なくじ引きではなく、工夫を加えた無作為抽出である。
全員に聞く方法との対比でいえば、標本調査は、選び方さえ偏らなければ、残る問題は偶然のずれの大きさになる。その大きさは、人数とどう関わるのか。
4. 人を ふやすと、ずれは どのくらい 小さくなる?
4. 4倍にしても、ずれは半分にしかならない
4. 標本誤差と標本数の平方根 ── 4倍で半分、10倍で約3分の1
くじで えらんでも、ぐうぜんの ずれは 少し のこります。人を ふやすと、この ずれは 小さくなります。でも、ふえた 分だけ 小さく なるわけでは ありません。
人を 4ばいに すると、ずれは はんぶんに なります。10ばいに すると、3分の1 くらいです[1]。
コインを 10回 なげるのと、40回 なげるのを くらべると、40回の ほうが 「おもてが 出る わりあい」の ばらつきが 小さく なりやすいです。ためして みると おもしろい ですよ。
くじ引きで選んでも、偶然によるずれは少し残ります。これを「標本誤差」といい、標本の数の平方根に反比例して小さくなります[1]。
つまり、人数を4倍にすると誤差は半分(2分の1)に、10倍にすると約3分の1になります。誤差を半分にするだけで、調査の手間は4倍になるわけです。
この関係から、たとえば1000人に聞く世論調査では、回答の割合が約50%のとき、95%の確からしさで見た誤差はおよそ±3.2%になります。3000人にすると、約±1.8%です。これは単純な無作為抽出を仮定し、この関係から計算した目安です(簡易式による計算値)。
ここで大事なのは、この計算が「偏りなく選んでいる」ことを前提にしている点です。前の章のダイジェスト誌のように偏っていれば、人数を増やしても計算どおりには近づきません。では、ずれの大きさは、実際にどう発表されるのでしょうか。
偏りのない抽出ができたとして、残る偶然の誤差(標本誤差)は標本の大きさで決まる。統計局の解説によれば、標準誤差は標本数の平方根に反比例して小さくなる[1]。したがって、標本を4倍にすれば誤差は2分の1に、10倍にすれば約3分の1(1/√10≈0.32)になる。人数を増やしても、誤差は同じ割合では減らない。
推定値と真の値の差が標準誤差σ未満になる確率は約68%、2σ未満なら約95%で、2σを超えることは20回に1回程度しかない[1]。
この式を世論調査に当てはめる。回答比率が約50%で標本数が1000のとき、95%の信頼度での誤差は、簡易式±2√[p(1−p)/n]により約±3.16%になる。3000なら約±1.8%になる。いずれも単純無作為抽出を仮定した計算値で、実際の調査の設計や回収率によって変わる。また、この誤差は主に標本数で決まり、母集団の大きさにはほとんど左右されない。ただし、母集団の大きさが影響しないという点は、式からの導出であり、本稿で参照した資料に明示の記述があるわけではない。
では、日本の公式統計は、この誤差を実際にどう示しているのか。
5. 「およそ 5000万人」と 言うとき、ずれも いっしょに 書く?
5. 統計局は「5000万人±25万人」のように書くと説明する
5. 推定値と標準誤差 ── 誤差を併記する読み方
ろうどうりょく調査の せつめいには、こんな れいが あります。ある 月の 数字が 5000万人という 見つもりだった とき、ずれの 大きさは およそ 25万人と 考えられました[1]。
だから 「5000万人 ぴったり」と 言わず、「5000万人 ぐらい。25万人 くらいの ずれは ありえる」と 書くのが、ただしい 書き方だ、と 国の 役所は せつめいして います[1]。
労働力調査の解説には、具体例があります。ある月の推定値が5000万人のとき、標準誤差は約25万人と推定されました。このため、「5000万人±25万人の間に、真の値が3分の2の確率で存在する」と書くのが正確だ、と統計局は説明します[1]。
ここでの25万人は「標準誤差」で、約68%の幅にあたります。もっと確かな95%の幅にしたいなら、幅はおよそ2倍(50万人ほど)になります[1]。
「5000万人」という数字だけを見ると、ぴったりの値のようですが、本当は幅をもった見積もりです。統計局が幅まで書くのは、調べた人が「どこまで言えて、どこから先は言えないか」を、はっきりさせるためだと考えられます。
ただし、この幅は偶然のずれだけを表しています。ほかに、幅に入らないずれもあるのですが、それは次の章で見ます。
統計局の解説には具体例がある。ある月の推定値が5000万人のとき、標準誤差は約25万人と推定される。このため、「5000万人±25万人の間に真の値が2/3の確率で存在する」と記述する必要がある、とされる[1]。
この25万人は標準誤差(約68%の幅)である。95%の幅で示すなら、σの約2倍、すなわち50万人程度になる。したがって、報道などで「±25万人」とある場合は、どの信頼度の幅かを確認しなければ、幅の意味を取り違える。
推定値を点でなく幅で示すことは、標本調査が推定であることを自ら認める態度でもある。ただし、この幅が表すのは偶然のずれだけだ。次章では、幅の外にあるずれを扱う。
6. ずれには、ふやしても なおらない ものも ある?
6. 人数を増やしても、なおらない誤差がある
6. 非標本誤差 ── 標本を増やしても減らない誤差
ずれには 2しゅるい あります。ひとつは、くじの ぐうぜんで 生まれる ずれです。人を ふやせば 小さく なります。
もうひとつは、しつもんの いみを まちがえたり、へんじが もどって こなかったり、数え まちがえたり する ことから 生まれる ずれです。これは、人を ふやしても なおりません[1]。
しかも、どのくらい ずれて いるかを、はかるのも むずかしいと 国の 役所は 書いて います[1]。だから 調査する 人は、聞き方や ならべ方に、とても 気を つけます。
誤差には2種類あります。1つは、偶然による「標本誤差」で、これまで見てきたとおり、標本を増やせば小さくなります。もう1つは「非標本誤差」で、質問の誤解、無回答、集計のミスなどから生まれます[1]。
統計局の解説では、非標本誤差は標本の大きさと直接関係せず、人数を増やして抑えることができないと述べられています。また、原因を調べれば避けられるものもある一方、量として測ることが難しいとされます[1]。
ダイジェスト誌の失敗も、この中に入ります。返事の偏りは、標本誤差では測れないずれだったからです。だから、調べる側は人数より先に、質問の書き方や、答えてもらえる工夫に時間を使います。
この方法の強みは、偶然のずれの大きさは計算で示せることです。弱みは、人数で直らないずれが残りうることです。両方を知ったうえで数字を読むと、ニュースが少し違って見えてきます。
標本調査の誤差は二つに分けられる。偶然による標本誤差は標本数と結びつき、増やせば縮む。これに対して非標本誤差は、質問の誤解、無回答、集計ミスなどから生じ、標本の大きさとは直接関係しない。標本の大きさを通じた制御ができず、量的な測定も難しいが、原因を究明すれば避けられるものもある、と統計局は整理している[1]。
1936年のダイジェスト誌の失敗は、この整理で見ると理解しやすい。名簿の偏りや無回答の偏りは、標本誤差の式に入らない種類の誤差であり、大量の回答があっても縮まらなかった[2]。
つまり、標本調査の信頼性は、計算できる誤差の小ささと、計算できない偏りの少なさの両方で決まる。全員に聞かずに済むのは、その両方に注意を払う条件つきである。
7. ニュースの ちょうさを 見つけて みよう
7. 自分でも調べてみたくなったら
7. 自分でも調べてみたくなったら
いえで できること。ニュースや しんぶんで 「ぜんこくの ○○人に 聞きました」と いう ところを さがして みましょう。すみに 「調査の 方ほう」が 書いて ないか 見ます。
もうひとつ。コインを 10回 なげて、おもてが 何回 出たか、3回ぶん 書きます。つぎに 40回ずつ 3回ぶん 書きます。40回の ほうが、わりあいの ちがいが 小さく なりやすいか、見て みましょう。
ひとりで やらず、おうちの人と いっしょに やって ください。コインは 口に 入れないように しましょう。
今日できること ニュースや新聞で「全国の○○人に調査」という記事を探して、調査方法の欄を読んでみましょう。聞いた人数、選び方、回収率、誤差の書き方がのっていないか。書いてあれば、この記事の話がつながります。
もうひとつは、コインでの小さな実験です。コインを10回投げて表の割合を出す、を3回くり返します。次に、40回ずつを3回くり返します。40回のほうが、割合のばらつきが小さくなりやすいか、見てみましょう。人数を4倍にした、と考えられます。
公式情報 総務省統計局の労働力調査のページには、調査の方法や、誤差の書き方が公開されています。
今日できること 報道で「全国の○○人に調査」とある記事の、調査概要の欄を読む。標本数、抽出方法、有効回収数、誤差の表記の有無を確かめると、この記事の議論を実例に当てはめられる。
コインを10回投げて表の割合を求める作業を数回くり返し、次に40回ずつを同じ回数くり返して、割合のばらつきを比べる方法もある。標本数が4倍になると、ばらつきが小さくなりやすいかを見る。
公式情報・原典 総務省統計局『労働力調査 標本設計の解説』は、層化抽出と誤差の考え方を数式まで含めて説明している。Lusinchi(2012)は、1936年の失敗の原因について、無回答の偏りに注目した論文で、英語だが図書館などで読める。
しらべた もとの じょうほう
参考にした情報源
参考にした情報源と、その使い方
記事の数字と説明は、次の資料をもとにしています。国の公式資料を主とし、1936年の予想の話は先行研究に基づきます。
- 総務省統計局『労働力調査 標本設計の解説』(平成30年4月)。 https://www.stat.go.jp/data/roudou/hyohon/pdf/18hyohon.pdf (調査の規模、層化2段抽出、標本誤差と非標本誤差、誤差の書き方について)
- Lusinchi, D. (2012) "President Landon and the 1936 Literary Digest Poll," Social Science History 36(1). https://doi.org/10.1017/S014555320001035X (1936年の予想と結果、失敗の原因をめぐる研究、ギャラップ社の調査について)
なおした ところ
更新履歴
更新履歴(改版の記録)
- 初版を公開。
このサイトでは、公開した記事の本文は原則として書き直しません。誤りが見つかったときや、内容が古くなったときだけ手を入れ、その理由をこの欄に残します。