はじめに
「この調査は何人に聞いたのか」「その人数で本当に結論を出してよいのか」。ニュースで実験結果やアンケートを見て、そんな疑問を持つ人は少なくありません。その答えを考えるための道具が、統計学の検出力とサンプルサイズという考え方です。
👇 本記事でわかる3つの重要ポイント 👇
- 【テーマ1】検出力とサンプルサイズの基本的な仕組み
- 【テーマ2】必要な人数の目安と見積もり方のコツ
- 【テーマ3】人数が足りない研究が招く落とし穴と注意点
数式はほとんど使わず、具体的な数字とたとえ話で説明します。読み終えるころには、調査や研究のニュースを見たときに「この人数なら信用できそうか」を自分で考えられるようになります。
検出力とは？「本当にある差」を見逃さない確率
検出力とは、本当に効果や差があるときに、調査や実験でそれを正しく見つけられる確率のことです。研究の世界では、検出力80%以上が最低ラインの目安とされています。
たとえば、新しい勉強法に本当に効果があるとします。それでも、調べる人数が少ないと、たまたまのばらつきに埋もれて「効果があるとは言えない」という結果が出てしまうことがあります。検出力は、この「見逃し」をどれだけ防げるかを表す数字です。
統計で起きる2種類の間違い
統計的な判断（検定）には、次の2種類の間違いがつきものです。検出力は、このうち「見逃し」の起きにくさを表しています。
| 間違いの種類 | どんな間違いか | たとえ | よく使われる基準 |
|---|---|---|---|
| 第一種の過誤（偽陽性） | 本当は差がないのに「差がある」と判断する | 火事でないのに火災報知器が鳴る | 5%（有意水準） |
| 第二種の過誤（偽陰性） | 本当は差があるのに「差がない」と判断する | 火事なのに報知器が鳴らない | 20%前後（検出力80%） |
検出力は「1から第二種の過誤の確率を引いたもの」です。検出力80%の研究でも、本当にある効果を5回に1回は見逃す計算になります。
検出力80%が目安とされる理由
80%という数字は、自然界の法則ではなく、研究者の間で広く使われてきた「慣例」です。見逃しを0%にしようとすると、必要な人数が際限なく増えてしまいます。そこで、費用や手間との釣り合いを考えた落としどころとして、80%や90%がよく使われています。
実際に、医薬品の臨床試験のルールを定めた国際的な指針「臨床試験のための統計的原則（ICH E9）」でも、第二種の過誤は慣例として10〜20%に設定すると書かれています。検出力に直すと、およそ80〜90%にあたります。
サンプルサイズを決める4つの要素
必要な人数（サンプルサイズ）は、次の4つの要素の関係で決まります。このうち3つを決めると、残りの1つが自動的に決まるという関係にあります。
- 有意水準：「偶然とは言えない」と判断する基準。通常は5%
- 検出力：本当にある差を見つけられる確率。通常は80%か90%
- 効果量：見つけたい差の大きさ。ばらつきに対して差がどれだけ大きいか
- サンプルサイズ：調べる人数やデータの数
ふつうは、有意水準と検出力は慣例どおりに決めます。そして、見つけたい効果の大きさを見積もり、そこから必要な人数を逆算します。研究を始める前に行うこの計算を「検出力分析」と呼びます。
人数を増やすと検出力が上がるのは、平均値などの推定のぶれ（標準誤差）が小さくなるからです。ざわざわした教室で小さな声を聞き取るとき、何度も繰り返し聞けば聞き取りやすくなるのに似ています。また、測定のばらつきが大きいほど、同じ差を見つけるのに多くの人数が必要になります。
実際に何人必要？効果の大きさ別の目安
2つのグループの平均を比べる場合、見つけたい差が小さいほど、必要な人数は急激に増えます。差の大きさを半分にすると、必要な人数はおよそ4倍になります。
差の大きさは「効果量」という物差しで表します。よく使われるのは、平均の差をばらつき（標準偏差）で割った「コーエンのd」という値です。心理学者ジェイコブ・コーエンは、0.2を小、0.5を中、0.8を大の目安として示しました。有意水準5%、両側検定で計算すると、必要な人数は次のとおりです。
| 効果量（d） | 差のイメージ | 検出力80%の人数（1グループ） | 検出力90%の人数（1グループ） | 合計（80%の場合） |
|---|---|---|---|---|
| 0.2（小） | よく見ないとわからない差 | 394人 | 527人 | 788人 |
| 0.5（中） | 注意すれば気づく差 | 64人 | 86人 | 128人 |
| 0.8（大） | 見ればすぐわかる差 | 26人 | 34人 | 52人 |
中くらいの効果でも、2つのグループを比べるには合計128人が必要です。逆に、1グループ20人で中くらいの効果を調べると、検出力は約34%にとどまります。本当に効果があっても、3回に2回は「効果があるとは言えない」という結果になってしまう計算です。
なお、この表は最もシンプルな「2つのグループの平均を比べる」場合の数字です。同じ人に前後2回測る方法や、3つ以上のグループを比べる方法では、必要な人数が変わります。
アンケートや世論調査では「誤差の幅」で考える
「何％の人が賛成か」を調べるアンケートでは、検出力よりも「結果がどれくらいぶれるか（標本誤差）」で必要な人数を考えるのが一般的です。回答者1,000人なら、誤差はおよそ±3ポイントが目安です。
内閣府の世論調査報告書には、無作為に選んだ場合の誤差（95%の確率でこの範囲に収まる幅）の早見表が載っています。結果が50%前後のときの誤差は次のとおりです。
| 回答者数 | 結果が50%のときの誤差 |
|---|---|
| 100人 | ±9.8ポイント |
| 500人 | ±4.4ポイント |
| 1,000人 | ±3.1ポイント |
| 2,000人 | ±2.2ポイント |
人数を2倍にしても、誤差は半分にはなりません。誤差を半分にするには、人数を4倍にする必要があります。また、ここでの人数は全体の人口とはほとんど関係がありません。1万人の町でも1億人の国でも、無作為に1,000人選べば誤差はほぼ同じです。
ただし、これは「偏りなく無作為に選べた場合」の話です。内閣府の報告書も、回答者の誤解などによる計算できない誤差（非標本誤差）があると注意しています。人数が多くても、選び方が偏っていれば結果は正しくなりません。
人数が足りない研究で起きる3つの問題
人数が足りない研究は、単に「効果を見逃しやすい」だけではありません。見つかった結果そのものが信用しにくくなるという問題もあります。主な問題は次の3つです。
- 見逃し：本当にある効果を「差がない」と判断しやすくなる
- 誤解：「有意差なし」が「効果がない証拠」と受け取られてしまう
- 水増し：たまたま大きく出た結果だけが有意になり、効果が実際より大きく報告される（「勝者の呪い」と呼ばれます）
この問題を数字で示したのが、2013年に学術誌「ネイチャー・レビューズ・ニューロサイエンス」に掲載されたケイト・バトンらの論文です。英国心理学会の紹介記事によると、神経科学の研究の検出力は中央値で21%と見積もられました。脳の体積を調べる分野では、わずか8%という推計も示されています。
心理学でも、2015年に約270人の研究者による「オープン・サイエンス・コラボレーション」が、学術誌「サイエンス」に結果を発表しました。過去の心理学研究100本を再現しようとしたところ、元の研究では97%が有意だったのに、再現実験で有意になったのは36%でした。効果の大きさも、平均で元の研究の約半分にとどまりました。
ただし、これらの数字には異論もあります。2017年の再分析では、神経科学の検出力は分野や研究によって大きく異なり、十分な検出力を持つ研究も多いと報告されました。心理学の再現プロジェクトにも、方法に問題があり再現性はもっと高いという反論が出ています。「すべての研究が信用できない」と考えるのではなく、人数と検出力を確かめる習慣こそが大切です。
医薬品の臨床試験ではどう決めている？
新しい薬の効果を確かめる臨床試験では、必要な人数をあらかじめ計算し、計画書に書いておくことが求められています。後から都合のよい人数に変えられないようにするためです。
日本でも1998年に厚生省（当時）が通知した「臨床試験のための統計的原則」では、被験者の数は問題に信頼できる答えを出せるだけ十分に多くするべきだとしています。計算に使った見積もり（ばらつきや検出すべき差など）も、計算方法とともに計画書に定めておくよう求めています。
また、実際の研究では途中でやめる人（脱落者）が出ます。脱落を見込んで、計算した人数を「最後まで残る人の割合」で割って上乗せするのが基本です。
- 計算上の必要人数：1グループ64人
- 見込まれる脱落：20%（最後まで残るのは80%）
- 実際に集める人数：64÷0.8＝1グループ80人
上乗せをしないと、100人で計画して20%が脱落した場合、検出力は80%から約70%に下がってしまいます。
必要な人数を見積もるためのコツ
検出力分析でいちばん難しいのは、「見つけたい効果の大きさ」を研究前に見積もることです。ここを甘く見積もると、計算上は十分でも実際には人数が足りない研究になってしまいます。
- 過去の研究を参考にする：ただし発表された効果は大きめに出やすいため、2〜3割割り引いて考える
- 小規模な予備調査（パイロット研究）を行う：結果のぶれが大きいので、控えめな値を使う
- 「実用上意味のある最小の差」から考える：たとえば「点数が5点以上上がらなければ意味がない」と決める
計算そのものは、無料の統計ソフトで簡単にできます。たとえば、統計ソフトRの「pwr」というパッケージや、Pythonの「statsmodels」というライブラリには、検出力分析の機能があります。ブラウザ上でPythonを動かせる環境を使えば、パソコンに何もインストールせずに試せます。
よくある質問
「30人いれば十分」というのは本当ですか？
一律に30人で十分とは言えません。必要な人数は、見つけたい効果の大きさや比べ方によって変わります。たとえば2つのグループを30人ずつで比べると、中くらいの効果（d＝0.5）でも検出力は約48%にとどまります。
研究が終わった後に検出力を計算すれば十分ですか？
研究後に、観測された結果から検出力を計算しても、ほとんど意味がないとされています。その値はp値（偶然でこの結果が出る確率の目安）を言い換えたものにすぎないからです。検出力分析は、データを集める前に人数を決めるために行うのが基本です。
人数は多ければ多いほどよいのですか？
人数を増やすほど検出力は上がりますが、ある程度を超えると上がり方はゆるやかになります。また、人数が非常に多いと、実用上は意味のないごく小さな差まで「有意」になることがあります。費用や参加者の負担も考え、目的に合った人数を事前に決めることが大切です。
「有意差なし」なら、効果はないと考えてよいですか？
そうとは限りません。検出力が低い研究では、本当に効果があっても「有意差なし」になりやすいからです。結果を読むときは、何人を調べたのか、検出力が十分だったのかもあわせて確認しましょう。
まとめ
検出力は、本当にある差を見逃さない確率です。研究の世界では80%以上が目安で、そのために必要な人数は、見つけたい差の大きさによって大きく変わります。
- 有意水準・検出力・効果量・人数の4つは、3つ決まると残り1つが決まる
- 見つけたい差が半分になると、必要な人数は約4倍になる
- 2グループで中くらいの効果を比べるなら、合計128人が目安
- 世論調査は1,000人で誤差およそ±3ポイント。ただし偏りなく選ぶことが前提
- 人数不足の研究は、見逃しだけでなく効果の水増しも招く
次に研究やアンケートのニュースを見かけたら、まず「何人を調べた結果なのか」を確かめてみてください。その一手間だけで、数字に振り回されにくくなります。
参考リスト
- 「臨床試験のための統計的原則」について（医薬品医療機器総合機構）
- 本報告書を読む際の注意（内閣府 世論調査）
- Serious power failure threatens the entire field of neuroscience（British Psychological Society）
- Power-up: A Reanalysis of ‘Power Failure’ in Neuroscience Using Mixture Modeling（The Journal of Neuroscience）
- Estimating the reproducibility of psychological science（AcaWiki）
- Comment on “Estimating the reproducibility of psychological science”（Gilbert ほか）
- Power Analysis Calculator（JournalMetrics）
- 統計的検出力の解説と例（MetricGate）
- 検出力分析（MetricGate）
- 検出力分析でよくある間違い（MetricGate）
- Sample Size and Statistical Power Explained（CASRAI）
