はじめに
「〇〇を食べると記憶力が上がる」「この習慣で幸福度が高まる」。ニュースやSNSでは、毎日のように「研究で効果が確認された」という話が流れてきます。しかし、その中には、実は偶然の結果にすぎないものが少なからず混ざっています。その大きな原因が、pハッキングと「多重比較」と呼ばれる問題です。
👇 本記事でわかる3つの重要ポイント 👇
- 【テーマ1】20回試せば1回は「有意」が出てしまう多重比較のしくみ
- 【テーマ2】データの扱い方しだいで「効果あり」が作れてしまうpハッキングの実態
- 【テーマ3】怪しい「効果あり」ニュースを見抜くためのチェックポイント
数式はほとんど使わず、身近なたとえで説明します。読み終えるころには、「研究で証明された」という言葉を、一歩引いて落ち着いて受け止められるようになるはずです。
そもそも「p値」と「有意」とは？
結論から言うと、p値（ピーち）は「本当は効果がないとしたら、今回くらいはっきりした差が偶然に出る確率」のことです。この確率が5%（0.05）より小さいと、研究の世界では「統計的に有意（偶然とは考えにくい）」と判断するのが慣例になっています。
p値は「偶然でもこうなる確率」
たとえば、新しいサプリを飲んだグループと飲まなかったグループで、テストの点数を比べたとします。サプリにまったく効果がなくても、グループ分けの運しだいで、点数には多少の差が出ます。
p値は、「効果ゼロの世界で、これほどの差がたまたま出る確率はどのくらいか」を計算したものです。p値が0.03なら、「効果がないなら、こんな差は100回に3回くらいしか出ない」という意味になります。
「5%」は絶対の境界線ではない
大切なのは、p値は「仮説が正しい確率」ではないという点です。アメリカ統計学会（ASA）は2016年3月に、p値の正しい使い方について6つの原則を公式に発表しました。その中で、p値は仮説が正しい確率を表すものではないこと、そして結論をp値が基準を超えたかどうかだけで決めてはいけないことを明言しています。
つまり「p＜0.05」は、あくまで目安のひとつです。それにもかかわらず、論文に載るかどうかがこの線を越えるかで左右されがちなことが、これから紹介する問題の土台になっています。
20回試せば1回は「有意」になる：多重比較の落とし穴
結論から言うと、効果のないものでも、何度も調べればそのうちどれかは偶然「有意」になります。これが多重比較の問題です。1回あたり5%の「はずれくじ」でも、何度も引けば当たってしまうのと同じです。
サイコロで考えてみましょう。「1の目が出たら当たり」というくじを1回だけ引くなら、当たる確率は6分の1です。しかし20回振れば、1回も1が出ないほうがむしろ珍しくなります。統計の検定（効果があるかを確かめる計算）も同じで、効果のない比較を何度もくり返せば、5%の確率で起きる「偶然の有意」がどこかで出てきます。
効果がまったくない比較を何回か行ったとき、少なくとも1回は偶然「有意」になる確率を計算すると、次のようになります（各比較が互いに無関係な場合の計算です）。
| 比較した回数 | 少なくとも1回「有意」が出る確率 | 偶然の「有意」の平均的な数 |
|---|---|---|
| 1回 | 5.0% | 0.05回 |
| 5回 | 約22.6% | 0.25回 |
| 10回 | 約40.1% | 0.5回 |
| 20回 | 約64.2% | 1回 |
| 50回 | 約92.3% | 2.5回 |
20回比べれば、平均して1回は偶然の「有意」が出ます。少なくとも1回出る確率は6割を超えます。たとえば「ゼリービーンズの色20種類ごとに、ニキビとの関係を調べたら、緑色だけ有意だった」という話があったとします。これは発見ではなく、20回試したから当たりが1つ出ただけ、という可能性が高いのです。
問題は、論文やニュースで「緑色のゼリービーンズに関係あり」とだけ報じられ、「ほかの19色では関係がなかった」という部分が消えてしまうことです。何回試したかが伏せられると、読者には偶然かどうかを判断する手がかりがなくなります。
死んだサケの脳が「反応」した？有名な実験
多重比較の怖さを世界に広めたのが、「死んだサケ」の実験です。脳の活動を画像にするfMRI（機能的MRI）という装置で、死んだサケの脳に「反応」が見つかってしまったのです。
カリフォルニア大学サンタバーバラ校の研究者クレイグ・ベネット氏らは、装置の調子を確かめるため、死んだタイセイヨウサケをスキャンしました。そして人間の実験と同じように、さまざまな社会的場面の写真を「見せて」、写っている人の気持ちを考えるよう「お願い」したのです。
すると、補正をしない通常の分析では、サケの脳の一部が「有意に活動した」という結果が出ました。理由は単純です。fMRIの画像は、ボクセルと呼ばれる小さな立方体の点が何万個も集まってできています。その一つひとつで検定をするため、数万回の比較を一度に行うことになり、偶然の「有意」が出てしまうのです。
比較の回数を考慮した「多重比較の補正」をかけると、サケの脳の活動はきれいに消えました。この研究は2012年に、「人々を笑わせ、そして考えさせる研究」に贈られるイグ・ノーベル賞（神経科学賞）を受賞しています。
科学誌Scientific Americanのブログ記事によると、この発表が行われた当時、fMRIの論文の25〜40%が補正をしていませんでした。それが受賞のころには10%程度にまで下がったといいます。ユーモラスな実験が、分野全体の分析方法を変えたよい例です。
pハッキングとは：データの扱い方しだいで「何でも有意」にできる
結論から言うと、pハッキングとは、p値が0.05を下回るまで、データの集め方や分析のしかたを変えて試し続けることです。多重比較と同じしくみで偶然の「有意」を拾ってしまいますが、試した回数が表に出にくいぶん、より気づかれにくいのが特徴です。
よくある手口
pハッキングは、必ずしもデータの捏造（ねつぞう）のような不正ではありません。一つひとつは「よくある判断」に見えるのがやっかいな点です。代表的なものを挙げます。
- 測定項目をいくつも用意し、有意になったものだけを報告する
- 途中で結果を見て、有意でなければ参加者を追加する（有意になった時点で止める）
- 性別や年齢などで調整するかどうかを、結果を見てから決める
- 3つの条件で実験し、都合のよい2つだけを比べて報告する
- 「外れ値」として一部のデータを、結果を見ながら除外する
- 男性だけ、高齢者だけなど、有意になる集団を探して報告する
ビートルズの曲で人が若返る？わざと作った「ありえない結果」
この問題を鮮やかに示したのが、心理学者のシモンズ氏、ネルソン氏、シモンソン氏が2011年に学術誌「Psychological Science」で発表した論文です。彼らは、あえて「ありえない仮説」を統計的に「証明」してみせました。
ペンシルベニア大学の学生20人に、ビートルズの「When I’m Sixty-Four」か、Windowsに付属していた器楽曲「Kalimba」のどちらかを聞いてもらいました。すると、父親の年齢で調整するなどの分析を組み合わせた結果、ビートルズを聞いた人は生年月日で見て1年半近く「若くなった」という、統計的に有意な結果が得られたのです。曲を聞いて実際の年齢が変わるはずはありません。分析の自由度を使えば、こんな結論まで作れてしまうことを示したのです。
4つの「よくある判断」で偽陽性は約61%に
シモンズ氏らは、コンピューターによるシミュレーション（模擬実験）でも、効果がまったくない状況で「有意」が出る確率（偽陽性率）を調べました。結果の一部は次のとおりです。
| 研究者が使った自由度 | 偽陽性率（p＜0.05） |
|---|---|
| 自由度なし（本来の基準） | 5.0% |
| 2つの測定項目のうち、よいほうを選ぶ | 9.5% |
| 4つの手口をすべて組み合わせる | 60.7% |
組み合わせた4つの手口は、「測定項目を2つ用意する」「途中で参加者を10人追加する」「性別で調整する」「3つの条件のうち一部だけを報告する」という、当時はごく普通に行われていたものです。論文では、こうした自由度を使うだけで、研究者は効果がないのに「効果あり」と判断してしまう可能性のほうが高くなると指摘しています。
悪意がなくても起こる「分かれ道の庭」
結論から言うと、pハッキングは「ずるい研究者」だけの問題ではありません。まじめな研究者が1回しか分析していなくても、同じ落とし穴にはまることがあります。
統計学者のアンドリュー・ゲルマン氏とエリック・ローケン氏は2013年、この現象を「分かれ道の庭（garden of forking paths）」と名づけました。分析の途中には、「どのデータを使うか」「どの比較に注目するか」といった分かれ道がたくさんあります。研究者がデータを見ながら自然に道を選ぶと、本人は1回しか分析していないつもりでも、実際には「ほかの道を選んでいたら」という無数の比較が隠れていることになります。
たとえるなら、ダーツを投げたあとで、刺さった場所の周りに的を描くようなものです。本人に悪気がなくても、結果を見てから基準を決めれば、いつでも「命中」に見えてしまいます。ゲルマン氏らは、データ分析の細かい点が事前に決まっておらず、データしだいで変わっていた例として、実際に発表された論文をいくつか取り上げています。
「効果あり」研究が量産される仕組み：出版バイアスとの合わせ技
結論から言うと、pハッキングと出版バイアス（「効果あり」の結果ばかりが論文として世に出る偏り）が組み合わさると、偶然の「効果あり」が次々と論文になり、科学の記録に積み上がっていきます。
流れを整理すると、次のようになります。
- 研究者は、論文を出さないと評価されず、職や研究費を得にくい
- 学術誌は、「効果なし」より「効果あり」の新しい発見を載せたがる
- 研究者は、有意な結果が出るまで分析を工夫する（意識的にも無意識にも）
- 偶然の「有意」が論文になり、「効果なし」の結果は引き出しにしまわれる
- 報道やSNSが「研究で効果が確認された」と広める
この結果どうなるかを示したのが、2015年に科学誌Scienceで発表された大規模な再現実験です。研究者グループ「オープン・サイエンス・コラボレーション」が、2008年に有名な心理学誌3誌に載った研究100件を、同じ方法でやり直しました。
| 比べた点 | 元の研究 | やり直した研究 |
|---|---|---|
| 統計的に有意な結果が出た割合 | 97% | 36% |
| 効果の大きさ（平均） | 基準 | およそ半分 |
元の研究ではほぼすべてが「有意」だったのに、やり直すと約3分の1しか同じ結果になりませんでした。これが「再現性の危機」と呼ばれる問題の象徴になっています。ただし、この数字の解釈には反論もあり、再現できなかった理由を「元の研究がすべて誤りだった」とは言い切れません。やり直しの方法の違いや、もともとの実験の規模の小ささも影響したと考える研究者もいます。
対策：事前登録・登録報告・補正
結論から言うと、いちばん効果的な対策は「分析の分かれ道を、データを見る前にふさいでおくこと」です。そのための仕組みが、ここ10年ほどで広がってきました。
多重比較の補正
たくさんの比較をするときは、合格ラインを厳しくします。よく知られる方法の一つが「ボンフェローニ補正」で、基準の0.05を比較の回数で割ります。20回比べるなら、0.05÷20＝0.0025未満でなければ「有意」としません。死んだサケの実験で使われたような、より洗練された補正方法もあります。ただし、厳しくするほど本当の効果も見逃しやすくなるため、使い分けが議論されています。
事前登録
事前登録とは、データを集める前に、仮説・データの集め方・分析方法を公開の登録サイトに記録しておくことです。記録には日時が残り、あとから書き換えられません。米国の非営利団体「センター・フォー・オープン・サイエンス（COS）」が運営するOSF Registriesなどが広く使われています。医薬品の臨床試験では、多くの国で事前登録が求められています。
登録報告（レジスタード・レポート）
さらに一歩進んだのが「登録報告」という論文の形式です。データを集める前に、研究計画そのものを学術誌が審査し、計画どおりに実施すれば結果がどうであれ掲載を約束します。2012年ごろに提案され、メルボルン大学図書館の案内によると、現在は300誌以上が採用しています。「効果なし」でも論文になるため、pハッキングと出版バイアスの両方を減らせると期待されています。
すべてを報告する
アメリカ統計学会の声明は、研究者は検討した仮説の数、データ収集の判断、行ったすべての分析と計算したp値を開示すべきだと述べています。何回試したかがわかれば、読者は偶然の可能性を自分で判断できます。シモンズ氏らも、データ収集をいつ止めるかを事前に決めて報告することや、集めた変数をすべて示すことなどを、著者への要件として提案しました。
「効果あり」ニュースを見抜くチェックポイント
結論から言うと、ひとつの研究結果だけで「証明された」と受け取らないことが、いちばんの身を守る方法です。ニュースを見るときは、次の点を確かめてみてください。
- 参加者は何人か（数十人程度の小さな研究は偶然に左右されやすい）
- たくさんの項目を調べた中の、一部だけが報じられていないか
- 「女性のみ」「60代のみ」など、特定の集団だけで効果が出ていないか
- 効果の大きさはどのくらいか（有意でも、実生活では気づかないほど小さいことがある）
- 別の研究チームでも同じ結果が出ているか
- 事前登録された研究か、複数の研究をまとめた分析（メタ分析）か
特に健康やお金に関わる情報は、一つの研究結果をもとに生活を大きく変える前に、立ち止まることが大切です。個人の状況によって判断は異なるため、気になる場合は医師や専門家、公的機関にご相談ください。
よくある質問
pハッキングは不正行為（研究不正）なのですか？
データの捏造や改ざんとは違い、多くは「グレーな研究慣行」として扱われます。シモンズ氏らが示したように、2011年当時はごく普通に行われていた判断も含まれます。ただし、意図的に結果を操作して隠せば、研究倫理上の重大な問題になります。
p値が0.05より小さければ、効果は本物ですか？
そうとは限りません。アメリカ統計学会の声明のとおり、p値は仮説が正しい確率ではありません。何回比較したか、事前に決めた分析か、ほかの研究でも再現されたかをあわせて判断する必要があります。
多重比較の補正をすれば問題は解決しますか？
実際に行った比較には有効ですが、「分かれ道の庭」のように表に出ない比較までは補正できません。そのため、分析方法を事前に決めておく事前登録や登録報告とあわせて使うことが大切だと考えられています。
研究結果はすべて疑ったほうがいいのですか？
すべてを疑う必要はありません。複数のチームで再現された結果や、事前登録された大規模な研究は、信頼性が高いと考えられます。「ひとつの研究」「小さな研究」「意外すぎる結果」の3つがそろったときに、特に慎重になるのがおすすめです。
まとめ
効果のないものでも、20回比べれば平均1回は偶然「有意」になります。これが多重比較の問題です。さらに、データを見ながら分析方法を選ぶpハッキングを重ねると、偽陽性は5%から約61%にまで跳ね上がることがシミュレーションで示されています。
この偶然の「効果あり」が、出版バイアスによって論文として選ばれ、報道で広まる。これが「効果あり」研究が量産される仕組みです。一方で、多重比較の補正、事前登録、登録報告といった対策も着実に広がっています。
次に「研究で効果が確認された」というニュースを見かけたら、「参加者は何人？」「ほかに何を調べた？」「別の研究でも同じ結果？」の3つを確かめてみてください。それだけで、偶然の当たりくじに振り回されることがぐっと減るはずです。
参考リスト
- Statistical significance and p-values（ScienceDaily／American Statistical Association）
- ASA p values（Indiana University）
- False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant（SSRN）
- Open Science Workshop資料（False-Positive Psychology Table 1を含む／Freie Universität Berlin）
- Lies, Damn Lies, and Experimental Research Statistics（The Pennsylvania Gazette）
- IgNobel Prize in Neuroscience: The dead salmon study（Scientific American）
- Statistics lessons from a salmon（Tidsskrift for Den norske legeforening）
- The lab of the thinking dead（Significance Magazine）
- Garden of forking paths（FORRT）
- Estimating the reproducibility of psychological science（AcaWiki）
- Psychology’s Largest Replication Effort Reveals Low Rates of Reproducibility（Behavioral Scientist）
- Comment on “Estimating the reproducibility of psychological science”（Gilbert et al.）
- Reproducibility: The New Frontier in AI Governance（arXiv）
- ASA statement on p-valuesの解説（Schachtman Law）
- Preregistering Research（University of Melbourne Library）
