効果量とは？「統計的に有意」でも意味のない差がある理由をやさしく解説

はじめに

「この方法で成績が上がることが、統計的に有意に示されました」。こんなニュースを見ると、つい「よく効くんだ」と思ってしまいます。ところが実際には、効果量（差や効果の大きさ）がとても小さく、生活ではほとんど意味のない差だった、ということが珍しくありません。以前の記事では、データをいじって無理やり「有意」を作り出すpハッキングを取り上げましたが、今回はその続編です。不正がなくても起こる「有意なのに意味がない」という落とし穴を見ていきます。

👇 本記事でわかる3つの重要ポイント 👇

• 【テーマ1】「統計的に有意」という言葉の本当の意味
• 【テーマ2】データが多いと小さな差でも有意になるしくみ
• 【テーマ3】効果量を使ってニュースの数字を読むコツ

読み終わるころには、「有意差あり」という言葉を見ても慌てず、「で、どれくらいの差なの？」と一歩踏み込んで考えられるようになります。数式はほとんど使わないので、気軽に読み進めてください。

「統計的に有意」とは何を意味するのか

結論から言うと、「統計的に有意」とは「偶然だけでは説明しにくい差がある」という意味です。「大きな差がある」「重要な差がある」という意味ではありません。

p値は「偶然らしさ」の目安

統計では、まず「本当は差がない」と仮定します。そのうえで、「差がないのに、今回くらいの差がたまたま出る確率」を計算します。これがp値です。p値が小さいほど、「差がないと考えるのは無理がある」と判断します。

一般には、p値が0.05（5％）を下回ると「統計的に有意」と呼ばれます。ただし、この0.05という線は自然の法則ではなく、研究者の間で使われてきた慣習にすぎません。

米国統計学会の「6つの原則」

p値の誤用が広がったことを受けて、米国統計学会（ASA）は2016年3月に、p値についての公式声明を発表しました。科学誌Natureの記事によると、177年の歴史を持つ同学会が、統計の基本的なやり方についてここまで明確な提言をしたのは初めてのことでした。声明では、次の6つの原則が示されています。

1. p値は、データが特定の統計モデルとどれくらい合わないかを示せる
2. p値は、仮説が正しい確率や、データが偶然だけで生じた確率を示すものではない
3. 科学的な結論や政策の判断を、p値が基準を下回ったかどうかだけで決めてはいけない
4. 正しい推論には、すべてを報告する透明性が必要
5. p値や統計的有意性は、効果の大きさや結果の重要性を測るものではない
6. p値だけでは、仮説の良い証拠にはならない

今回の主役は、5番目の原則です。「有意かどうか」と「大きいかどうか」は、まったく別の問いなのです。ちなみに4番目の原則は、前回取り上げたpハッキングへの戒めにあたります。

データが多いと「小さな差」でも有意になるしくみ

p値が小さくなる理由は、「差が大きいから」だけではありません。調べた人数（サンプルサイズ）が多いだけでも、p値は小さくなります。ここが、「有意なのに意味がない差」が生まれる最大の原因です。

コイン投げで考えてみる

コインを10回投げて表が6回出ても、誰も「このコインはおかしい」とは思いません。10回くらいなら、その程度のずれはよくあるからです。ところが、100万回投げて表が60万回出たら、明らかにおかしいと感じます。ずれの割合は同じ「6割」なのに、回数が多いほど「偶然では説明できない」と判断しやすくなるのです。

逆に言えば、回数をとても多くすると、ほんのわずかなずれでも「偶然ではない」と判定されます。たとえば表が出る確率が50.1％のコインでも、何百万回も投げれば「有意に表が出やすい」と言えてしまいます。でも、そのコインを使ったゲームで困る人はまずいないでしょう。

同じ差でも、人数でp値はこう変わる

試しに、平均点の差がとても小さい2つのグループを比べた場合を計算してみました。テストの点数のばらつき（標準偏差）が10点のとき、平均点の差が0.2点しかない状況です。後で説明する効果量でいうと、ごくわずかな差にあたります。

1グループの人数	平均点の差	p値（目安）	判定
100人	0.2点	約0.89	有意ではない
1,000人	0.2点	約0.65	有意ではない
10,000人	0.2点	約0.16	有意ではない
50,000人	0.2点	約0.0016	有意
100,000人	0.2点	0.0001未満	非常に有意

差はずっと0.2点のままなのに、人数を増やすだけで「有意ではない」から「非常に有意」に変わりました（この表は、2つのグループを比べる一般的な検定の考え方で計算した目安です）。100点満点のテストで0.2点上がる勉強法に、わざわざお金を払う人は少ないはずです。最近はインターネットやアプリで何十万人ものデータが集まるため、こうした「意味の薄い有意差」が生まれやすくなっています。

効果量とは？差の「大きさ」を測るものさし

効果量とは、差や効果が「どれくらい大きいか」を表す数字です。p値と違い、効果量は人数を増やしても大きくなったり小さくなったりしません。そのため、「本当に意味のある差か」を判断する手がかりになります。

代表的な効果量「Cohenのd」

よく使われる効果量に、心理学者ジェイコブ・コーエン（Jacob Cohen）が広めた「Cohenのd」があります。2つのグループの平均の差を、データのばらつき（標準偏差）で割ったものです。たとえばd＝0.5なら、「ばらつきの半分くらいの差がある」という意味になります。単位がないので、点数でも体重でも同じものさしで比べられるのが利点です。

コーエンは1988年の著書で、大まかな目安として次の基準を示しました。

Cohenのd	目安	イメージ
0.2前後	小さい	グラフにしても目で見てわかりにくい差
0.5前後	中くらい	注意深く見れば気づく差
0.8以上	大きい	グラフにすればはっきりわかる差

先ほどの「0.2点の差」はd＝0.02です。「小さい」とされる0.2のさらに10分の1しかありません。p値がどれだけ小さくても、効果量で見れば「ほぼ差がない」とわかります。

基準はあくまで目安

ただし、この0.2・0.5・0.8という線は、コーエン自身も「ほかに手がかりがないときの目安」として示したものです。分野によって「普通の効果」の大きさは違います。医療の分野では、dが小さくても、何百万人もの人に当てはめると多くの命を救う、重要な効果になる場合があります。効果量は「数字を見て終わり」ではなく、「その分野や生活の中で、この大きさは意味があるか」と考えるための材料なのです。

実例で見る：アスピリンと心筋梗塞の研究

「有意かどうか」と「大きさ」の違いがよくわかる例として、1980年代にアメリカで行われた「医師健康研究（Physicians’ Health Study）」があります。約2万2千人の男性医師を、アスピリン（解熱鎮痛薬の一種）を飲むグループと、偽の薬を飲むグループに分けて調べた大規模な研究です。

「44％減少」という大きな見出し

米国心臓病学会（ACC）のまとめによると、アスピリンのグループでは、心筋梗塞（心臓の血管が詰まる病気）の危険が44％減りました。p値は0.00001未満という、非常に強い「有意差」です。この結果を受けて、研究は予定より早く打ち切られました。

人数で見直すと印象が変わる

ところが、実際の人数で見ると印象が変わります。たとえば、死亡に至った心筋梗塞は、偽薬のグループで約1万1千人中26人、アスピリンのグループで約1万1千人中10人でした。割合にすると約0.24％と約0.09％で、差は約0.15ポイントです。計算すると、およそ700人がアスピリンを飲み続けて、ようやく1人の死亡を防げる計算になります。

このように、「何％減った」という比べ方を相対リスク、「全体のうち何人減ったか」という比べ方を絶対リスクと呼びます。もともと起こる確率が低い出来事では、相対リスクが大きく見えても、絶対リスクの差はわずかということがよくあります。

メリットとデメリットを並べて考える

さらに、アスピリンには出血しやすくなる副作用もあります。2023年に発表された、16の研究・約17万人分のデータをまとめた分析では、心臓病の持病がない人の場合、アスピリンで防げる心筋梗塞よりも、増える大出血のほうが多いと結論づけられました。「有意に効く」ことと、「飲んだほうが得」かどうかは、別の話なのです。なお、薬の使い方は人によって大きく異なります。服用については自己判断せず、必ず医師や薬剤師にご相談ください。

ニュースや広告の「有意差あり」を読むコツ

「有意差あり」という言葉に出会ったら、「どれくらいの差か」「それは自分にとって意味があるか」を確かめるのが基本です。次の4つの質問を、頭の片隅に置いておくと役立ちます。

1. 差の大きさは？：平均で何点、何キロ、何％違うのかを確認します。数字が書かれていなければ要注意です。
2. 何人を調べた？：人数が非常に多い研究では、小さな差でも有意になります。逆に人数が少ないと、本当は効果があっても有意にならないことがあります。
3. 相対か、絶対か？：「半分に減った」が「1万人中2人が1人になった」という意味かもしれません。元の数字を探してみましょう。
4. デメリットは？：副作用、費用、手間など、得られる効果と引き換えに失うものも並べて考えます。

研究者の世界でも、p値だけでなく、効果量や「信頼区間」（本当の値がだいたいどの範囲にありそうかを示す幅）をあわせて報告することが勧められています。私たち読み手も、「有意」の一言で判断せず、数字の中身に目を向ける習慣を持つことが大切です。

よくある質問

p値が小さいほど、効果は大きいのですか？

いいえ、そうとは限りません。p値は、差の大きさだけでなく、調べた人数やデータのばらつきにも左右されます。人数が多ければ、ごく小さな差でもp値はとても小さくなります。効果の大きさを知りたいときは、効果量を確認しましょう。

「有意差なし」なら、効果はないということですか？

そうとも言い切れません。調べた人数が少ないと、本当は効果があっても有意にならないことがあります。「有意差なし」は「効果がないと証明された」ではなく、「今回のデータでははっきりしなかった」と受け止めるのが正確です。

効果量はどれくらいなら「意味がある」のですか？

Cohenのdでは、0.2が小さい、0.5が中くらい、0.8が大きいという目安があります。ただし、これは一般的な目安にすぎません。命にかかわる医療のように、小さな効果でも大勢に当てはめると重要になる分野もあります。分野ごとの「普通の効果」と比べて判断することが勧められています。

pハッキングと効果量の問題は、どう違うのですか？

pハッキングは、分析のやり方を都合よく変えて、本来は有意でない結果を有意に見せかける行為です。一方、効果量の問題は、正しく分析しても起こります。有意差そのものは本物でも、差が小さすぎて実用的な意味がない、というケースです。どちらも「p値だけを見て判断する」ことから生まれる落とし穴です。

まとめ

「統計的に有意」とは、「偶然だけでは説明しにくい差がある」という意味にすぎません。差の大きさや重要さを示すものではなく、調べる人数が多ければ、ほとんど意味のない小さな差でも有意になります。そこで役立つのが効果量です。Cohenのdや絶対リスクの差を見ることで、「その差は生活の中で意味があるのか」を判断できます。

覚えておきたい合言葉は、「差があるかより、どれくらいの差か」です。次に「有意な効果が確認された」という記事や広告を見かけたら、まず「何人中、何人に、どれくらいの差があったのか」という元の数字を探してみてください。それだけで、数字にだまされにくい目が育っていきます。

参考リスト

• Statisticians issue warning over misuse of P values（Nature）
• Statistical significance and p-values（ScienceDaily／American Statistical Association）
• ASA p values（Indiana University）
• The ASA’s Statement on p-Values: Context, Process, and Purpose（PDF）
• The American Statistical Association’s Statement on the Use of P Values（Minitab Blog）
• 効果量とp値の比較（MetricGate）
• Cohen’s d 効果量とは?（MetricGate）
• Small, Medium, Large Effect Size by Cohen（MetricGate）
• Statistical notes for clinical researchers: effect size（Restorative Dentistry & Endodontics）
• Physicians’ Health Study (Aspirin component)（American College of Cardiology）
• Causally Sound Priors for Binary Experiments（arXiv）
• Aspirin with or without statin in individuals without atherosclerotic cardiovascular disease across risk categories（JACC: Advances）