発表された研究結果の大半は、たぶん間違っている

一言でいうと

ある研究が「統計的に有意」だったとして、その主張が本当に正しい確率はいくつか。著者はこれを確率の計算として解いた。答えは、多くの現実的な条件で5割を切る。つまり、発表された結果を額面どおり信じると、半分以上で外す。

論文が実際に言っていること

実験データではなく、論理と確率の論文である。中心にあるのは、検定の有意水準（よくある0.05）は「本当は効果が無いのに有意と出る確率」でしかなく、「有意と出た主張が正しい確率」ではない、という区別だ。

後者を計算するには、その分野でそもそも当たりの仮説がどれくらいの割合で存在するか（事前確率）が要る。当たりが少ない領域で闇雲に検定を回せば、有意になったもののうち偽物の割合は跳ね上がる。宝くじで「当たった」と言う人が大量にいても、多くは見間違いか嘘であるのと同じ構造だ。

著者は、次の条件が重なるほど、発表された結果が偽である確率が上がると整理した。

• 研究の規模が小さい（検出力が低い）
• 効果そのものが小さい
• 検証される仮説の数が多く、当たりの割合が低い
• 分析の自由度が大きく、利害や流行が絡む
• その分野で競争が激しい

そして結論として、多くの分野で「発表された結果の大半は偽でありうる」と述べた。

だから、どう生きるか

「有意だった」を「正しい」と読み替えない。

これは統計の細かい話ではなく、情報の受け取り方そのものの話だ。ニュースや要約で「研究で〇〇が示された」と聞いたとき、それが意味するのはたいてい「p < 0.05 が出た」であって、「これは本当だ」ではない。両者の間には、その分野の事前確率という、ふつう誰も口にしない一段がある。

意外な結果ほど、事前確率が低い。

この論文の一番実用的な含意はここだ。当たりの仮説が少ない領域、つまり「そんなことある？」と感じる主張ほど、有意に出ても偽物である確率が高い。驚きは、正しさの証拠ではなく、むしろ疑う理由になる。心を動かされたときこそ、出典が単発の小さな研究でないかを見る。

自分の判断でも、事前確率を先に置く。

これは研究に限らない。ある施策、ある健康法、ある投資が「効いた」というデータを見たとき、そもそもそれが効く見込みは事前にどれくらいあったか、を先に見積もる癖をつける。事前が低いものは、多少の「効いた」証拠では動かない。AIに大量の相関を出させて眺める時代には、この一段を自分で入れるかどうかが分かれ目になる。

ここからは僕の飛躍だ

この論文はモデルであり、実データで「何%が偽か」を数えたものではない。設定した仮定次第で数字は動く。発表当初から、悲観が強すぎるという反論もある。

対象は主に生物医学で、分野によって事前確率も検出力も大きく異なる。すべての研究に同じ割合が当てはまるわけではない。

「意外な主張ほど疑え」は、この論文の枠組みから僕が引いた実践則であって、著者がそう書いているわけではない。

それでも、有意性が正しさの保証ではないという中核は、心理学の再現性を実測した研究が後に別の角度から裏づけた。この論文はその20年の議論の、理屈の側の出発点にあたる。