心理学の論文100本を追試したら、再現したのは4割だった

心理学の再現性の危機

紹介動画は準備中

一言でいうと

270人の研究者が集まって、主要な心理学雑誌に載った100本の研究をやり直した。元の論文では97%が「統計的に有意」だった。追試で有意になったのは36%だった。効果の大きさも、平均すると半分程度に縮んだ。

2008年に3つの主要誌に掲載された研究から100本を選び、可能な限り元の手続きに忠実な追試を行った。多くの場合、原著者に材料を提供してもらい、事前に手続きを登録している。追試のサンプルサイズは、元の研究より大きく取られている。

結果を並べると、

追試チームの主観的な判断でも、「再現した」と評価されたのは39%だった。

再現しやすさには傾向があった。元の効果が大きかった研究、元の p 値が小さかった研究のほうが再現しやすい。逆に、意外性の高い結果や、条件の絡んだ複雑な効果は再現しにくかった。

論文1本を理由に、生活を変えない。

これは、このサイトそのものへの注意書きでもある。ここで紹介している論文も、当然この確率の中にある。1本読んで「なるほど」と思って行動を変えるのは、期待値としてあまり良くない賭けだ。

見るべきは本数ではなく、独立した複数の研究が同じ方向を指しているかである。この論文の言い方を借りれば、元の効果が大きく、繰り返し確認されているものほど信用してよい。

「面白い」と思ったものほど、疑う。

再現しにくかったのは意外性の高い結果だった。そして、意外な結果ほど記事になり、拡散し、あなたの目に届く。つまり、目に入りやすい研究ほど再現しにくいという関係が、構造的に成立している。

心を動かされたときが、いちばん危ない。

AI に聞いても、この問題は解決しない。

AI は論文の内容を要約できるが、その論文が再現したかどうかまでは踏み込んでくれないことが多い。むしろ、有名で引用の多い研究ほど流暢に語られる。人気と正しさは別物だという判断は、今のところ人間の側の仕事だ。

「4割しか再現しない」を「6割は嘘だった」と読むのは間違いである。追試の失敗には、元の効果が存在しない以外にも、追試側の検出力不足、実験条件の微妙な違い、文化差など複数の理由がありうる。この論文自体、どちらとも断定していない。

対象は2008年の3誌に限られる。分野全体、時代全体の数字ではない。この論文をきっかけに手続きは改善されてきてもいる。

「面白い研究ほど疑え」は、僕がこの結果から引いた実践ルールであって、論文の主張そのものではない。

それでも、有意な結果がそのまま事実の確定ではないという一点は、この論文以降ごまかせなくなった。論文を読む側の姿勢が変わるべきだ、という意味では、ここで紹介したどの研究よりも影響が大きいかもしれない。