心理学の話は、どこまで信じていいのか

「心理学の研究によると」で始まる話は、たいてい面白い。面白いのだが、 その相当部分は再現していない。ここでは何がどう壊れているのかを順に見て、 最後に素人でも使える見分け方まで落とす。 断っておくと、このサイトの記事もこの検査の対象だ。

まず、事実として何割再現したのか

2015年、心理学の主要誌に載った論文100本を、別のチームが同じ手続きで追試した。 再現したのは、およそ4割だった。 効果量の平均も、元の研究の半分ほどに縮んでいた。

大事なのは、これが不正の話ではないことだ。捏造した人はほとんどいない。 普通に真面目にやった研究が、普通に再現しなかった。だから問題は個人ではなく、 研究のやり方と発表のされ方のほうにある。

偽陽性は、悪意なしに作れる

その仕組みを実演してみせたのが研究者の自由度の論文だ。 著者たちは、分析の途中でごく普通の判断——どの変数を使うか、どこでデータ収集をやめるか、 外れ値をどう扱うか——を後から選べるようにするだけで、 「ビートルズの曲を聴くと若返る」という結論を統計的に有意にしてみせた。

一つ一つの判断は、どれも不自然ではない。だが判断のたびに小さな自由度が積み上がり、 偽陽性の確率は5%どころではなくなる。 これが p値ハッキングと呼ばれるもので、やっている本人に自覚が無いことが多いのが厄介なところだ。

p値は、知りたいことに答えていない

そもそも p値が何を意味しているのか、という話もある。 「地球は丸い（p < .05）」は、 有意性検定への最も有名な批判の一つだ。

p値は「仮説が正しい確率」ではない。 「仮説が間違っていると仮定したとき、これくらい極端なデータが出る確率」だ。 知りたいのは前者なのに、答えているのは後者になっている。 この二つは、前提となる確率——その仮説がそもそもありそうかどうか——を挟まないとつながらない。

そして「有意差あり」は「差が大きい」でもない。 サンプルを増やせば、実用上どうでもいい差でも有意になる。 見るべきは p値ではなく、効果の大きさと、その不確かさの幅だ。

この状況は、統計の専門家の側からも公式に問題視された。 2016年、米国統計学会が創立以来はじめて統計手法の使い方について声明を出し、 p値についての6つの原則を示している。 「p値は仮説が正しい確率ではない」「p値は効果の大きさを測っていない」 「科学的な結論を、閾値を超えたかどうかだけで決めてはならない」。 どれも教科書の1行目に書いてあるはずのことだ。 それを学会が声明として出さねばならなかった、という事実のほうが重い。

小さい研究は、当たっていても信じられない

検出力不足の論文は、神経科学の研究の 統計的検出力の中央値が2割前後しかないことを示した。 本当に効果があっても、8割の確率で見つけられない設計で走っている。

ここで直感に反することが起きる。検出力が低い分野で「有意」が出た場合、 それが本物である確率は下がる。小さい研究で有意になるには、 たまたま大きく振れる必要があるからだ。だから効果量は過大に出る。

「小さいけれど驚くべき結果が出た研究」は、驚くべき度合いに比例して疑ったほうがいい。

発表されたものの大半は間違っている、という試算

これらを積み上げて、発表された研究結果の大半は間違っていると 論じたのが2005年の有名な論文だ。効くのは4つ。 研究が小さいこと、効果が小さいこと、検証されている仮説の数が多いこと、 そしてその分野がどれくらい「ありそうもない仮説」を試しているか。

裏返せば、信頼できる条件も見える。大きなサンプル、事前に登録された分析計画、 複数チームによる追試、そして「言われてみれば当たり前」の仮説。 派手さと確からしさは、だいたい逆を向いている。

有名な話ほど、あとから痩せている

具体例を三つ挙げる。どれもこのサイトで扱った論文だ。

マシュマロテストは「我慢できる子は成功する」という 物語として広まったが、家庭環境を統制した追試では効果はかなり小さくなった。

限界的練習は「1万時間で一流になれる」と要約されたが、 元の論文はそんな主張をしていない。効いていたのは時間ではなく練習の質だった。 要約された時点で、別の主張になっている例だ。

怒りの発散にいたっては、実験結果は逆を向いていた。 サンドバッグを殴った人は、怒りが収まるどころか、その後の攻撃性が上がった。 それでも「発散するとスッキリする」という通説のほうが生き延びている。

痩せ方がもっと徹底している例も2つ挙げておく。 表情フィードバック—— ペンを歯で咥えると漫画が面白く感じる——は、 17の研究室による事前登録つきの追試で再現しなかった。 自我消耗——意志力は使うと減る——も、 大規模な追試で効果はほぼ検出されていない。

どちらも不正ではない。正しく実施され、正しく報告された研究が、 20年以上たってから別の答えを出された。 いま確立していると思っている知見のいくつかも、同じ道を通る。

診断のラベルも、例外ではない

ローゼンハン実験は、 健康な人が「声が聞こえる」とだけ訴えて精神病院を受診したところ、 全員が入院となり、その後は正常にふるまっても退院が難しかったことを報告した。 いったん貼られたラベルが、その後の観察のすべてを色づけていく。

この研究自体、近年その手続きに疑義が呈されている。それも含めてここに置く価値がある。 「批判的な古典もまた検証の対象になる」というのが、この分野の現在地だからだ。

なぜ、当たっている気がするのか

最後に読み手側の話をする。 バーナム効果は、全員に同じ文章を配っても、 ほとんどの人が「自分によく当たっている」と評価することを示した。 誰にでも当てはまる曖昧な記述は、自分だけに当てはまるように読める。

心理学の通俗的な話が広まりやすいのは、内容が正しいからとは限らない。 「当たっている感じ」がするからだ。 手応えは、証拠ではない。

読み手のチェックリスト

記事や本で「研究によると」に出会ったら、この順に確認する。

1. 何人でやったか。 二桁前半なら、結論は保留する
2. 追試はあるか。 一本の有名な研究だけで語られていないか
3. 効果はどれくらいか。 「有意」ではなく、差の大きさが書いてあるか
4. その主張は、驚きすぎていないか。 驚くほど確からしさは下がる
5. 要約が原著と同じことを言っているか。 「1万時間」のような劣化が起きていないか
6. 反対の結果を出した研究は探したか。 出てこないのではなく、探していないだけかもしれない

このサイトについても、同じことを言う

ここで紹介している論文にも、古いもの、サンプルの小さいもの、 その後に追試で揺れているものが混ざっている。 だから各記事では最後に必ず研究の限界を書くことにしているし、 「論文が言っていること」と「僕の解釈」を節で分けている。

それでも、紹介する時点で選別が入っている以上、偏りはある。 このガイドは、その偏りごと疑うための道具として置いておく。 一番危ないのは、書いた側が自分だけは大丈夫だと思うことだ—— それはまさにバイアスの盲点そのものなので。

AIに要約させると、この手当ては真っ先に落ちる。 サンプルサイズも、追試の有無も、限界の節も、要約では消える。 残るのは、いちばん驚きのある一文だ。 その一文だけが拡散していく構造になっている。