分析を少しいじるだけで、何でも「有意」にできる

研究者の自由度とp値ハッキング

紹介動画は準備中

一言でいうと

著者らは、ビートルズの曲を聴くと実年齢が1歳半若くなるという結果を、統計的に有意な形で出してみせた。もちろん、そんなことは起きていない。データを見ながら分析の細部を決められる状態にあると、この程度のことは簡単に起きる、という実演である。

論文の中心は「研究者の自由度（researcher degrees of freedom）」という概念だ。研究には、事前に一意に決まっていない選択がいくつもある。

一つひとつは不正の意識すらない、ありふれた判断である。しかしシミュレーションで組み合わせると、本当は効果がゼロなのに有意になる確率が、名目上の5%から61%まで跳ね上がった。

そして著者らは、実際に被験者を集めて、この自由度を使うだけで「ビートルズの曲を聴くと若返る」という結論に到達してみせた。データも分析も捏造していない。選択をしただけである。

論文の後半は、著者への6つの要件と査読者への4つの指針の提案になっている。データ収集の停止規則を先に決めて公表する、除外した観測値を報告する、といった内容だ。

自分の生活実験でも、先に基準を決める。

睡眠時間、集中の方法、勉強のやり方。自分で試して効果を見る、というのは良い習慣だが、この論文が示した罠はそのまま当てはまる。

「効いた気がするまで測り続ける」と、必ず効く。調子の悪かった日を「あの日は体調が悪かったから」と外すと、もっと効く。指標を後から選べば、確実に効く。何もしていなくても、そうなる。

だから、始める前に紙に書く。何日やるか、何で測るか、どうなったら失敗と認めるか。 3つ書くだけで、自分を騙す余地がかなり減る。

AI は、この罠を巨大にする。

データを集めるのも、切り口を変えて何十通りも分析し直すのも、今はほとんどコストがゼロだ。「他の見方でも分析して」と言えば、いくらでも出てくる。そのうち一つは必ず綺麗な結果になる。

道具が速くなったぶん、事前に決めておくことの価値だけが上がった。

そして、論文を読むときの目が一つ増える。

有意だったかどうかより、その分析は最初から決まっていたのかを見る。事前登録されているか、サンプルサイズの根拠が書かれているか。書かれていないなら、p 値の意味は額面より弱い。

この論文の中核はシミュレーションと概念実証である。「心理学の論文の61%が偽陽性だ」とは言っていない。あくまで、自由度を野放しにすればそこまで行きうる、という上限の話だ。

ビートルズの実験は、意図的に作られたデモである。

生活実験への応用は僕が広げた話で、この論文は個人の自己実験については何も述べていない。ただ、n が小さく、測る人と結果を望む人が同一人物である以上、条件はむしろ悪いと思っている。

この論文は、心理学の再現性を大規模に測った研究と合わせて読むと効く。なぜ再現しないのか、その機構の側を書いたのがこちらだ。