「有意差あり」は、あなたが知りたいことに答えていない

一言でいうと

心理統計の大御所が、みんなが毎日使っている有意性検定は、そもそも問いを取り違えている、と正面から書いた。p値が答えているのは「効果が無いと仮定したときにこのデータが出る確率」で、私たちが本当に知りたい「このデータのとき効果がある確率」ではない。この二つは、別物である。

論文が実際に言っていること

短く、皮肉のきいた論説だ。標的は、帰無仮説有意性検定（NHST）という、心理学の標準手続きそのものである。

まず、p値の向きの取り違えを突く。検定が出すのは「帰無仮説が正しいときにデータがこうなる確率」P(データ｜効果なし)。研究者が欲しいのは「データを見た後で効果がある確率」P(効果あり｜データ)。この二つを入れ替えるのは、条件付き確率の初歩的な誤りなのに、分野ぐるみで犯している、と指摘する。

タイトルの「地球は丸い（p < .05）」は、この皮肉だ。地球が丸いのは有意水準の話ではない。有意かどうかと、本当かどうか、大事かどうかは、それぞれ別の問いだ。

さらに二点を重ねる。第一に、帰無仮説（効果がちょうどゼロ）はたいてい厳密には偽で、サンプルを増やせばいつかは有意になる。だから有意性は、効果の存在ではなく検出力の話になりがちだ。第二に、有意かどうかは効果の大きさを何も語らない。

では何をすべきか。著者は、検定に依存するのをやめ、効果量と信頼区間で語れ、そして図を見て、結果は再現によって確かめよ、と勧める。

だから、どう生きるか

「差があった」で止まらず、「どれくらいの差か」を必ず聞く。

これは日常の判断にそのまま効く。ある方法、ある薬、ある教育法に「効果が確認された」とある。そこで止めず、効果はどれくらい大きいのかを探す。有意でも、実生活では無視できるほど小さいことは珍しくない。逆に、はっきり大きい効果なら、少ないデータでも見えている。大きさの無い「効いた」は、ほとんど情報がない。

問いの向きを、自分で立て直す。

p値の取り違えは、専門家だけの間違いではない。「この検査が陽性だった、だから病気だ」も同じ形の誤りだ。知りたいのは「陽性のとき病気である確率」なのに、検査が保証するのは「病気のとき陽性になる確率」でしかない。両者は、病気の事前確率が低いほど大きくずれる。数字を見せられたら、それはどちら向きの確率か、を一度止まって確かめる。

一発の有意より、繰り返しを信じる。

著者が最後に置く処方は素朴だ。確かめたいなら、もう一度やれ。一回の有意は偶然でも出る。同じことが独立に何度も出るなら、それは事前確率を押し上げる。単発の派手な結果より、地味な再現のほうを信用する、という姿勢は、AIがもっともらしい単発の主張をいくらでも生成する時代に、いっそう効く。

ここからは僕の飛躍だ

これは論説であり、新しいデータや実験はない。主張は統計哲学の議論の一部で、NHSTを擁護する側の反論もある。検定を完全に捨てるべきかは、今も決着していない。

「検査が陽性→病気」の例は、著者の議論と同じ確率の取り違えだが、この論文自体が挙げた例ではない。僕が身近な形に置き換えた。

それでも、p値が答えている問いと私たちが知りたい問いが違う、という一点は、揺らがない事実だ。ここを一度意識すると、数字の読み方が変わる。Ioannidis の議論は、この取り違えを分野全体の帰結として展開したものと読める。