統計学会が公式に「p値をそう使うな」と言った

一言でいうと

2016年、米国統計学会（ASA）が、創立からおよそ180年で初めて 統計手法の使い方そのものについて公式声明を出した。 対象は p値だった。 中身は驚くようなものではない。「p値は仮説が正しい確率ではない」といった、 教科書の1行目に書いてあるはずのことばかりだ。 それを学会が声明の形で出さなければならなかった、という事実のほうが重い。

論文が実際に言っていること

ワッサースタインとラザーが取りまとめた、ASAの公式声明とその背景説明だ。 20人以上の統計学者による議論を経て作られている。

まず p値の定義が確認される。 p値とは、特定の統計モデルのもとで、 データの要約が観測された値以上に極端になる確率だ。 そのうえで、6つの原則が示される。

1. p値は、データが特定の統計モデルとどれだけ両立しないかを示せる
2. p値は、仮説が正しい確率ではない。 また、データが偶然だけで生じた確率でもない
3. 科学的な結論や意思決定を、p値が閾値を超えたかどうかだけで決めてはならない
4. 適切な推論には、完全な報告と透明性が要る。 都合のいい分析だけを選んで報告すると、p値の意味は失われる
5. p値は、効果の大きさも結果の重要性も測っていない
6. p値だけでは、仮説についての証拠の良し悪しを測れない

3番目と4番目が、実務ではとくに効く。 「p < .05 なら発表、そうでなければお蔵入り」という運用が、 分析の自由度を悪用する誘因を生み、 検出力の低い研究が量産される背景になった。

声明は代替手段にも触れている。信頼区間、効果量、尤度比、ベイズ的手法、 そして事前登録。ただし「これに置き換えれば解決」とは書いていない。 むしろ単一の指標に判断を委ねること自体が問題だ、というのが主旨だ。

背景説明では、こうも述べられている。 p値を捨てる必要はない。捨てるべきは、 「有意かどうか」で科学的な結論を二分する習慣のほうだ。

だから、どう生きるか

研究者でなくても使える。ニュースや記事で「研究によると」に出会ったときの読み方が変わる。

1. 「有意差があった」で止まらず、大きさを探す。 何%変わったのか、何点上がったのか。 書いていなければ、その記事は結論を伝えていない。 「有意」は差の大きさについて何も言っていない。

2. 幅を探す。 信頼区間が書いてあれば、そこを見る。 「効果は5〜40%」と「効果は18〜22%」では、同じ点推定でも意味が違う。

3. その分析だけが行われたのかを疑う。 少しいじれば何でも有意にできる。 事前登録されているか、他の指標はどうだったかが書かれているか。 書かれていないなら、選ばれた1つを見せられている可能性がある。

4. 「そもそもありそうな話か」を挟む。 p値だけでは結論に届かない。 事前確率——その仮説がもともとどれくらいありそうか——を挟んで初めて、 知りたい結論に近づく。驚くほど、確からしさは下がる。

5. 1本の論文で生き方を変えない。 追試があるかを確認する。 これは俗説の見分け方とそのまま同じ手順だ。

ここからは僕の飛躍だ

ここからは僕の解釈だ。この声明でいちばん重いのは中身ではなく、 当たり前のことを学会が言わねばならなかったという事実だと思っている。 6つの原則は、どれも統計の教科書に書いてある。 にもかかわらず、実際の運用は何十年も別の方向に進んだ。 知識があることと、それが使われることは、まったく別だ。

なぜそうなったか。僕は、閾値が便利すぎたからだと思っている。 0.05という線は、査読を通すか、発表するか、採用するかを機械的に決められる。 判断を数字に外注できる。 そして外注された判断は、外注した人には見えなくなる。 これは統計に限らない。KPI、評価指標、スコア。 一次元に潰した瞬間に、潰された次元は議論から消える。

AIの時代には、この構図がもう一段強くなると思っている。 判断を数値化して外に出すのが、さらに簡単になるからだ。 だからこそ、この声明の3番目—— 「科学的な結論を、閾値を超えたかどうかだけで決めてはならない」——は、 p値以外の場面にもそのまま流用できる原則だと考えている。

研究の限界、というより性質を書いておく。 これは実験でも観察研究でもなく、合意文書だ。 新しい事実を報告しているのではなく、既知の内容を公式化している。 だからここに書かれていることは「証拠」ではなく「規範」であり、 どこまで実務を変えたかは別の問題だ。 実際、声明の後も p < .05 の運用は広く残っている。 また、代替として挙げられた手法にもそれぞれ批判があり、 「p値をやめてベイズにすれば解決」という単純な話でもない。 確かなのは、単一の指標に判断を委ねるのをやめるという方向までだ。