脳は「予想どおり」には反応しない。外れたときだけ学ぶ

一言でいうと

ごほうびを予告なしに与えると、ドーパミン細胞が強く発火する。だが、合図のあとに必ずごほうびが来ると学習させると、細胞は合図のほうに反応し、ごほうび自体には反応しなくなる。そして、予告されたごほうびが来ないと、発火は基準を下回る。ドーパミンは快楽ではなく、予想と現実のズレを伝えていた。

論文が実際に言っていること

サルの中脳のドーパミン細胞を記録した一連の実験を、理論とともにまとめた総説である。

観察された発火のパターンは、3つに整理できる。

第一に、予期しないごほうびを与えると、ドーパミン細胞は強く発火する。第二に、ある合図の直後に必ずごほうびが来ることを学習すると、発火は合図の時点に移り、ごほうびそのものにはもう反応しなくなる。すでに分かっていることには、反応しない。第三に、合図のあとに来るはずのごほうびが来なかったとき、発火はちょうどその時刻に、基準を下回って落ち込む。

著者らは、この3つが「予測誤差（reward prediction error）」という一つの量でぴたりと説明できることを示した。ドーパミンが伝えているのは「報酬そのもの」ではなく「予想していたより、どれだけ良かったか／悪かったか」だ。予想どおりなら、ズレはゼロ。信号も出ない。

これは、機械学習の強化学習で使われていた計算（時間差学習）と一致していた。脳が、理論的に導かれた学習則を、実際に神経の発火として実装していた。

だから、どう生きるか

学びは、予想が外れた瞬間にしか起きない。

これがこの論文の芯だ。脳は、予想どおりの入力からは何も更新しない。ズレ、つまり驚きだけが、学習の信号になる。だから、すでに分かっていることをなぞる勉強は、気持ちよくても、脳にとっては信号ゼロだ。教科書を読み返して「知ってる、知ってる」と感じているとき、まさにその「知ってる」という感覚が、学びが起きていない証拠でありうる。

伸びるのは、間違える場所にいるときだ。少し難しく、時々予想を外す——その縁に自分を置く。快適に正解できる範囲にとどまるほど、ドーパミンの学習信号は出なくなる。

予想を、先に声に出す。

この論文を実践に落とすと、こうなる。答えを見る前に、自分の予想を確定させる。当たれば「やはり」、外れれば予測誤差が立って脳が更新する。どちらに転んでも、予想してから確かめた人だけが、ズレの信号を受け取れる。予想せずに答えだけ見た人は、正解を眺めても、脳の中では何も動いていない。

AIに答えを聞く前に、必ず自分の答えを置く。

いまの文脈では、ここが決定的になる。AIは、予想する隙を与えずに、完成した答えを差し出す。予測誤差が立つ前に正解が来る。すると、なめらかに理解した感じはするのに、脳は更新されない。この論文が示した学習の仕組みからすると、それは当然の帰結だ。順番を変えるだけでいい。まず自分の予想を書く。それからAIに問う。同じ答えでも、ズレを一度作った後に見たものだけが、残る。

ここからは僕の飛躍だ

この研究の記録はサルの中脳で、扱っているのは主に単純なごほうび（ジュース）に対する反応だ。人間の複雑な学び——概念の理解や技能の習得——に、同じ信号が同じ形で効くと決めつけることはできない。

ドーパミンの役割は報酬予測誤差だけではないという議論も、その後さかんに続いている。「快楽の物質」という俗説を覆した意義は大きいが、これで全部が分かったわけではない。

「AIに聞く前に予想を書け」は、この学習則から僕が引いた実践で、この論文が助言していることではない。

それでも、予想どおりの入力は脳を更新しない、驚きだけが学習の信号だ、という中核は、その後の膨大な研究で支えられている。快適に「知ってる」となぞる時間を、意図的に「予想して外す」時間に変えること。それがこの一本の使いどころだと思う。