AIは“丸暗記”のずっと後で、突然ひらめく｜「グロッキング」という謎
答えを丸暗記し終えたAIを、無駄と知りつつ何千回も訓練し続ける。すると、とっくに学習が止まったはずのある瞬間、突然「本質」を理解してしまう——。2022年にOpenAIの研究者が報告した不思議な現象「グロッキング」を、一般向けにやさしく解説します。
テスト前夜、答えを丸暗記した学生がいたとします。応用問題は解けません。ふつうは、そこで話は終わりです。
ところが——丸暗記したその学生を、意味がないと分かっていながら、何千回も同じ勉強を繰り返させ続けたら、ある日とつぜん「あ、そういうことか」と本質を理解してしまった。そんな奇妙なことが、AI で実際に起きます。2022 年に OpenAI の研究者が報告した 「グロッキング（grokking）」 という現象です。
何が観察されたのか
研究チームは、足し算や割り算のような 小さな規則的データ で、小さなニューラルネットを訓練しました。観察されたのは、こんな経過です。
- 暗記フェーズ：AI はすぐに訓練データを丸暗記し、訓練の成績は満点に。でも、見たことのない問題（テスト）はまるで解けない＝過学習の典型
- 停滞フェーズ：ここで普通はやめる。学習は止まったように見える。それでも訓練を続ける
- 突然のひらめき：そして、何百〜何千回もあと、テストの成績が いきなり跳ね上がり、ほぼ満点に達する
ゆるやかに賢くなるのではなく、長い停滞のあとに 崖を駆け上がるように一気に 汎化（＝未知の問題を解く力の獲得）が起きる。論文タイトルそのままに、「過学習の、その先」で起きた出来事です。
なぜ「ひらめく」のか
たとえ話で言えば、こうです。AI は最初、答えを覚えるという手抜きルートで満点を取ります。ラクだからです。ところが訓練を延々と続けると、「覚える」よりも「規則そのものを表現する」ほうが、内部的には“シンプルで効率的”になっていく。
その閾値を超えた瞬間、AI の内部表現が 暗記モードから理解モードへ相転移 する——というのが、その後の研究で有力になった解釈です。水が 0℃ で一気に氷になるように、連続的な訓練の中で、質的な変化が 不連続に 現れるわけです。
なぜ面白いのか
この現象は、AI 研究に二つの問いを突きつけました。
- 「学習が止まった」は本当に止まったのか？ 表面上の成績が動かなくても、内部では“理解”に向けた変化が静かに進んでいるかもしれない
- 賢さはいつ訪れるか分からない。 同じ訓練でも、ひらめきの瞬間は予測しづらい
「もう伸びないから打ち切ろう」という判断が、ひらめきの一歩手前で諦めることだったとしたら——。グロッキングは、私たちの「学習の常識」をやさしく揺さぶります。
ひとつ注意
グロッキングは、主に 小さくて規則的な問題 で鮮明に観察された現象です。あらゆる AI 訓練でいつも起きるわけではありません。とはいえ「暗記と理解は地続きで、その境目は相転移的に訪れることがある」という洞察は、AI がどう賢くなるのかを考えるうえで示唆に富みます。
持ち帰り
「丸暗記しているだけに見えても、内部では理解が育っているかもしれない」。これは AI に限らず、学びというものの不思議をそのまま映しているようで、つい誰かに話したくなります。表面の数字だけでなく、何が内部で起きているのかを見ようとする姿勢——私たちがデータと AI に向き合うときも、大切にしている視点です。
データ解析や AI 開発のご相談は、お問い合わせからどうぞ。