巨大なAIの中に眠る「当たりくじ」｜宝くじ仮説の話
学習済みの巨大ニューラルネットは、9 割以上を捨てても性能が落ちない——その中には「当たりくじ」と呼べる小さな部分回路が隠れていた。2019 年に最優秀論文に輝いた「宝くじ仮説」を、やさしく解説します。
最近の AI は、とにかく巨大です。何百万、何億という“つまみ”（パラメータ）を持ち、それを少しずつ調整して賢くなっていきます。ところが昔から、不思議な事実が知られていました。学習が終わったネットワークは、その 9 割以上を切り捨てても、ほとんど性能が落ちないのです。
ならば最初から小さく作ればいいのに——そう思いますよね。でも、小さいネットワークをいきなり一から学習させると、なぜかうまくいかない。大きく作って後から削ると成功し、最初から小さいと失敗する。この謎に、ひとつの鮮やかな説明を与えたのが、2019 年の **「宝くじ仮説（Lottery Ticket Hypothesis）」**でした。
何をした研究なのか
MIT の Jonathan Frankle と Michael Carbin は、こんな仮説を立てました。
大きなネットワークの中には、最初から“当たりくじ”を引いていた小さな部分回路が隠れている。学習が成功するのは、その当たりくじが育つからだ。
ニューラルネットは学習を始める前、すべてのつまみがランダムな初期値に設定されます。研究チームが注目したのは、まさにこの「最初のランダムな配り方」でした。
実験の手順はこうです。
- 大きなネットワークをふつうに学習させる
- 役に立たなかったつまみ（9 割以上）を削り、小さな部分回路だけ残す
- 残ったつまみを、学習前の“あのときのランダムな初期値”に巻き戻す
- その小さな回路だけを、一から学習し直す
何を見つけたのか
すると、その小さな回路は——元の巨大ネットワークと同じくらいの精度に、しかも同じくらいの速さで到達したのです。
決め手は手順 3 でした。
- 元の初期値に巻き戻すと、ちゃんと当たりくじとして育つ
- ところが、同じ形のまま初期値だけ新しくランダムに振り直すと、とたんに育たなくなる
つまり、当たりくじの正体は「回路の形」だけではなく、“最初に配られたランダムな初期値”との組み合わせだったのです。大きく作るのは、たくさんのくじを同時に買って、当たりを引き当てる確率を上げるためだった——そう考えると、長年の謎がきれいに説明できます。
いちばん面白いのはここ
この研究は、AI を「とにかく大きくすれば強い」というだけの世界から、**「中に隠れた“効く部分”を見つける」**という新しい視点へ広げました。ICLR という難関学会で 最優秀論文に選ばれたのも納得です。
実用的にも大きな意味があります。当たりくじを見つけられれば、小さく・軽く・省エネで動く AI を作れるかもしれない。スマホや小型機器で AI を動かしたい現場にとって、これは魅力的な方向性です。
ひとつ注意
「当たりくじを最初から狙い撃ちできれば最高」なのですが、当たりくじを探すには、いったん大きく学習してから削る手間が必要で、そこが難しいところです。また、超大規模なモデルでそのまま同じように当たりくじが見つかるかは、その後も活発に研究が続いています。夢のある仮説であると同時に、まだ開拓途中のテーマでもあります。
持ち帰り
「大きいことはいいことだ」の裏で、AI の中には驚くほど小さな“本質”が眠っているかもしれない——。宝くじ仮説は、巨大化が止まらない AI に「無駄を削ぎ落とす」という別の問いを投げかけた、示唆に富む一本です。
軽量な AI 実装やモデルの最適化に関するご相談は、お問い合わせからどうぞ。