巨大化したら“例を見せるだけ”で動き出したAI｜GPT-3
AI に新しい仕事をさせるには、その仕事専用の訓練が必要——その常識を、2020 年の GPT-3 が覆しました。1750 億個ものパラメータまで巨大化させると、いくつか例を見せるだけで翻訳も計算もこなし始めたのです。やさしく解説します。
少し前まで、AI に新しい仕事をさせるのは手間のかかる作業でした。「翻訳をさせたいなら翻訳用に」「文章分類をさせたいなら分類用に」と、**仕事ごとに専用の追加訓練（学習データの用意と再調整）**が必要だったのです。
ところが 2020 年、OpenAI の GPT-3 が、この常識をあっさり覆します。やったことは、ある意味とてもシンプル。言語モデルを、とにかく桁外れに巨大化させたのです。
何をした研究なのか
GPT-3 は、文章の「次に来る単語」をひたすら予測するよう訓練された AI です。仕組み自体は目新しくありません。新しかったのは、その 規模でした。
- パラメータ（AI 内部の“つまみ”）の数は 1750 億個
- これは、それまでの同種モデルの 約 10 倍
- 学習にはインターネット規模の膨大な文章を使用
「ただ大きくしただけで、何か変わるの?」——多くの人がそう思いました。ところが、変わったのです。
何がすごいのか
巨大化した GPT-3 は、専用の訓練なしで、いろいろな仕事をこなし始めました。しかもそのやり方が面白い。
- プロンプト（指示文）の中に、お手本をいくつか書いて見せるだけ
- たとえば「英語→フランス語」の例を 2〜3 組示すと、続けて新しい単語も訳せる
- 例を見せずに指示だけでも、ある程度こなせる
この「数個の例を見せるだけで新しい仕事に適応する」能力は Few-shot（フューショット）学習 と呼ばれます。人間が「こういう感じでやって」と例を示されて要領をつかむのに、とてもよく似ています。翻訳、簡単な計算、文章の穴埋め、さらには単語の並べ替えまで——追加学習なしで、その場でやってのけました。
いちばん面白いのはここ
GPT-3 がつきつけたのは、**「規模そのものが、新しい能力を生む」**という事実でした。小さなモデルにはできなかった芸当が、巨大化させると“ひとりでに”現れる。この現象は、のちに「創発（emergence）」とも呼ばれ、AI を大きくする競争に火をつけました。
そして何より、「AI に例を見せて頼む」という今のおなじみの使い方は、この GPT-3 で一気に広まりました。ChatGPT に話しかけて仕事を頼む——あの体験の原型が、ここにあります。
ひとつ注意
巨大化は万能ではありません。GPT-3 は、もっともらしく事実と違うことを自信たっぷりに言うことがあり、学習データに含まれる偏りもそのまま引き継ぎます。また、巨大なモデルを動かすには相応の計算資源とコストがかかります。「大きい＝賢い」だけでは語れない課題も、同時に浮かび上がりました。
持ち帰り
「仕組みは同じでも、規模を変えると質が変わる」。GPT-3 は、その驚きを世界に示し、私たちの AI の使い方そのものを変えました。今あなたが AI に“例を見せて”仕事を頼めるのは、この研究の延長線上にあります。
大規模言語モデルの業務活用やプロンプト設計のご相談は、お問い合わせからどうぞ。