いまの生成AIは、ぜんぶこの論文から始まった｜Transformer

ChatGPT のような対話 AI、文章から絵を描く画像生成 AI、自動翻訳——。ここ数年で一気に花開いた AI たちは、見た目こそバラバラですが、根っこをたどると同じ 1 本の論文に行き着きます。

2017 年、Google の研究チームが発表した、その名も 「Attention Is All You Need（注意さえあればいい）」。提案された仕組みは Transformer（トランスフォーマー） と呼ばれ、今や AI 界の“共通エンジン”になっています。

何をした研究なのか

それまで、文章を扱う AI は単語を一語ずつ順番に読むのが主流でした。人間が文を左から右へ読むのに近い方式です。ただこのやり方には弱点がありました。

• 文が長くなると、前のほうの内容を“忘れて”いきやすい
• 一語ずつ順に処理するので、計算をまとめて並列にこなしにくい（＝学習が遅い）

Transformer は、この「順番に読む」をきっぱりやめました。代わりに採用したのが アテンション（注意機構） という仕組みです。

アテンションとは何か

アテンションをひとことで言うと、**「いま見ている単語が、文中のどの単語と強く関係しているかに“注意”を向ける」**仕組みです。

たとえば「それを冷蔵庫にしまった」という文で「それ」が何を指すのか。Transformer は文全体を一度に見渡し、「それ」がどの単語と結びつくかを重み付けして判断します。一語ずつ順に読むのではなく、全体の関係を同時に捉えるのです。

しかもこの計算は、まとめて並列に処理できます。だから、巨大なデータでも高速に学習できる——ここが決定的でした。

いちばんすごいのはここ

Transformer の偉さは、「翻訳がうまくなった」ことだけではありません。その後の AI がほぼすべて、この設計を土台に作られたことです。

• 文章を理解する BERT
• 文章を生成する GPT（ChatGPT の “T” は Transformer の T）
• さらには画像・音声・タンパク質まで、応用は分野を越えて広がった

たとえるなら、Transformer は **AI 時代の“内燃機関”**のような発明でした。一度この強力なエンジンができたことで、各社がそれを積んださまざまな“車”（モデル）を、競うように作れるようになったのです。

ひとつ注意

Transformer は強力ですが、万能の魔法ではありません。文章が長くなるほど計算量がふくらみやすく、動かすには大量の計算資源が要ります。今もこの弱点を補う改良（より長い文脈を効率よく扱う工夫など）が、世界中で活発に研究されています。

持ち帰り

派手な AI の話題の裏には、たいてい地味だけど決定的な“土台の発明”があります。Transformer はまさにそれ。話題の生成 AI を見かけたら、「これも 2017 年のあの論文の子孫なんだな」と思うと、ニュースの見え方が少し変わるはずです。

AI 活用や言語モデルの導入のご相談は、お問い合わせからどうぞ。

---

出典

• Attention Is All You Need（Vaswani et al., NeurIPS 2017 / arXiv）