この記事は、構成と文章の整理にAIを使っています。
あくまで読みやすくするための補助で、内容そのものをAIにすべて任せて書いているわけではありませんが、ところどころ相談しながら整えています。

何が起きたか

「今のLLMブームってTransformer論文が火をつけたって理解でいいの？」という話になったので、時系列で整理してみた。

経緯

2017年の“Attention Is All You Need”がRNN/CNNに代わる自己注意ベースの並列学習を示したのは間違いない。ここがLLMの土台になったのは事実だった。ただ、それだけで今のブームまで一直線だったわけではなく、間に何段階か積み重なってる。

流れはこんな感じ。

graph TD
    A["2012: AlexNet（深層学習ブレークスルー）"] --> B["2014: Seq2Seq + Attention"]
    B --> C["2017: Transformer（Attention Is All You Need）"]
    C --> D["2018: BERT / GPT（大規模事前学習の実証）"]
    D --> E["2020: スケーリング則（Kaplan et al.）"]
    D --> F["2020: 拡散モデル / Vision Transformer"]
    F --> G["2021: CLIP"]
    E --> H["2022: Chinchilla（計算最適化）"]
    D --> I["2022: RLHF + InstructGPT"]

• Transformer（2017）：並列学習可能な自己注意機構を提示
• BERT・GPT（2018）：「大規模事前学習→下流タスク適用」の型を確立
• スケーリング則（2020）とChinchilla（2022）：モデルを大きく・長く学習させるほど良くなることを定量化。ここがモデル巨大化の直接の後押しになってる
• RLHF＋InstructGPT（2022）：人が使える対話AIにする決定打

RLHFまわりは一点補足が必要だった。よく引用される1706.03741の論文は、言語モデル特化のRLHFではなく、人間の選好で強化学習する手法（Christiano et al., 2017）そのものの元祖。OpenAIがこれを言語モデルに応用したのが後のInstructGPT、という順序の方が正確らしい。

あと画像生成側（拡散モデル2020、CLIP 2021、Vision Transformer 2020）はTransformer論文の直接の効果というより、別軸で並走してきた技術。ここを一緒くたにするとちょっとミスリードになる。

系譜としてはAlexNet（2012）やSeq2Seq+Attention（2014）まで遡れる。Transformerはその延長線上にある、という位置づけ。

結論

Transformer論文が大きな引き金だったのは事実。ただし今の到達点は、それ単独ではなく、計算資源・データ量・学習手法（RLHF等）・画像側の拡散モデルなど、複数の要因が積み重なった結果だった。「Transformerがすべての起点」という単純化はやや不正確で、「Transformerが火をつけて、その後の複合要因が加速させた」くらいの理解が実態に近い。