Transformerの限界に挑む新興4社、次世代LLMの主役は誰か

Transformerの限界

LLMの中核であるTransformerは、テキスト内の全トークン同士を比較するdense attention（高密度注意機構）に依存している。10,000語の文書では5,000万回の乗算が必要になるという。この計算量が電力消費の大きさにつながり、OpenAIは今年、計算資源に500億ドルを投じる見込みだと報じられている。

また、Transformerは逐次的にテキストを処理するため、コンテキストウィンドウ（一度に保持できる情報量）を大きくするのが苦手だ。推論モデルは自分へのメモ書き（チェーン・オブ・ソート）を読み返すため、さらにデータ量が増える。こうした根本的な問題が、新興企業の参入を招いている。

アテンションを改良する2社

まずSubquadraticは、全トークンではなく一部の組み合わせだけを計算するスパース注意機構を開発した。同社のモデルSubQは、検索やコーディングなどのタスクで主流LLMと同等の性能に達したと主張するが、業界には懐疑的な見方もある。数千人がウェイトリストに登録しており、早期公開が計画されている。

Manifest AIは別の角度から、アテンションの代わりにパワーリテンションと呼ぶ仕組みを採用する。これはコンテキストウィンドウの要約を保持し、重要でない情報を落とす方式だ。既存のTransformerモデルを最小限の再学習で変換できるとし、StarCoderを変換したPowerCoderや、Brumbyという新モデルを発表している。BrumbyはAlibabaのQwenの一部バージョンに匹敵すると主張する。

モデル構造の見直し

Liquid AIはTransformerを完全に捨てず、自社の液体ニューラルネットワークと組み合わせたハイブリッドモデルを開発している。モデルの20%がTransformer、80%が液体ニューラルネットワークで構成される。液体ニューラルネットワークは、モデルが動作中に学習を続けられる仕組みで、車載チップやRaspberry Piでも動く。同社は設計AIを使って最適な構成を自動探索している。

Inceptionは画像生成で使われる拡散モデルをテキスト生成に応用する。テキストを単語単位でなく、文や段落ごとに同時生成するため、高速化と低コスト化が図れる。同社のMercury 2はOpenAIのGPT-4に匹敵し、10倍高速だと主張する。Googleも拡散モデルを使ったプロトタイプ「Diffusion Gemma」を試作しており、競争が始まっている。

言語の枠を超えた試みと課題

Pathwayは言語に依存しないLLMを目指し、Dragon Hatchlingを開発した。このモデルは25万問以上のナンプレ（数独）を解くベンチマークで97%以上の問題を解き、大手ラボの主要LLMが全く解けなかったのとは対照的だった。ただし、これはあくまで一つの実証であり、実用性は未知数だ。

新興企業のアイデアはいずれも初期段階にあり、Transformerの優位性を覆せるかはまだ分からない。業界ではスパース注意機構の性能に懐疑的な声もある。今後の評価指標は『intelligence per dollar（1ドルあたりの知能）』になるだろう。それだけに、コスト効率と性能の両立が鍵を握るとみられる。