ByteDance、10兆パラメータ級AIモデルを訓練か 米Anthropicを視野に

10兆パラメータの事前学習

ByteDanceは現在、最大10兆パラメータ規模のAIモデルを初期段階で訓練している。関係者によると、これは中国でこれまでに公開された最大モデル「Kimi K3」の約3倍の大きさだ。事前学習は通常3〜6か月かかる段階で、その後に微調整を行い、うまくいけば公開されるという。正確なモデル規模は後段で決まる見通しだ。

Anthropicはモデル規模を非開示にしているが、業界推定では最先端の「Mythos 5」が約8兆パラメータ、「Fable 5」が約5兆パラメータとされる。パラメータ数はモデルの容量や記憶の限界を決める基本的な要素だが、実際の性能はデータ品質や訓練方法などにも左右される。

中国勢の追い上げ

ここ数週間だけでも、MoonshotやAlibabaの中国モデルはベンチマークで強い性能を示し、一部領域ではAnthropicのFable 5に次ぐ結果を出している。Mythos 5は6月に一時的な配布停止があり、現在は承認された組織のみが利用できる。

業界関係者によれば、複数の中国ラボがFable 5並みのモデルを訓練中で、ByteDanceは最大規模のモデルを目指す点で最も野心的とされる。中国勢は単にキャッチアップするだけでなく、最先端のAIで米国勢を上回ることを狙っている。

独自開発へのこだわり

ByteDanceのモデル開発は、他ラボの既存モデルを「蒸留」しない独立したアプローチを取っている。モデル蒸留とは、大規模なモデルの知識を小さなモデルに複製する手法で、これを避けることで時間はかかるものの、独自の性能向上を目指しているとみられる。

創業者の張一鳴氏は2週間前の社内会議で、シードチームに対し長期的に「世界最先端のモデル能力」を目指すよう指示した。近い将来の遅れに過度に心配せず、独自開発のみが競合を上回るモデルにつながるという信念に基づく。

事業展開の広がり

ByteDanceはTikTokの親会社として知られるが、AI開発ではこれまで低調な姿勢を保ってきた。モデルの多くはクローズドで、動画生成のSeeDanceは世界的に最先端の一角、消費者向けのDoubaoは中国で最も人気で月間アクティブユーザー数は3億2400万人に上る。

また、ここ3年で他の中国テック大手より積極的にAIへ投資し、データセンター網の構築や研究者の採用を進めている。企業向けAIソリューションを提供するクラウド部門の火山エンジンや、自社開発AIチップの構想もある。

規模だけでは測れない性能

今回の情報は関係者の話に基づくもので、ByteDanceはコメントを出していない。モデルの正確なパラメータ数や公開時期、性能は現時点では不明だ。また、パラメータ数が大きいだけでは性能は決まらず、データ品質や訓練手法などが重要だ。

中国勢のモデルはベンチマークで存在感を増しているが、実際の利用時の品質や安全性、規制の違いなどが評価に影響する可能性もある。今後の動向を注視する必要がある。