モデルの中身を測る研究が進展、Anthropicは計算コスト増が露呈した一日

モデル内部を測る研究

研究面では、モデルの出力ではなく内部状態や重みに着目した取り組みが相次ぎました。Simon Willison氏は、大規模言語モデルがニューラルネットワークの生の重みを読み書きできると主張する論文「Sparks of Weight-Space Programming」のプロンプトを使い、ノートPCで動かす17GBの「Qwen 3.8 27B」で追試を実施しました。4つのゲームのうち3つで、重みだけから学習内容を言い当てたと報告しています。ただし論文の主張には、異なる2つの実験を混同しているという批判も出ており、解釈には慎重さが求められます。

もう一つが、米Allen Institute for AIが公開したベンチマーク「StateBench」です。長い文書の中で登場人物や変数の状態変化をどこまで正確に追跡できるかを測るもので、難易度を4段階に分け、同じ系列から派生させて公平に比較できる点が特徴とされます。事前学習済みモデル、フロンティアモデル、ゼロから直接学習させたモデルの3通りを評価し、TransformerとGated DeltaNetなどのハイブリッド・再帰型アーキテクチャの間で汎化の度合いに差が出ることを報告しました。

Anthropicの収益性悪化

ビジネス面では、Anthropicが2026年11月に提出したS-1の更新版で、2026年9月30日までの四半期の業績が開示されました。売上高は170億ドルと前四半期の115億ドルから伸びた一方、計算コストが売上高に占める比率は48%から58%へ上昇し、営業損失も拡大しています。急増する需要に間に合わせるための短期契約が割高な調達につながっているとされ、成長と採算のバランスが課題として浮かびました。IPOを控えた収益性の実態が数字で示された形です。

明日以降に注目したい点

研究面では、モデルの内部をどこまで外部から検証できるかという問いが、追試とベンチマークの両面から進みつつあります。重み空間の主張については批判も出ており、再現実験の積み重ねが影響力を左右しそうです。ビジネス面では、Anthropicの計算コスト比率が今後さらに上昇するのか、あるいは調達の見直しで改善に向かうのかが焦点になります。モデルの性能評価と収益性の議論が並行して進む状況は、当分続くとみられます。