Z.ai CEOが提唱する「パラメータ数信仰の終焉」とGLM-5.3の新スケーリング則

パラメータ数偏重からの転換

Z.aiのCEOであるJie Tang氏は、X(旧Twitter)上で、モデルの性能を測る際にパラメータ数だけを見る従来の評価方法が不十分だと述べた。氏は「パラメータ数は、データ量、計算資源の使途、そして誰がどのような条件でモデルを実行するかという3つの要素と組み合わせて初めて意味を持つ」と説明している。

これは、モデルの知識保持には一定のパラメータ数が必要だが、推論能力や複雑なタスクの遂行能力は、単純なパラメータ数の増加だけでは向上しないという考え方に基づく。特に、20ステップ以上に及ぶ長期的な因果関係を必要とするタスクでは、パラメータ数の多さよりも、事後学習のデータ量と有効な深さが重要になるという。

GLM-5.3の進化の源泉

GLM-5.3の性能向上は、主に長期的なタスク環境を用いた強化学習によるものだ。ここでいうタスク環境は、エンジニアや研究者の実際の作業プロセスを模したもので、例えばMLインフラのタスクでは、計算クラスタやストレージ、内部ドキュメント、コードベース、実験結果へのアクセスが提供される。

モデルは、トレーニングスタックのボトルネックを診断し、最適化を実装し、実験を実行して、正しさを保ちながらエンドツーエンドの高速化を達成する必要がある。このような環境で訓練することで、モデルはユーザーが問題を分解して各ステップを監視するのではなく、タスク全体の遂行を自ら担うようになる。

環境合成のパイプライン

エージェントの能力が向上するにつれ、事後学習のスケーリングにおける難しさはモデル自体から環境へと移行する。有用なタスク環境は、実行可能で検証可能、かつ実際の専門業務に近いものでなければならず、それを多数用意する必要がある。

この問題を解決するため、Z.aiはエンドツーエンドで環境を合成するパイプラインを構築した。研究エージェントが実際の作業からタスクパターンを収集し、実行可能な長期的環境に変換する。その後、判定エージェントが各タスクを実際に解いて、解決可能かどうかを検証する。このプロセスにより、報酬のショートカットを発見して修正し、信頼性の高い二値報酬を生成できるようになる。

5つのスケーリング軸

Jie Tang氏は、パラメータ数への過度な注目を終わらせるため、スケーリングの5つの調整軸を提唱している。その中には、新しいXA-YB表記法を用いたMoE(混合専門家)のスパース性も含まれる。

氏は、ソフトウェアの脆弱性発見などの高度なスキルは、検索や記憶の問題ではないと指摘する。これらは長い因果連鎖を保持しながら推論できる能力が必要であり、一定の知識保持の閾値に達した後は、総パラメータ数には依存しないという。