IBM、推論特化LLM「Granite 4.2」公開 3サイズ展開・512Kコンテキスト対応

Granite 4.2の概要

IBMは、推論特化型のLLMファミリー「Granite 4.2」を公開しました。3B、8B、30Bの3つのサイズが用意され、いずれもデンサー型デコーダーのみのアーキテクチャを採用しています。これまでのGraniteシリーズが指示追従に強みを持っていたのに対し、4.2では明示的な推論機能が追加されており、全モデルが回答の前にチェーン・オブ・ソートを生成できます。

各モデルには思考モードと非思考モードの切り替えがあり、タスクの複雑さに応じて使い分けられます。さらに、簡単な質問には短い推論予算を割り当てる低労力モードも用意されています。また、ネイティブなツール呼び出しに対応し、OpenAI互換のエンドポイントで利用できるのも特徴です。ライセンスはApache 2.0で、商用を含む幅広い用途に利用できます。

モデル構成と事前学習

アーキテクチャには、グループ化されたクエリ注意（GQA）や回転位置エンベディング（RoPE）、SwiGLU活性化関数を備えたMLP、RMSNorm正規化など、近年のLLMで標準的な要素が採用されています。入力と出力のエンベディングは別々に持たせています。

事前学習はスクラッチから約15兆トークンを使って行われ、5段階の戦略で進められます。前半のフェーズで基盤となる学習を行い、中盤で高品質なデータに重点を移し、最終フェーズでコンテキスト窓を512Kトークンまで拡張します。各フェーズでデータ構成と学習率スケジュールが異なり、幅広いウェブデータから厳選された高品質データへと徐々に移行します。

SFTとデータ品質管理

教師あり微調整（SFT）では、エージェントデータ31.6%と非エージェントデータ68.4%を混ぜた、約720万サンプル・約100Bトークンで学習します。エージェントデータはソフトウェアエンジニアリングやツール呼び出し、ターミナル操作などで構成され、OpenHandsやCodexなどの多様なフレームワークで生成されました。非エージェントデータには指示追従やコーディング、数学、多言語などが含まれます。

品質管理では、GPT-OSS-120BとGemma 4を判定AIとして使い、低品質なサンプルや幻覚を含むものを排除します。また、SHA-256ハッシュによる重複排除も行っています。

30Bモデルでは追加のSFTフェーズが実施され、エージェントコーディングに特化したデータを増やして再学習します。これにより、初期SFTで獲得した能力を保ちながら、エージェントとしてのコード実行能力を高めています。

多段階の強化学習

SFTの後、多段階・多環境の強化学習（RL）パイプラインが適用されます。数学、コード、科学、指示追従、ツール使用、ソフトウェアエンジニアリング、ターミナル操作、ウェブ検索など、ステージごとに異なる環境でRLが実行されます。各ステージは前のステージのチェックポイントからウォームスタートします。

RLの学習には非同期GRPO（グループ相対政策最適化）が採用されています。生成ワーカーと訓練ループが互いにブロックせず、共有バッファを介してバッチをやり取りします。古いポリシーで生成されたサンプルは、切り詰め重要度サンプリングで補正されます。

報酬には、検証可能な報酬、判定・選好ベースの報酬、エージェント成果報酬の3種類があります。検証可能な報酬は数学やコードの正誤を客観的に判定でき、パイプラインの前半で多用されます。エージェント成果報酬は、長いツール操作の後に成功か失敗かが決まるスパースな報酬です。

3サイズの比較と課題

3Bモデルは基盤となるRLとRLHFのみを実施し、エージェントRLは行われません。一方、8Bと30BにはSWE（ソフトウェアエンジニアリング）、ターミナル、検索の各ステージが追加されます。さらに30Bにはエージェントコーディング特化のSFTフェーズ2があります。下の表に主な違いをまとめました。

なお、現時点では各サイズの詳細なベンチマーク結果や実運用上の性能は公表されていません。モデルの能力を評価するには、実際にダウンロードして試用するか、今後のベンチマーク公開を待つ必要があります。