- Nemotron 3を起点にSFT・RL・推論ループを組み合わせ、IOIとIMO 2026で金メダル級を達成
- IOIは人間と同じ制約下の非公式ライブ実行、IMOは公式採点者が証明を採点
- IOI向けUltra-CCは600点満点中535.4点、IMOは42点満点中30点で6問中4問満点
何が報告されたのか
NVIDIAは、自社のモデルファミリーNemotronを特定分野向けに微調整することで、国際情報オリンピック(IOI)と国際数学オリンピック(IMO)の2026年大会で金メダル相当の性能に到達したと報告しました。出発点はNemotron 3で、教師あり微調整(SFT)と強化学習(RL)、さらにフィードバックを活用した推論を組み合わせています。
IOIの結果は、本番と同じ時間・インターネット接続・提出の制約の下で行われたライブ実行によるものです。ただし非公式かつ非監督のベンチマークであり、公式のIOIランキングには含まれていません。一方、IMOに提出された証明は公式のIMO採点者によって評価されたと説明されています。
再利用可能な専門化レシピ
NVIDIAは今回の2つのプロジェクトを、汎用モデルを要求の厳しい領域に適応させるための再利用可能なレシピとして整理しています。レシピは4つの要素からなります。
第1に強力なNemotronのベースモデルを出発点にすること、第2にドメイン固有の問題と高品質な推論トレースを整備すること、第3にSFTや必要に応じたRLといった標準的な事後学習を適用すること、第4に候補を生成・評価・改善する推論ループと専門モデルを組み合わせることです。
学習と推論の実行規模は大きいものの、手法自体はよく知られた再現可能なものだと同社は述べています。課題ごとに新しい基盤モデルを作る必要はなく、Nemotronをタスクに特化させたという立場です。
IOI向けの専門化
競技プログラミング向けには、22,000問の問題を整備し、合成した推論トレースを生成して2つの専門モデルを訓練しました。Nemotron-3-Nano-CCは総パラメータ300億・アクティブパラメータ30億でSFTとRLの両方を適用し、Nemotron-3-Ultra-CCは総パラメータ5,500億・アクティブパラメータ550億でSFTを適用しています。
IOI 2025でのスコア推移は専門化の効果を示しています。Nanoは事後学習前の130点からSFT後280点、RL後291点へと伸び、反復的な生成・評価・改善戦略であるGenCorrectによって468点に達し、金メダル閾値の438.3点を超えました。Ultra-CCは同じテスト時戦略で502点に達しています。
適応の効き方は規模によって同じではないことも分かりました。NanoではSFTが利得の大半を生み、RLはより小さく一貫した改善を加えました。一方、より強力なUltraでは1エポックのSFTだけで、完全に事後学習したNanoをIOI、ICPC、LiveCodeBench Proで上回ったとされています。この知見がIOI 2026向けのUltra-CCにつながり、600点満点中535.4点を記録しました。
IMO向けの証明生成と検証
IMOプロジェクトも同じ考え方を数学オリンピックに適用しました。Nemotron 3 Ultraを出発点に、SFTで訓練した専門モデルとRLで訓練した専門モデルの2つを用意しています。
SFT用のコーパスには、15,818問の証明問題から品質で絞り込んだ414,890件の例が含まれます。単に最終解答を教えるだけでなく、証明の生成、改善、検証、メタ検証までを対象としており、論証を組み立て、不足を指摘し、批判に応答し、証明が完全かを判断することを学習したと説明されています。RLモデルはモデルの能力の限界付近で選んだ9,597問の証明問題で訓練されました。
2つのチェックポイントはいずれも開発実験で一般公開モデルを上回り、SFT版は最初の探索ラウンドで、RL版は単一チェックポイントとして最も良い結果を出したとされます。強みが補完的だったため、最終システムでは両方の専門モデルと汎用モデルを併用しました。
各問題に対して候補証明を生成し、採点し、批判を生成し、有望なものを改善する流れで、最終提出の選択には別の高計算段階を設けています。システム全体は自然言語で動作し、形式証明器や外部ツール、インターネットアクセスは使っていません。結果は42点満点中30点で、6問中4問で満点を取り、公式の金メダル閾値を上回りました。
公開資産と注意点
NVIDIAは今回の結果を競技の外でも役立てたいとして、Nemotron Labs IMO 2026コレクションでSFTとRLのチェックポイント、両方の訓練データセット、オリンピック級問題200問からなる新ベンチマークNemotron-IMO-Benchを公開しています。IMOの論文では訓練手法と生成・検証・改善システムが説明され、NeMo-SkillsリポジトリにはIMOの推論パイプラインやプロンプト、提出した証明、再現用のクイックスタートが含まれるとされています。
競技プログラミング向けにはNemotron-3-Ultra-CCがHugging Faceで公開され、IOIの論文で訓練レシピとGenCorrectの手法が説明されています。IOIの評価・推論パイプラインもNeMo-Skillsで利用可能だとされています。
同社は、IOIとIMOの両方が、Nemotronを世界水準の専門モデルに微調整し、透明な推論ワークフローと組み合わせることで人間の競技の最前線の問題を解けるという考えを裏付ける厳しい証拠になると述べています。ただしIOIの結果は非公式なベンチマークであり、公式の順位ではない点には注意が必要です。
| 項目 | Nemotron-3-Nano-CC | Nemotron-3-Ultra-CC |
|---|---|---|
| 総パラメータ数 | 300億 | 5,500億 |
| アクティブパラメータ数 | 30億 | 550億 |
| 適用した事後学習 | SFTとRL | SFT |
| IOI 2025のスコア | 468点(GenCorrect使用) | 502点(同じテスト時戦略) |
The medals were not produced by fine-tuning alone, and they were not produced by brute-force sampling alone. They came from co-designing the model, the data, and the inference loop.
メダルは微調整だけで生まれたものではなく、総当たりのサンプリングだけで生まれたものでもない。モデル、データ、推論ループを共に設計したことから生まれたのだ。
今後の見通し
今回の報告は、基盤モデルを専門化して推論ループと組み合わせる手法が、検証の厳しい競技で機能することを示しています。ただし、汎用的な業務タスクで同じ効果が得られるかは明らかになっていません。今後は、Nemotron-IMO-Benchのようなベンチマークで第三者が結果を再現・比較できるか、公開されたNeMo-Skillsのパイプラインを使って社外のチームがどの程度の計算資源で同等の結果を出せるかが焦点になるとみられます。テスト時計算のコストと精度のバランスやモデルのライセンス条件、日本語を含む課題への適用可否が明らかになれば、日本企業が自社ドメインに適用するかを判断しやすくなるでしょう。
日本の開発者・IT企業にとっての意味
日本のIT企業にとっての意味は、基盤モデルをゼロから作るのではなく、既存モデルを自社ドメインに専門化させ、推論側の工夫と組み合わせる進め方が、検証の厳しい領域でも通用することを示した点にあります。SFTで専門モデルを作り、候補を生成・評価・改善する推論ループを重ねる設計は、社内文書のレビューやコードレビュー、設計検証など、正解判定を自動化しにくい業務に応用できる可能性があります。Nanoが総パラメータ300億・アクティブパラメータ30億という比較的小さい構成で金メダル閾値を超えた点は、オンプレミスや自社クラウドでの運用を検討する企業の参考になるでしょう。一方、IOIの結果が非公式であること、学習データ整備に22,000問や414,890件といった大規模な準備が必要だったことは、導入コストを見積もる際の前提になります。
気になる点
- IOIの結果は公式記録として扱われるのですか。
- いいえ。原文によれば、IOIの結果は人間の選手と同じ時間・インターネット接続・提出の制約の下で行われたライブ実行ですが、非公式かつ非監督のベンチマークであり、公式のIOIランキングには含まれていません。一方、IMOに提出された証明は公式のIMO採点者によって採点されたと説明されています。
- モデルやデータは公開されていますか。日本からも利用できますか。
- はい。Nemotron Labs IMO 2026コレクションにSFTとRLのチェックポイント、両方の訓練データセット、Nemotron-IMO-Benchが含まれ、競技プログラミング向けにはNemotron-3-Ultra-CCがHugging Faceで公開されています。ただしライセンス条件や商用利用の可否は原文に記載がないため、利用前に確認が必要です。
- 再現にはどのくらいの計算資源が必要ですか。
- 原文には具体的なコストやGPU時間は示されていません。IOI向けのUltra-CCは総パラメータ5,500億・アクティブパラメータ550億、IMO向けはNemotron 3 Ultraを起点としており、大規模な学習・推論資源が必要とみられます。どの程度の規模で再現できるかは、公開パイプラインを試した報告が出てこないと判断できません。
用語解説
- SFT(教師あり微調整)
- 正解付きのデータでモデルを追加学習させ、特定の出力形式や振る舞いを身につけさせる手法。
- RL(強化学習)
- 正解そのものではなく報酬を手がかりに、モデルの出力方針を改善していく学習方法。
- テスト時計算
- 推論時に計算資源を追加投入し、複数の候補を生成・評価して精度を高める考え方。
- GenCorrect
- NVIDIAがIOI向けに用いた、生成・評価・改善を繰り返す反復戦略の名称。
- アクティブパラメータ
- モデル全体のうち、1回の推論で実際に使われるパラメータ数。総パラメータより少ない構成がある。
出典
One Model Family, Two Gold-Level Results: Fine-Tuning Nemotron for IOI and IMO
https://huggingface.co/blog/nvidia/nemotron-ioi-and-imo-2026
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する