- ベースのGPT-OSS-20Bは指示言語で推論できたのは50例中22%で、ほぼ英語のみだった
- SFTで推論言語は100%に到達。ただし回答言語は62%にとどまった
- GRPOを追加すると回答言語が70%へ。伸びしろのあった指標だけが改善した
HyperPod上で何を検証したか
AWSの機械学習ブログで、オープンウェイトの推論モデルGPT-OSS-20Bを多言語対応にするためのファインチューニング手順と結果が公開された。学習基盤はAmazon SageMaker HyperPodで、Amazon Elastic Kubernetes Service（Amazon EKS）によるオーケストレーションを使う。手法は教師ありファインチューニング（SFT）と、強化学習の一種であるGRPO（Group Relative Policy Optimization）の組み合わせである。
対象言語はフランス語、ドイツ語、スペイン語、イタリア語で、英語と合わせて5言語を扱う。学習にはLoRA（Low-Rank Adaptation）を全面的に使い、モデル全体ではなく一部のパラメータだけを更新する。使用したマニフェストやスクリプトはGitHubのawslabs/awsome-distributed-aiリポジトリで公開されている。
ベースモデルの22%という出発点
GPT-OSS-20Bは「英語で考える」モデルだと説明されている。フランス語で推論するよう指示しても、指示自体は受け付けたうえで、思考の連鎖（chain-of-thought）を英語で出力してしまう。50例の多言語推論テストでは、指定言語で推論できた割合は22%だった。内訳は英語100%、ドイツ語10%、フランス語・スペイン語・イタリア語は0%で、22%の大半は英語の例が占めていた。
学習に使ったデータセットはHuggingFaceH4/Multilingual-Thinkingで、英語に加えて4言語へ翻訳された推論データである。学習用が約949例、検証用が50例。評価は5言語それぞれ10問の計50ケースで行う。指標は2つあり、思考の連鎖が指定言語で書かれているか（推論言語）と、最終回答が指定言語か（回答言語）を別々に測る。
SFTで推論言語が100%に
SFTの設定はLoRAのr=8、α=16で、1,000ステップ学習させた。計算資源は4× ml.g6e.12xlarge（L40S 48GBを16基）で、FSDP（Fully Sharded Data Parallel）のfull-shard、bf16精度、勾配チェックポイントを組み合わせている。ジョブはKueueが管理するHyperPodPyTorchJobとして投入した。
結果として推論言語の一致率は22%から100%になった。ただし学習は2段階で進んだと報告されている。200ステップ付近でまず推論言語が100%になり、1,000ステップ付近で回答言語が追いついた。最終的な回答言語の一致率は62%（31/50）で、言語別では英語100%、フランス語60%、ドイツ語60%、イタリア語60%、スペイン語30%だった。
記事では、最終回答は短く、英語への事前分布が最も強く出るため、回答言語が「難しい半分」だと説明されている。つまりこの課題ではSFTは省略できない一方、SFTだけでは回答言語が残る、という位置づけになる。
GRPOは伸びしろにだけ効く
記事は2つの手法の違いを明快に整理している。SFTはモデルが持っていない振る舞いを教え込む手法であり、GRPOはモデルがすでに時々出せる振る舞いを最適化する手法である。GRPOはプロンプトごとに複数の応答を生成し、グループ内で平均より良い応答へ方針を寄せる。元の分布で確率がゼロの振る舞いは強化する材料がない、という考え方が結果全体を説明するという。
GRPOの実験では、SFTチェックポイントをmerge_and_unloadしたうえで新しいLoRA（r=8、α=16）を付け直した。学習対象は20Bのうち13.6Mパラメータで、約0.068%にあたる。プロンプトあたりK=8の生成、学習率1e-6、10エポックで実行し、報酬は回答言語（±5.0）、推論言語（±1.5）、簡潔さ（+0.5または−1.0）の合計で−7.5〜+7.0の範囲をとる。
結果は、推論言語100%を維持したまま回答言語が62%から70%（+8ポイント、35/50）に改善した。言語別ではフランス語70%、ドイツ語80%、スペイン語60%、英語100%となる一方、イタリア語は60%から40%へ下がっている。平均では改善しても、言語ごとのばらつきは残る点に注意したい。
現時点の留意点
示された数値は50件の評価に基づくものであり、モデルもデータセットも1種類に限られている。イタリア語のようにGRPOで数値が悪化した例があることから、言語ごとの挙動にはばらつきがあるとみられる。他のモデルや他言語に同じ結果が当てはまるかは、この記事だけでは判断できない。
記事では、能力ギャップの異なる2つのタスクでQwen2.5-7Bを使った制御実験も行ったと述べられている。ただし今回参照した範囲では、その個別の結果は示されていない。GRPOが効く条件をどこまで一般化できるかは、追加の情報を待つ必要がある。
また、検証対象の言語に日本語は含まれていない。日本語のように英語との語順や文字体系が大きく異なる言語で同じ手順がどこまで有効かは、現時点では不明である。
| 指標 | ベースモデル | SFT後 | GRPO後 |
|---|---|---|---|
| 推論言語の一致率 | 22% | 100% | 100% |
| 回答言語の一致率 | 原文に記載なし | 62% | 70% |
| 推論と回答の両方一致 | 原文に記載なし | 62% | 70% |
| イタリア語の回答一致率 | 原文に記載なし | 60% | 40% |
SFT teaches a behavior the model doesn’t have. GRPO optimizes a behavior the model can already sometimes produce.
SFTはモデルが持っていない振る舞いを教える。GRPOはモデルがすでに時々出せる振る舞いを最適化する。
今後の見通し
今回の記事は、SFTで基礎的な振る舞いを教え、GRPOで残った伸びしろを詰めるという順序の有効性を、限られた規模の評価で示したものだ。次に判断したいのは、同じ手順が日本語を含む他言語や、より大きなモデルでも成り立つかという点である。記事で言及されているQwen2.5-7Bの制御実験の詳細が公開されれば、GRPOが効く条件をより具体的に把握できるとみられる。また、評価件数を増やした場合に言語ごとのばらつきがどう変わるかも、実務導入を判断する材料になる。
日本の開発者・IT企業にとっての意味
日本語を含む非英語圏向けに推論モデルを展開したい企業にとって、この記事は手法選択の判断材料になる。ベースモデルが指示言語で推論しない状態を、プロンプト工夫ではなくファインチューニングで解くという前提が示されており、SFTで推論言語を100%にし、残った回答言語の差をGRPOで詰めるという段階的な進め方は、社内で同種の調整を行う際の設計指針として参考になる。LoRAで20B中13.6M（約0.068%）だけを学習する構成は、限られたGPU資源で試行を回すうえでの現実的な選択肢といえる。一方で、評価が50件・5言語に限られ、日本語が含まれていない点は実務判断のうえで制約になる。導入を検討する際は、自社の対象言語と評価セットで同じ指標（推論言語と回答言語を分けて測る）を取り直すことが前提になるとみられる。
気になる点
- この手順は日本の開発環境でも再現できますか
- 手順とマニフェストはGitHubのawslabs/awsome-distributed-aiリポジトリで公開されています。ただしAmazon SageMaker HyperPodクラスタ、Amazon FSx for Lustre、EFA対応インスタンス、HuggingFaceのアクセストークンなどが前提になります。対象言語に日本語は含まれていません。
- 学習にはどれくらいのGPUが必要ですか
- GPT-OSS-20BのSFTでは4× ml.g6e.12xlarge（L40S 48GBを16基）を、Qwenの制御実験では2× g6e.48xlarge（L40Sを16基）を使用したと記載されています。料金や実際の学習時間は原文に記載がなく、現時点では公表されていません。
- SFTとGRPOはどちらを先に試すべきですか
- 記事の整理では、SFTはモデルが持っていない振る舞いを教える工程、GRPOはすでに時々出せる振る舞いを伸ばす工程です。まずSFTで対象の振る舞いが出る状態にし、そのうえで伸びしろが残っている指標に対してGRPOを検討する、という順序が示されています。
用語解説
- GRPO
- 強化学習の一種。1つのプロンプトに対し複数の応答を生成し、グループ内の平均より良い応答へ方針を寄せる手法。
- SFT
- 教師ありファインチューニング。正解付きのデータを使ってモデルに望ましい振る舞いを直接教え込む学習方法。
- LoRA
- 低ランク適応。元の重みを凍結し、小さな追加行列だけを学習するパラメータ効率の良いファインチューニング手法。
- FSDP
- モデルのパラメータや勾配、オプティマイザ状態を複数GPUに分割して保持する分散学習の手法。
- チェーン・オブ・ソート
- モデルが最終回答を出す前に、段階的に出力する推論の過程。推論言語の指標はこの部分を対象にする。
- vLLM
- 高速なテキスト生成のための推論ライブラリ。記事ではGRPOの応答生成（ロールアウト）に使われている。
出典
Fine-tuning GPT-OSS-20B for multilingual reasoning on Amazon SageMaker HyperPod
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する