- RLとSFTの両方で自社専用モデルを学習できるマネージドサービス
- 実験ごとに専用GPUを割り当て、他ユーザーのリクエストと競合しない設計
- B200利用は最初の8週間、1GPU時間あたり9ドルの割引価格
発表の概要
Together AIが2026年10月19日に発表した「Together Post-Training」は、同社プラットフォーム上でカスタムモデルを構築するためのサービスです。環境からの報酬を用いる強化学習(RL)と、監督データを用いるSFT(教師ありファインチューニング)の両方を扱えます。学習ループの定義は利用者に委ねられ、その下にあるシステムとインフラの最適化は同社が引き受けます。同社は、インフラの重い負担なしに柔軟かつ効率的にモデルを形成できるようにすることを狙いとしています。
実験は「Model Resources」と呼ぶ専用のGPU割り当て上で実行されます。他の利用者のリクエストと優先度を争わないため、ロールアウトと学習の性能を安定して引き出せるとしています。1つのModel Resourceの中に複数の「Training Sessions」を持て、1セッションが同一ベースモデルを使う1つの実験に対応します。たとえば1組のLoRAアダプタが1セッションという単位です。
料金はModel ResourceごとのGPU分単位の課金です。開始から8週間は、B200利用で1GPU時間あたり9ドルの割引価格が設定されています。
学習ループを自分で設計
同社のファインチューニングサービスとの違いは、学習ループ全体を利用者が定義できる点にあります。任意のデータ、環境、エージェントハーネス(エージェントを動かす枠組み)を使え、ログ取得や外部ベンチマークの実行といったステップを学習プロセスの途中に追加できます。LoRA学習に加え、一部のモデルでは全重みの学習も選べます。複数のLoRAアダプタで同じGPU容量を共有できるため、条件を変えた一連の実験(スイープ)でもGPUを余分に確保する必要はありません。
各セッションは、順伝播・逆伝播を実行して重みを更新するTrainerと、ポリシーからロールアウトを生成するGeneratorで構成されます。SFTの場合はGeneratorを0台で開始でき、コストを抑えられます。Trainerのパラメータをどの時点でGeneratorに渡すかも利用者が決められます。長時間のエージェント的なロールアウトでは、両者を常時稼働させる非同期RLにも対応します。
損失関数は交差エントロピーやGRPO、CISPO、DPPOといった標準的なものに加え、独自の学習目的関数をローカルで計算し、その勾配をTrainerに送って更新に使えます。
品質と速度への投資
同社はサービスの開発で、出力されるモデルの品質を最優先に据えたと説明します。RLで問題になりやすいのが、学習エンジンと推論エンジンの間の数値のずれです。同じ重みでも数値の不一致で出力がわずかに変わると、学習全体の性能が落ちたり崩壊したりする可能性があります。同社はRollout Routing Replayなどの標準的な手法と、学習の安定性に関する研究成果を組み合わせ、ポリシーのドリフトを抑えているとしています。
速度面では、RLの時間の大半がロールアウト生成に費やされる点に着目しています。ここには同社の推論製品を支えてきた最適化を流用しています。マルチターンのエージェントでは、キャッシュとルーティングで冗長な計算を減らしつつメモリコストを抑えます。学習側では並列化とシーケンスパッキングでSFTとRLのステップを高速化します。
コストは実験の必要量に合わせて調整できます。ロールアウトの並列性がボトルネックなら、サンプラーのレプリカ数を指定できます。複数のLoRA実験が1つのModel Resourceを共有できるため、スイープのためにGPUを追加確保する必要はありません。GPU分単位の課金でありながら、実験を拡大するほどトークン単価ベースの料金を下回る、と同社は述べています。
対応モデルと学習後の展開
学習後のモデルを比較するため、Dedicated Model InferenceでマルチLoRAアダプタ配信に対応しました。実行ごとに本番環境を分けず、1つのGPUデプロイ内でアダプタを差し替えられます。最終的にFP4のマージ済み推論へ切り替えても品質を保てるよう、アルゴリズムとシステムの両面で改善しているとしています。
起動時に対応するオープンウェイトモデルは、Muse Spark Open、GLM 5.3、Kimi K3、Qwen 3.8-27Bです。対応モデルは今後数週間で拡充する予定とされています。最新のTogether SDKとドキュメントに加え、GSM8KでのGRPO学習、DPOをカスタム損失として実装する例、同一Model Resource内で複数のLoRAを学習する例を含むcookbookがGitHubで公開されています。
Tinker APIなど既存のポストトレーニングサービスからの移行も用意されています。スクリプトのimport行を1行置き換えるだけで、他の部分はそのまま使えるとされています。事前アクセスしたDeel、Jack & Jill、Collinear AIの3社がコメントを寄せており、Jack & Jillはオープンソースモデルでクローズドソースモデルと同等の品質をオフライン評価で達成したと述べています。
現時点での留意点
1GPU時間9ドルという価格は最初の8週間の割引価格で、その後の通常価格は示されていません。B200以外のGPUでの料金や、利用可能な地域についても原文に記載はありません。
品質や性能に関する記述は、同社の説明と協力企業のコメントが中心です。第三者による比較評価や、学習時間・コストの具体的な数値は示されていません。全重み学習に対応する「select models」の範囲や、非同期RLの詳細な挙動も明らかになっていません。
| 項目 | SFT | RL |
|---|---|---|
| 学習に使う入力 | 監督データ | 環境からの報酬 |
| Generator(ロールアウト生成) | 0台で開始できコストを削減 | ポリシーから生成。非同期実行に対応 |
| 標準的な損失関数の例 | 交差エントロピー | GRPO、CISPO、DPPO |
If the same model weights produce slightly different outputs due to mismatching numerics, the whole run might underperform or even collapse.
同じモデルの重みであっても、数値の不一致によって出力がわずかに異なると、学習全体の性能が下がったり、崩壊したりする可能性がある。
今後の見通し
同社は対応モデルを今後数週間で拡充するとしています。全重み学習がどのモデルに広がるか、B200以外のGPUや8週間経過後の価格がどうなるかが明らかになれば、日本企業がPoCの規模を見積もりやすくなります。加えて、第三者による品質・コストの比較評価が出てくれば、自前構築や他社のマネージドサービスと比べた位置づけが判断できるとみられます。
日本の開発者・IT企業にとっての意味
日本企業にとっての意味は、RLを含むポストトレーニングの基盤を自前で組まずに試せる点にあります。学習エンジンと推論エンジンの数値ずれのように、原因の特定が難しい問題をベンダー側が吸収するため、データや報酬の設計といった本質的な作業に人を割けます。学習済みチェックポイントは任意の場所に配備でき、ローカル利用も可能とされているため、閉域環境やオンプレミスでの運用を検討する材料になります。一方で、通常価格や国内からの利用条件、セキュリティ要件は原文では触れられておらず、実務では小規模なPoCでコストと品質を測ったうえで本格導入を判断する進め方が現実的です。
気になる点
- 日本からも利用できますか。費用はいくらですか
- 原文に地域制限の記載はなく、日本からの利用可否は明示されていません。料金はModel ResourceごとのGPU分課金で、開始から8週間はB200利用で1GPU時間あたり9ドルの割引価格です。8週間経過後の通常価格や、B200以外のGPUの料金は現時点では公表されていません。
- Tinker APIで書いた既存スクリプトは移行できますか
- 移行手段が用意されています。スクリプト内のimport tinkerを、import together.post_training.tinker as tinkerに置き換えるだけで、他の部分はそのまま使えるとされています。詳細は移行ガイドにまとめられているとしていますが、互換性の範囲は原文では明らかにされていません。
- どのモデルを学習できますか
- 起動時点ではMuse Spark Open、GLM 5.3、Kimi K3、Qwen 3.8-27Bのオープンウェイトモデルに対応しています。全重みの学習は一部のモデルに限られ、どのモデルが該当するかは原文で明示されていません。対応モデルは今後数週間で拡充される予定とされています。
用語解説
- LoRA
- ベースモデルの重みを固定し、小さな追加パラメータだけを学習する軽量なファインチューニング手法。
- SFT
- 教師ありファインチューニング。正解付きの監督データでモデルの振る舞いを調整する学習。
- 強化学習(RL)
- 報酬を手がかりに、モデルの出力方針(ポリシー)を改善していく学習手法。
- ロールアウト
- 学習中のモデルに実際に出力を生成させ、その結果を報酬の計算に使う処理。
- GRPO
- 複数の出力をグループとして比較し、方策を更新する強化学習の手法。
- FP4
- 4ビットの浮動小数点形式。推論のスループットを高めるための低精度表現。
出典
Together Post-Training: frontier-grade model shaping, the way that fits you
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する