.png)
- GLM-5.3やKimi K2.7など最新のオープンウェイトモデルへの対応を追加
- MoEの専門家層にもアダプタを付けるExpert LoRAを導入し、新規知識の想起率が向上
- 学習メトリクスの可視化、早期停止、データ検証、最大70%の値下げを実施
発表内容の全体像
米Together AIは2026年9月11日、ファインチューニングサービス「Together Fine-Tuning」の機能拡張を発表しました。今回のリリースは、対応モデルの追加、学習中の実験トラッキング、学習とデータ処理に関する制御の細分化、一部モデルの値下げという複数の柱で構成されています。同社は、オープンウェイトモデルを実務で使えるモデルに仕上げるには、計測された試行錯誤の連続が必要だという問題意識を示しています。
具体的には、学習を始める前にデータセットの中身を検査・検証できるようになりました。また、実行中の複数の学習ジョブを並べて比較し、検証損失が頭打ちになった時点で自動的に停止させることもできます。ここでいうファインチューニングとは、公開されているモデルの重みを自社データで追加学習させる手法を指します。
Expert LoRAの仕組みと効果
今回の技術的な目玉の一つが「Expert LoRA」です。Mixture-of-Experts（MoE）型のモデルでは、パラメータの90%以上が専門家層に集中しており、モデルが実際に知っている知識の多くもそこにあると説明されています。従来のLoRAはアテンション層にのみアダプタを付けるため、専門家層は凍結されたままでした。Expert LoRAでは、その専門家層自体にLoRAアダプタを付けて学習させられます。
同社は200件の架空の事実をモデルに教える実験を実施しています。専門家層を含むアダプタは新しい知識の最大89%を想起できたのに対し、アテンション層のみのアダプタは同じモデルで最大15%にとどまりました。加えて、MMLU-Proのスコアは75.3%対71.5%でExpert LoRAが上回り、既存の知識もより多く保持したと報告されています。学習中に使われなくなる専門家が増えるかどうかが、この差の一因だと説明されています。
有効化する方法は、lora_trainable_modulesに専門家モジュールを追加するだけだとされています。それ以外の学習ワークフローは通常のLoRAジョブと同じままだとのことです。
学習制御とデータ検証の強化
早期停止も追加されました。検証セットを用意して有効にすると、検証損失の伸びが止まった時点で学習を打ち切り、検証損失が最も良かったチェックポイントを最終モデルとして保持します。使わなかった学習ステップ分は自動的に返金されると説明されています。
GPUメモリに収まらない大きな実効バッチサイズを指定したい場合は、gradient_accumulation_stepsを設定します。勾配を複数のマイクロバッチにわたって蓄積してから最適化器を更新する仕組みで、実効バッチサイズはbatch_size×gradient_accumulation_stepsになります。
データ処理の透明性も高まりました。従来はブラックボックスだったトークン化の結果を、学習前にプレビューできます。各行についてトークンID、トークン文字列、トークンごとのラベル、損失に寄与する範囲、最大系列長での打ち切り有無を確認できます。さらに、JSONLの行ごとに重みを付けて影響度を調整する「サンプル重み」、アップロード直後にスキーマを検査する「事前ファイル検証」、シーケンスパッキングを無効化・調整する制御も追加されました。
値下げと今後の予定
価格については、対応するほとんどのモデルで学習費用を引き下げ、削減率は30%から、gpt-ossシリーズのようなモデルでは最大70%に達するとしています。ただし、原文には具体的な単価表は掲載されておらず、価格ページを参照する形になっています。
今後の予定として、学習中の中間LoRAアダプタをそのままデプロイできるようにする取り組みが示されています。学習の完了を待たずに評価を始められるため、1回の試行にかかる時間を数時間から数日短縮できる可能性があるとされています。最初に対応するのはGLM-5.3で、次にKimi K3が続く計画です。提供時期やAPIの詳細は、リリースが近づいた段階で案内されるとしています。
導入事例：Adaption
導入事例として、Adaptionの「AutoScientist」がTogetherの基盤上で最大1兆パラメータのモデルの学習ループを回していることが紹介されています。Adaptionは、静的な学習ではなくライブデータと環境を通じて継続的に学習する知能を掲げる研究企業で、研究はAdaptive Data、Adaptive Intelligence、Adaptive Interfacesの3本柱で構成されています。
AutoScientistは、学習レシピの探索、データの最適化、学習、評価を繰り返すループを自動化する仕組みです。LoRAとフルファインチューニングの両方に対応し、最大1兆パラメータのモデルまで扱えるとされています。学習はTogetherのファインチューニング基盤、評価はTogetherの専用エンドポイント上で実行されるとのことです。
| 項目 | Expert LoRA | アテンションのみのLoRA |
|---|---|---|
| 新規知識の想起率（200件の架空事実） | 最大89% | 最大15% |
| MMLU-Proスコア | 75.3% | 71.5% |
We have partnered with Together to run Adaption's AutoScientist full self-improvement training loop at up to 1 trillion parameter models.
私たちはTogetherと提携し、AdaptionのAutoScientistによる完全な自己改善型の学習ループを、最大1兆パラメータのモデルで実行しています。
今後の見通し
中間LoRAアダプタのデプロイはGLM-5.3から始まり、Kimi K3が続く計画とされていますが、提供時期やAPIの詳細、対応モデルの全リストは現時点では公表されていません。ここが明らかになれば、試行錯誤のサイクルをどれだけ短縮できるかを具体的に見積もれるようになるとみられます。また、値下げの正確な単価表が公開されれば、既存の学習パイプラインをTogetherに移すべきかをコストで比較できるようになります。Expert LoRAについても、日本語タスクで同様の効果が得られるかは公開情報だけでは判断できず、自社データでの検証が待たれます。
日本の開発者・IT企業にとっての意味
日本のIT企業や開発者にとって、オープンウェイトモデルを自社データで仕上げる作業の「見えなさ」が減る点は実務上の意味が大きいと考えられます。従来はデータのトークン化やラベルの扱いが不透明で、品質が落ちた原因を追いにくいという課題がありました。学習前のプレビューやアップロード直後の検証があれば、無駄な学習を回す前にデータの不備を潰せます。Expert LoRAはMoE型モデルに新しい知識を覚えさせる用途で効果が大きいとされ、社内固有の用語や業務知識を覚えさせる検証に使える可能性があります。早期停止と未使用ステップの返金は、試行回数の多い開発チームのコスト管理に影響します。一方、対応モデルの一覧や単価はドキュメント・価格ページの確認が必要で、導入判断には自社データでの検証が欠かせません。
気になる点
- Expert LoRAを使うには、既存のファインチューニングのコードを大きく書き換える必要がありますか。
- 原文によれば、lora_trainable_modulesに専門家モジュールを追加するだけで、それ以外のワークフローは通常のLoRAジョブと同じままだとされています。ただし、どのモデルで利用できるかや各パラメータの詳細はドキュメントでの確認が必要です。
- 値下げの具体的な金額はいくらですか。
- 原文では、多くのモデルで削減率が30%以上、gpt-ossシリーズのようなモデルでは最大70%と説明されています。1百万トークンあたりの具体的な単価表は原文に掲載されておらず、Togetherの価格ページで確認する必要があります。
- 日本語データのファインチューニングにも向いていますか。
- 原文には言語や地域に関する記載はなく、日本語データでの性能は現時点では分かりません。ただし、トークン化データのプレビューやサンプル重み、事前ファイル検証はJSONL形式のデータを対象とした機能で、言語に依存しない仕組みとみられます。
用語解説
- ファインチューニング
- 公開されているモデルの重みを、自社データで追加学習させて特定タスクに適応させる手法。
- LoRA
- モデル本体を凍結し、一部の層に小さな追加パラメータを学習させる軽量なファインチューニング手法。
- MoE（Mixture-of-Experts）
- 入力に応じて複数の「専門家」サブネットワークを使い分けるモデル構造。
- 勾配蓄積
- 複数のマイクロバッチの勾配をためてから1回の更新を行う手法。実効バッチサイズを大きくできる。
- チェックポイント
- 学習途中のモデルの重みを保存したもの。最良のものを最終モデルとして採用できる。
- MMLU-Pro
- 多分野の知識を問う大規模言語モデルのベンチマーク。原文ではExpert LoRAの優位性の指標として言及。
出典
Together AI expands fine-tuning service with more models, live metrics, and finer controls
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する