教師ありファインチューニングの高度なデータ戦略：学習曲線からデータ混交まで

学習曲線でデータ量を判断

教師ありファインチューニング（SFT）に使うデータ量は、一般的なタスクで高品質なサンプル約2,000件が一つの目安とされる。ただし、これはあくまで概算値であり、単純な形式変更なら500件、複雑な多段推論なら1万件以上が必要になることもある。それ以上に重要なのは、実際の本番トラフィックを代表する評価用ベンチマークを先に用意することだ。AWSのAmazon Bedrock evaluationsを利用すれば、自社のデータセットと指標でモデルを評価できる。

学習曲線分析では、全データを使って1回トレーニングを実施し、10〜20%のステップごとにチェックポイントを保存する。保存した各チェックポイントを評価セットで測り、データ量に対する性能の伸びを確認する。データ量を2倍にしても主要指標の改善が1〜2%未満であれば飽和とみなし、同じ種類のデータを増やしても効果は見込めない。

サブセット選択の効果

学習曲線が早い段階で飽和した場合、データ全体を使う代わりに、品質と多様性の基準で選んだサブセットを使う方が高精度になることがある。実際の研究例として、AlpaGasusは品質上位20%だけに絞った方が、全データで学習するより速く、かつ高いスコアを達成したと報告している。重複や低品質なサンプルを除くことで、勾配のノイズが減るためだ。

サブセット選択は、破滅的忘却の軽減にも効果を発揮する。学習に使うサンプルが少なければ、プリトレーニング済みモデルの能力から遠ざける勾配更新も少なくなる。そのため、データ混交の必要性が下がる可能性もある。

データ拡張の3つの方法

データが不足している場合の拡張方法として、複数の選択肢がある。一つはDeepSeek-R1のような強力なモデルを使って推論トレースを生成し、正解を検証して残す蒸留方式だ。もう一つは、ベースモデル自身に高温サンプリングで複数の回答を生成させ、最終回答が正しいものだけをフィルタリングする方法で、STaRの核となる考え方に近い。医療や法律など正しさが重要な領域では、専門家による記述をLLMで言い換えて増幅する方法もある。

さらにSelf-InstructやEvol-Instructのようなプロンプト拡張も有効である。拡張データを扱う際の原則は、文体の多様性を確保することと、すべての生成データが人間によるキュレーションデータと同じ品質基準を満たすことだ。合成データは重複や微細な誤りを生みやすいため、重複の除去とフィルタリングを必ず適用する必要がある。

データ混交で忘却を防ぐ

特定のタスクに特化したファインチューニングでは、他の能力が損なわれる破滅的忘却が問題になる。データ混交は、タスクデータと共にモデルの既存能力を保つためのデータを混ぜることで、この問題に対処する。記事に挙げられた例では、タスク70%、一般指示20%、安全性データ10%といった割合が紹介されている。Amazon Nova Forgeでは、こうした混交を各カスタマイズ段階で行える。

ただし、データ混交は必ずしもタスク性能を向上させない。一般データを混ぜるほどタスクデータのトークンが減るため、領域内の指標が下がることがある。サンプル数で5%の一般データでも、トークン数では勾配の80%以上を占める場合があり、トークンレベルの比率を監視することが重要だと記事は指摘している。