SFTの成否を決めるデータ準備——AWSが品質チェックとフォーマットの要点を解説

3つのカスタマイズ手法

AWSは2026年8月26日付のブログ記事で、教師あり微調整(SFT)のデータ準備を扱う2部作の第1弾を公開した。対象となるのは、基盤モデルをそのまま使った性能が本番要件を満たさないケースで、具体的には出力スキーマを守れない、ドメインの分類体系を扱えない、必要なトーンを維持できないといった課題だ。記事はまず、モデルを調整する3つの手法を整理している。

継続事前学習(CPT)は大量の非構造化ドメイン文章から知識を拡張する手法、SFTは入出力ペアで応答の仕方を学ばせる手法、強化学習微調整(RFT)は報酬信号で行動を最適化する手法だ。それぞれ役割が異なり、実運用ではCPT→SFT→RFTの順に使うのが基本パターンとされる。Amazon Novaのような基盤モデルは事前学習段階で広い知識を持つため、通常はSFTとRFTの組み合わせで足りるという。

データ品質の監査

記事が最初に求めるのは、訓練データの監査だ。誤った回答はモデルに消しにくい悪い習慣を教えるため、各事例は本番に出せるゴールドスタンダード(模範解答)でなければならない。研究知見として、LIMAは1,000件の精選事例が桁違いに多いデータで訓練したモデルに匹敵することを示し、AlpaGasusはデータを最も清潔な20%に絞ることで高速化とスコア向上を両立できると報告している。

多様性もSFTの成否を左右する。研究では「意味的カバレッジ」(タスク領域と言い回しの広さ)と「情報深度」(個々の事例の豊かさ)が汎化を決めるとされ、本番トラフィックの一部分だけをカバーするデータセットは、その部分でしか機能しないモデルを生む。同じ意図に対して複数の表現を含め、ドメインは本番頻度に比例して配分し、複雑な事例と単純な事例のバランスを取る。埋め込み類似度で事例をクラスタリングし、密度の薄い領域を探すのが実践的な方法だ。

一方で、同一タスク内の一貫性も欠かせない。似たプロンプトに箇条書きと段落の回答が混在すると、モデルは応答構造のデフォルトを学べない。重複事例は過学習を招くため、複数の注釈者が作ったデータや合成データを統合した場合は、完全一致と意味的類似度の両方で重複除去を行う。有害・不適切な内容の検出にはLlama Guardなどの分類器を使い、人間のレビューと組み合わせることが推奨されている。

会話形式JSONLの作法

品質チェックを終えたら、データを訓練用に構造化する。Amazon Nova 2.0など最近のSFTパイプラインは、1行に1つのJSONオブジェクトを持つ会話形式JSONLを使うのが一般的で、記事ではAmazon BedrockのConverse API形式が例示されている。1つのJSONにスキーマバージョン、システムプロンプト、ユーザーとアシスタントのメッセージを収める。

フォーマット規則は、1行1オブジェクトで複数行にまたがる整形を避けること、アップロード前に各行がJSONとしてパースできることを確認すること、ユーザーとアシスタントのロールを厳密に交互にすること、本番でシステムプロンプトを使うなら訓練データにも含めることだ。こうした規則を守らないと、学習時と推論時の入力分布がずれる。その結果、モデルの挙動が劣化する可能性があると記事は指摘する。

推論能力を持つモデルでは、アシスタントターンにreasoningContentフィールドを入れ、中間の思考ステップを収録する。これは「連鎖的思考」(chain-of-thought)として知られる挙動を、プロンプトのテクニックからモデル自身の振る舞いに移すための手法だ。s1やLIMOの研究では、1,000件未満の精選された推論デモンストレーションが強い推論を引き出せるとされる。ただし、推論トレースは回答に忠実で、難易度に比例し、思考の飛躍がないことが条件で、品質は量より重要だとされる。

ツール呼び出しと留意点

SFTはツール呼び出し(function calling)やマルチモーダル(文書、画像、ビデオ)の訓練にも対応する。ツール呼び出しでは、アシスタントターンにtoolUseブロック、ユーザーターンにtoolResultブロックを置き、それぞれが一意のtoolUseIdで対応付けられる。記事ではコード例とともに、各形式の正しい使い方が示されている。

注意点として、推論を有効にして訓練する場合の扱いが挙げられる。非推論データセットをreasoning_enabled: trueの状態で訓練すると、モデルは推論を適用せずに回答を生成するようになり、推論能力を失う恐れがある。訓練時に推論を有効にするなら、推論時も一貫して有効にすべきだと記事は指摘する。

今回の記事は、品質チェック、フォーマット要件、訓練/評価分割というデータ準備の基礎を扱っている。訓練データのレディネス評価やサブセット選択、データ拡張、データ混合といった高度な戦略は、後編の第2弾で解説される予定だ。埋め込み類似度によるクラスタリングの自動化や、推論トレースの大規模な調達方法(蒸留と自己生成)も後編のテーマとなる。