個人が998ドルで学習した3.8Bモデル、CORE 0.384を達成した記録

998ドルで3.8Bモデル

個人が約1,000ドルの予算で学習させた3.8Bパラメータの言語モデルが、COREベンチマークで0.384を記録したという報告です。学習には65Bトークンを使い、実時間43時間、費用は998ドルだったとされています。著者は、研究ラボでも大規模な計算予算を持つ企業でもない立場で、どこまで到達できるかを確かめたと述べています。

開発はRTX 5090上で夜間に進められ、最終的な学習はレンタルしたB200で行われました。Andrej Karpathy氏のnanochatから強い影響を受けたと明記されています。土台となったlittle-lmは、モデル・データセット・最適化器・スケジュールなどをYAMLファイルで指定できる構成で、実験をコードの分岐ではなく設定の差分として表現できることを重視したとされています。

初期実験と5つの変更

初期の試行として、858MパラメータのLlamaをFineWeb-Eduで16.4Bトークン、A100 1台で5.8日学習させた結果、PIQAは60.45%でした。これは2019年のGPT-2 124M（約63%）を下回る水準で、生成も繰り返しが多く意味が通りにくかったと報告されています。学習率をコサインでゼロまで減衰させたため曲線が途中で平坦になり、終盤の計算が実質的に何も生まなかった点などが原因として挙げられています。

そこから5つの変更を加えています。学習率を台形型スケジュールにする、行列パラメータにMuon・それ以外にAdamWを使う、データセットをClimbMixへ変える、FP8学習と語彙のパディングを行う、文脈長を2048から1024へ半減させる、の5点です。

並列化は通常のDistributedDataParallelで、3.8B・単一ノードでは勾配通信が制約にならなかったと述べられています。B200あたり1,047 TFLOP/sを持続し、BlackwellのFP8ピークに対して約25%（bf16ピーク比では50%）のMFUだったと報告されています。SM活動率は92%、SM占有率和は40%で、大きなGEMMを連続実行する場合に典型的な値だと説明されています。

スループット改善の内訳

レンタルGPUは安くないため、自腹の学習ではスループットの重みが増すと著者は述べています。RTX 5090上で858Mモデルのbf16・コンパイル済み構成が26,144 tok/sだったのに対し、最終的には37,621 tok/sまで改善しました。

寄与が大きいのはFP8化（+25%）、語彙を50,257から50,304へパディング、LigerのFusedLinearCrossEntropyLossによる融合、非ゲート型MLP（SwiGLUからrelu²へ）、マスター重みのbf16化です。融合損失は1ステップあたり6%遅くなるものの8GBのVRAMを節約でき、マイクロバッチを大きくすることで取り返せるとしています。非ゲート型MLPではSwiGLUのintermediate比率2.75がそのまま移せず、4倍を使う必要があるという注意も添えられています。

マスター重みのbf16化は1.5B構成でスループットが640Kから1.4M tok/sへ2.2倍になり、VRAMは27%減りましたが、品質面の代償も小さいながら実在すると述べられています。4,000ステップ時点でCOREは0.22対0.23だったと報告されています。同じコード・150Mモデル・FP8の比較では、RTX 5090が184,662 tok/s、B200が477,440 tok/sで、ハードウェアだけで2.59倍の差が出たとされています。

効かなかった試み

文書境界マスキング（flex attention）は実装したものの削除され、約10行のbest-fit packingに置き換えられました。LigerのRMSNormとRoPEも撤回されています。RoPEはマイクロベンチマークで2.2倍速かったもののエンドツーエンドのスループットに変化がなく、RMSNormはPyTorch 2.9内蔵のF.rms_normより遅かった（0.41ms対0.25ms）と報告されています。

nanochat流の初期化は理論的には優れているものの、損失曲線が約1,500ステップで重なり、測定可能な品質差はなかったとされています。著者は、これを証拠ではなく見た目の良さとして残したと述べています。ストリーミングでのデータ読み込みも、ローカルにシャードを置く方が2〜3%スループットが高く、数時間を超える学習では最初に一度ダウンロードする価値があるとしています。

バリュー埋め込みと評価

3.8Bモデルにおいてバリュー埋め込みは721Mパラメータ（全体の19%）を占めます。同じ設定で無効にした比較を12,500ステップ・29Bトークンまで行ったところ、損失が0.46%、COREが3.2%改善したと報告されています。スループットは同一で、ルックアップであるためFLOPsをほとんど消費せず、メモリと最適化器の状態だけを増やします。

著者はその効果を約1,200学習ステップ分に相当すると見積もり、パラメータ19%増が学習量約5%増に相当すると整理しています。またCOREは損失の約7倍動き、その差は学習が進むにつれて縮小したとされています。COREは正解率ベースの指標で、判断境界付近の項目がわずかなロジットの変化で反転しやすく、ランダムベースラインで中心化されているため相対差が増幅される点に注意を促しています。

著者は、同一レシピを2048トークン文脈で回し直した結果を0.3840と報告しています。文脈長による差の大半は、文脈に強く依存する一部タスクに由来すると述べられています。COREの22タスクのうち3つは、プロンプトが実質的に1024トークンに収まらないとされており、SQuADについては停滞ではなく単調に悪化する点が印象的だとしています。