
- 32GBのMacで121GBのエキスパートをSSDからストリーミングし、約14トークン/秒で生成
- 鍵は全層で共有するスロットプール。grouped_mmをそのまま使え、独自カーネルは不要
- Transformers PR #50717として実装。APIはメンテナと議論中で流動的
32GBのMacで121GBを動かす
著者は、仕事用のMacBook M5(ユニファイドメモリ32GB)でQwen3.8-Flash-NextをTransformersで動かした実験結果を公開しました。このモデルは48層それぞれに512個のエキスパートを持ち、そのうち10個だけを選んで計算するMoE(Mixture of Experts)構造です。FP8換算でエキスパートの重みは121GBあり、32GBのメモリには収まりません。さらに51GBのn-gram埋め込みテーブルも抱えており、これが別の制約になります。
そこで著者は、エキスパートを3ビットに量子化してディスク上49GBに収め、そのうち12GiBをデバイス側のキャッシュに載せました。dense層は8ビット化して約5.4GB(BF16比でパープレキシティ+0.2%)、n-gramテーブルはディスクに置いたまま必要な行だけを読みます。変換には約5時間かかり、ロード後の使用量は約18GiB、6Kトークンのプロンプトではピーク25.4GiBに達します。この水準はほぼ限界で、ブラウザを閉じないとmacOSがスワップを始めると著者は述べています。
最終的な生成速度は約14トークン/秒でした。同じM5・同じプロンプトで比較した専用エンジンStrata(バージョン0.1.60、IQ3_XXSのエキスパートを使用)に対し、短いデコードでは約6%遅いものの、プリフィルはわずかに速いという結果です。
鍵はスロットプール
著者はまず、メモリに収まるOLMoE-1B-7Bで検証しました。初期実装はディスク上のエキスパートをLRUキャッシュに載せ、Pythonのループで1個ずつ実行するもので、全エキスパートがキャッシュ済みでも10.1トークン/秒しか出ませんでした。通常のTransformersは約32トークン/秒です。原因はI/Oではなくループ自体にあり、通常版はgrouped_mmを使って層の全エキスパートを1つのカーネルでまとめて実行していました。
解決策が、キャッシュを「スロットプール」に変えることでした。全層で共有する事前確保済みのデバイステンソルと、層ごとにエキスパートIDからスロット番号へ変換するテーブルを用意します。ルータが返すエキスパートIDをスロットに読み替えれば、プールは通常のエキスパートバンクと同じ形に見えるため、grouped_mmをそのまま適用できます。独自のエキスパート行列積カーネルは不要で、OLMoEでは34.6トークン/秒(通常版38.1)まで改善しました。
この仕組みはfrom_pretrainedのexperts_offloadオプションとしてhuggingface/transformers#50717にまとめられています。ミスしたエキスパートは8本のI/Oスレッドが1個につき1回の連続読み出しで取得し、現在の隠れ状態から次の2層分のルータを先に走らせてプリフェッチ対象を推測します。対象は標準的なexpertsレイアウトを持つMoEモデルに限られます。
速度を詰めた最適化
実測では、エキスパートの読み出しよりも他の要因が支配的でした。PyTorchのMPSバックエンドは小さなカーネルを次の同期まで保持するため、Pythonが動いている間GPUが遊んでしまいます。各ブロックの後に明示的にコミットさせるだけで10%改善しました。加えて、macOSに高速な経路がないGated DeltaNetとhyper-connectionsにはMetalカーネルを用意しています。
重みも見直されました。StrataのGGUF重みに切り替えることで、トークンあたりのdense重みの転送量が5.4GBから3.9GBに、エキスパート1個のサイズが2.15MBから1.75MBに減り、サイズ別のキャッシュプールも分けています。プリフィルはチャンクを大きくし、現層の計算中に次層のエキスパートを読むことで68トークン/秒から約228トークン/秒へ向上しました。長文向けには、インデクサが選んだブロックだけへのattentionと、トークンごとにコピーせずその場で伸ばすKVキャッシュを実装しています。
それでも残るのはホストとの往復で、トークンあたり約10msかかります。同期後の起床は約1msにすぎず、残りはPythonが次の層を積んでいる間にGPUが空になる時間です。Strataは1トークン分の処理を最初にまとめて積み、各層でMetalの共有イベントを待つ設計ですが、PyTorchはその仕組みを公開していません。
既存エンジンとの違い
著者はまずllama.cpp、vLLM、Transformers(Accelerate)がMoEをどう退避するかを整理しています。llama.cppはGGUFをmmapし、--cpu-moeや--n-cpu-moe N、-ot "exps=CPU"などでエキスパートをCPUに置き、計算もCPUで行います。PCIeを渡るのは活性値だけで済むため、エキスパートがRAMに収まるなら非常に強い選択肢です。収まらない場合はページキャッシュがスラッシングします。最近入ったGPUエキスパートキャッシュ(--moe-cache-mib)は、グラフがトークンあたり2分割から50分割に断片化し、すべて収まる場合でも約10%失うとされています。
vLLMの--cpu-offload-gb NはN GBの重みをピン留めしたRAMに置き、カーネルがPCIe越しにその場で読みます。ただしキャッシュはなく、ホットなエキスパートも毎トークンPCIeを渡り、ディスク階層もありません。既定ではdense層も対象になりますが、--cpu-offload-params expertsでエキスパートだけに限定できます。ほぼ全エキスパートに触れる大きなバッチには向きますが、1人が1GPUで使う用途には合いにくいと著者は見ています。
TransformersのAccelerate経由のオフロードはモジュール単位です。MoEではそのモジュールが層のエキスパートバンク全体にあたるため、8個や10個を使うだけでも毎トークン全エキスパートをGPUへコピーすることになります。キャッシュもルーティングの概念もなく、CPUとGPUがメモリを共有するMacでは「CPUへオフロード」しても何も空きません。
残された課題と注意点
速度は約14トークン/秒で、著者自身が使うコーディングエージェントには遅いと明言しています。残る約6%を詰めるには層ごとの同期を制御できるネイティブopがPyTorchのMPSに必要ですが、ハングのリスクがあるため実装していません。APIもまだメンテナと議論中で、device_map形式はその議論から生まれたものの、量子化エキスパートは独自オプションではなく#50245の層ごと量子化プランを通る形になりそうだと述べています。
比較対象のvllm-metal(MLX経由でApple GPU上でvLLMを動かす実装)は、エキスパートのみをストリーミングしn-gramテーブルはメモリに残すため、32GBではQwen3.8-Flash-Nextを動かせません。Hub上のMLXチェックポイントだけで32GBを占め、さらにdense層約5GBとエキスパートキャッシュが必要になるためです。また、このプロジェクトのコードはすべてAIで構築され、著者は何を試すか、プロファイルをどう読むか、何を残すかの判断を担ったと説明しています。
| 項目 | llama.cpp | vLLM | Transformers(Accelerate) |
|---|---|---|---|
| エキスパートの計算場所 | CPU(--cpu-moeなど) | GPU(PCIe越しに読み込み) | GPU(forward前にコピー) |
| キャッシュ | --moe-cache-mib(グラフ断片化で約10%減) | なし | なし |
| ディスク階層 | なし(RAM前提) | なし | offload_folder |
| トークンごとに動くもの | 活性値のみ | ホットなエキスパートも毎回 | 層の全エキスパート |
Streaming MoE experts directly from SSD gets within 6% of Strata on token generation.
MoEのエキスパートをSSDから直接ストリーミングすることで、トークン生成においてStrataの6%以内に迫った。
今後の見通し
今回の実装はPRの形で公開されており、APIの形が固まればTransformers標準のオプションとして使える可能性があります。ただし層ごとの同期を扱うネイティブopがPyTorchのMPSに入るかどうかが、残り約6%を詰められるかの分かれ目になるとみられます。どのモデルサイズと量子化の組み合わせなら実用的な速度に届くのか、バッチ処理や長文でStrataとの差がどう開くのかは現時点では示されていません。32GB以外のメモリ構成での結果も公表されておらず、追試が待たれます。
日本の開発者・IT企業にとっての意味
大規模MoEをコンシューマ向けのメモリ量で動かすための手法が、Transformers本体のオプションとして提案された点は実務上の意味が大きいと考えられます。MoEの重みの9割以上をエキスパートが占めるため、ルーティングで選ばれた分だけをSSDから読み、grouped_mmをそのまま使えるスロットプールに載せる、という設計は他の推論スタックにも応用できます。自前で推論基盤を持つ企業にとっては、量子化ビット数、キャッシュサイズ、I/Oスレッド数、プリフェッチの深さといった調整項目のチェックリストとして参考になります。一方で、現状は約14トークン/秒の実験的な実装であり、APIも流動的です。すぐに本番へ投入するものではなく、Transformersのオフロード挙動を理解するための材料として位置づけるのが妥当でしょう。
気になる点
- 手元の環境で試すにはどうすればよいですか
- 記事で示されているのは、huggingface/transformersのPR #50717をpip installで直接インストールする方法です。あわせてモデル変換スクリプトとMetalカーネルを含むパッケージ、ベンチマーク用のSpace(tarekziade/moe-expert-streaming)も公開されています。ただし対象は標準的なexpertsレイアウトを持つMoEモデルに限られます。
- llama.cppやvLLMから乗り換える価値はありますか
- 著者の整理では、エキスパートがRAMに収まる場合はllama.cppが非常に強く、置き換える理由は乏しいとされています。RAMに収まらずSSDからのストリーミングが必要な場合に選択肢になります。ただしAPIはまだ確定しておらず、速度も約14トークン/秒と実用には不足しています。
- 32GB以外のメモリ量ではどうなりますか
- 原文で示されているのはMacBook M5の32GBユニファイドメモリでの結果のみです。エキスパートキャッシュに12GiBを割り当てた構成でピーク25.4GiBに達しており、メモリ量を変えた場合の速度や安定性は公表されていません。キャッシュを広げれば速度が変わる可能性はありますが、それを示す測定結果は示されていません。
用語解説
- MoE(Mixture of Experts)
- 入力トークンごとに一部のエキスパート(部分ネットワーク)だけを選んで計算するモデル構造。総パラメータを増やしても計算量を抑えられる。
- エキスパート・オフロード
- 使わないエキスパートの重みをCPUメモリやディスクへ退避し、必要になったときに読み込む手法。
- grouped_mm
- 複数エキスパートの行列積を1つのカーネルにまとめて実行する演算。1個ずつ回すより高速。
- プリフィル
- プロンプト全体を読み込んで内部状態を作る段階。1トークンずつ生成するデコードと対比される。
- ユニファイドメモリ
- CPUとGPUが同一のメモリ空間を共有するApple Siliconの方式。オフロードの意味合いが変わる。
- KVキャッシュ
- 生成済みトークンの注意計算の途中結果を保持する領域。系列が長いほど大きくなる。
出典
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する