Basetenが130億ドル調達、推論エンジニアリングの最前線とは

大型調達と推論技術の台頭

ポッドキャストに登場したのは、推論基盤を手がけるBasetenのPhilip Kiely氏とAli Taha氏です。同社は最近、130億ドルの大型調達を完了し、AIインフラ分野のデカコーン企業の一角となっています。かつて推論エンジニアリングはほとんど存在しない分野でしたが、いまではAI開発に欠かせない専門領域になりつつあります。

Philip氏は「Inference Engineering」という書籍を執筆し、Ali氏はオープンウェイトモデル「Kimi K3」の技術解析で注目を集めました。本編では、モデルの提供開始直後から本番運用までに必要な技術を詳しく解説しています。

推論を高速化する3つの技術

200,000トークンの長いリクエストが来たとき、最初に行うのは「同じクエリを過去に処理したことがあるか」という確認です。キャッシュ認識ルーティングによって、既に計算済みのKVキャッシュを持つGPUにリクエストを振り分け、一部の計算を省略できます。これにより、応答時間とコストを大幅に削減できる可能性があります。

次に、入力処理と出力生成を分離する「prefill/decode分離」が重要です。入力全体を処理してKVキャッシュを作るプレフィルと、トークンを1つずつ生成するデコードを別々のGPUで実行することで、それぞれに最適なチューニングが可能になります。さらに、小さなモデルである「スペキュレーター」を使い、大きいモデルの出力を先回りして推測する投機的デコードも有効です。

量子化の誤差とモデル改造

量子化はモデルを軽量化する技術ですが、精度劣化が懸念されます。しかし、GLM-5.2を使った実験では、モデル内のより多くの層を量子化してもベンチマーク性能が維持され、スループットが20%向上したといいます。これは各層で生じる誤差が互いに打ち消し合うためだと説明されています。

また、BasetenはKimiの視覚エンコーダをGLM-5.2に移植し、言語モデル自体は変更せずに画像対応を実現した例も紹介しました。このように、既存モデルの非効率な層を他のアーキテクチャの部品で置き換える「モデル改修」が行われています。

今後の課題と展望

議論はLLMの枠を超え、NVIDIA DynamoやRubinといった次世代ハードウェア、動画生成、ローカル推論にも及びました。特に動画生成は、長編コンテンツの生成に必要な計算量が大きく、二次関数的な注意機構のボトルネックがあると指摘されます。

さらに、訓練と推論の境界が曖昧になり、KVキャッシュを永続的なメモリとして使う継続学習や、モデル自身が自身を実行するインフラを最適化するというフィードバックループの可能性も議論されました。推論エンジニアリングは、今後さらに重要な役割を担うでしょう。