- メモリ制御をHBM側へ移し、XPUダイ面積を最大25%解放
- 標準HBM4E比で帯域幅最大30%向上、消費電力15%低減
- Annapurna LabsがTrainium4でNVLink Fusionを採用へ
発表の概要
NVIDIAは8月26日、AIインフラ向けのメモリ技術「NVHBM」を発表しました。これは、同社のラックスケール向けプラットフォーム「NVLink Fusion」を拡張するもので、AIエージェントやtrillion-parameter（1兆パラメータ）規模のワークロードが一般的になることを見据えた設計です。
従来のHBMは、メモリコントローラがXPUのダイ上に配置されていましたが、NVHBMではそのコントローラをHBMのベースダイに統合します。このアーキテクチャにより、XPUの計算資源をより広く使えるようになるのが特徴です。
技術の革新点
NVIDIAによると、NVHBMは標準HBM4Eと比較して、メモリ帯域幅を最大30%向上させ、HBMの消費電力を15%削減できるとのことです。また、XPUのダイ上で最大25%の面積を解放できるため、より多くの計算コアやキャッシュを搭載できる余地が生まれます。
NVHBMは、NVIDIAが将来のGPU向けに使用する技術と同じ基盤を採用しています。このため、カスタムXPUを開発する企業は、NVIDIAのGPUと同等のメモリ技術を利用できるようになると見られます。
エコシステムの広がり
NVLink Fusionは、NVIDIAのラックスケールプラットフォームにカスタムXPUやCPUを接続するための仕組みです。NVIDIAはNVHBMを複数のメモリプロバイダーの標準実装として提供する方針で、サプライヤーごとの統合や検証の手間を減らし、カスタムAIチップの市場投入を加速できるとしています。
この技術の最初の採用者は、アマゾンのAnnapurna Labsです。同社は次世代Trainiumチップを対象にNVLink Fusionをサポートし、Trainium4以降でAmazonのAIチップとNVIDIA GPUが共通のラックスケールアーキテクチャで連携する計画です。
今後の論点
現時点では、NVHBMを提供する具体的なメモリメーカーや、対応製品の登場時期は明らかにされていません。また、標準HBM4Eとの互換性や、既存のHBM4E設計から移行する際の具体的な工程も、今後の情報提供を待つ必要があります。
NVIDIAは、NVLink Fusionを通じてハイパースケーラーやAI企業がXPUの開発に集中できるようにし、スケールアップ・スケールアウトのネットワークやラックスケールのソフトウェアは実績のある技術スタックを利用できると説明しています。この方針が実際にどこまで普及するかが、今後の注目点と言えます。
| 項目 | 標準HBM4E | NVHBM |
|---|---|---|
| メモリ帯域幅 | 基準 | 最大30%向上 |
| 消費電力 | 基準 | 最大15%低減 |
| XPUダイの面積 | 基準 | 最大25%解放 |
NVHBM represents a new architectural approach to advancing high-bandwidth memory performance and efficiency. We look forward to this technology collaboration to benefit future AWS infrastructure designs.
NVHBMは、高性能メモリの性能と効率を向上させる新しいアーキテクチャのアプローチです。この技術協力が将来のAWSインフラ設計に役立つことを期待しています。
今後の見通し
NVHBMの導入は、AIインフラにおけるメモリ設計の分業を変える可能性があります。今後、どのメモリベンダーがNVHBMを量産し、どのハイパースケーラーが追随するかが重要なポイントです。また、Trainium4の実際の性能と、NVIDIA GPUとの連携効果が明らかになれば、AWS上でのAIワークロードの選択肢が広がると考えられます。日本企業にとっては、自社のAIインフラ戦略を検討する際に、こうしたカスタムチップの動向を注視する必要があります。
日本の開発者・IT企業にとっての意味
NVHBMは、AI向け半導体の設計に影響を与える技術です。日本のIT企業の中には、独自のAIチップを開発する動きがありますが、メモリ設計まで自社で行うのは容易ではありません。NVIDIAが標準的なNVHBM実装を提供することで、メモリが異なるベンダーでも共通化され、開発リスクを減らせる可能性があります。一方、NVLink Fusionに依存することでNVIDIAのプラットフォームへの依存度が高まるという見方もできます。実際に採用が進めば、AWSなどのクラウドサービス上でNVIDIA GPUとカスタムチップが混在する構成が当たり前になり、日本の開発者はより柔軟なインフラ設計を検討できるようになるでしょう。
気になる点
- NVHBMはどのメモリメーカーから提供されるのですか？
- NVIDIAは、複数のメモリプロバイダーによって検証・提供される標準NVHBM実装を確立すると発表しました。具体的なメーカー名や発売時期は現時点では公表されていません。
- Annapurna LabsがNVLink Fusionを採用すると、AWSの利用者にはどのような影響がありますか？
- Trainium4以降のAWSカスタムチップがNVIDIA GPUと共通のラックスケール構成で動作する可能性があり、AWSのAIクラウドサービスでNVIDIA GPUとTrainiumを組み合わせた処理が実現するかもしれません。ただし、実際のサービス内容や性能は未公表です。
- NVHBMは既存のHBM4Eメモリと互換性がありますか？
- 原文には互換性に関する記載はありません。NVHBMはメモリコントローラをベースダイに統合する新アーキテクチャのため、既存のHBM4Eと同一の設計にはならない可能性が高いと言えます。詳細は今後の発表を待つ必要があります。
用語解説
- NVLink Fusion
- NVIDIAのラックスケールプラットフォームにカスタムXPUやCPUを接続するための仕組み。NVIDIAのネットワーク技術やシステムを利用できる。
- NVHBM
- NVIDIAが提唱する次世代高帯域幅メモリ。メモリコントローラをHBMのベースダイに統合する。
- HBM4E
- 高帯域幅メモリの次世代規格。NVHBMの比較対象となる標準仕様。
- XPU
- 特定の用途向けに設計されたプロセッサ。GPUやTPUなどAI処理に特化したチップを指すことが多い。
- Trainium
- アマゾンのAIトレーニング向けカスタムチップ。AWSが提供する。
出典
NVIDIA NVLink Fusion Expands With NVHBM Custom High-Bandwidth Memory
https://blogs.nvidia.com/blog/nvlink-fusion-nvhbm-custom-high-bandwidth-memory
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する