- BDH-CQはARC-AGI-1で29.2%のpass@2を記録し、1タスク0.0007ドルと報告
- 推論過程をトークン化せず、潜在空間の反復計算で候補を出力する設計
- 開発基盤はAmazon SageMaker HyperPod。H200搭載p5en.48xlargeとEFAを使用
BDHとは何か
Pathwayが開発するBDH(Dragon Hatchling)は、Transformerに代わる脳に着想したアーキテクチャです。ニューロンにあたる要素をノードとするグラフを持ち、ノード同士が疎で局所的な通信をし、シナプス結合に相当する形で記憶や推論の状態を保つという設計です。代表的なBDH-CQは、潜在空間と呼ばれる内部表現の中で反復計算を行い、候補となる答えだけを出力します。
通常のLLMは、推論過程をチェーン・オブ・ソートとしてトークン列で外部に書き出しますが、BDHは中間のテキスト痕跡を生成せず、例から学んで解を洗練させるとされています。Pathwayによれば、モデルは推論中に内部メモリを更新でき、ファインチューニングなしで新しい問題を扱えるようになることを目指しているようです。
Transformerの限界
記事はTransformerの問題を学習時と推論時に分けて整理しています。学習では、訓練データを超えた体系的な一般化が難しく、大量のデータと計算である程度補っています。知識を追加するには再学習やファインチューニングが必要で、その際に破壊的忘却が起きることもあります。推論では、密な活性化パターンによる計算負荷、固定されたコンテキスト窓、増え続けるKVキャッシュなどが制約になります。
BDHはヘッブ学習という経験則を注意機構の実装に使い、活性化するニューロンを通常約5%に抑えます。ノード間の結合重みがそのままモデルの状態に対応するため、意思決定の可視化もしやすい構造です。このため、Transformerより効率的に長い系列を処理できることが利点とされています。
ARC-AGI-1での成果
BDH-CQは視覚推論ベンチマークARC-AGI-1で29.2%のpass@2を記録し、1タスクあたりの計算コストは0.0007ドルと報告されています。ARC-AGI-1は、前後の具体例から未知の視覚ルールを推定し、新しいグリッドへ適用できるかを問う問題です。特定のモデルアーキテクチャは定めずに、人間らしい汎用推論能力を測る目的で使われます。
Pathwayは、この結果がARC-AGI-1におけるコストと精度のパレート最前線を変えたと主張しています。同社CEOのズザナ・スタミロフスカ氏は、今日のAIは推論に対して高いトークンコストを払っているが、それは知能の法則ではなく設計の問題だと述べています。ただし、記事では他のモデルとの精度比較や、モデル自体の公開条件については触れられていません。
HyperPod上での開発
SageMaker HyperPodは、数百〜数千GPUにわたる分散学習・推論向けのマネージドサービスです。クラスタの自動設定、ネットワーク最適化、カスタムソフトウェアスタックを提供し、モデル開発者はインフラ管理から離れてモデル設計に集中できます。PathwayはここでPyTorchベースの学習をスケールし、GPU利用状況やノード間通信の可視化を行う監視スタックを組んだとしています。
今回の実験ではAmazon EC2 p5en.48xlargeインスタンスが使われました。このインスタンスはNVIDIA H200 GPUを搭載し、最大3200Gbpsのネットワーク性能を持ちます。インスタンス間はEFAで接続され、AWSのUltraCluster上で実行されたことで、GPU間のネットワーク距離を短くし、低レイテンシを図った構成です。
現時点で分からないこと
この記事は150MパラメータモデルによるARC-AGI-1の結果を報告している一方、BDHが数億〜数千億パラメータの大規模モデルでどう振る舞うかは公開情報からは判断できません。既存のTransformer中心のプロダクトやライブラリとの互換性、一般利用の時期も未公表です。
したがって、今後の評価は、追加のタスクと規模での実証、他組織による再現、推論速度や電力効率の具体的比較を待って行うのが妥当です。研究としての方向性が一つの曲がり角に来たと見ることはできます。
| 項目 | Transformer | Pathway BDH |
|---|---|---|
| 推論の外部表現 | CoTとしてトークンを逐次生成 | 潜在空間で反復計算し候補だけ出力 |
| コンテキスト長の制約 | 固定文脈窓とKVキャッシュに制約 | 高次元状態で長い系列を効率処理 |
| 活性化パターン | 密な活性化が中心 | 約5%のニューロンのみ活性化 |
| 知識の更新 | 再学習やファインチューニングが必要 | 推論中に内部メモリを更新(BDH-CQ) |
| 解釈性 | ほぼ不可能とされる | シナプス結合に状態が写像され可視化しやすい |
Every reasoning step consumes context, adds latency, and burns compute. We show that a different architecture changes the game and opens up a whole new space in terms of how much intelligence per dollar.
推論の各ステップはコンテキストを消費し、レイテンシを増やし、計算を燃やします。私たちは、異なるアーキテクチャがゲームを変え、1ドルあたりの知能という点でまったく新しい領域を開くことを示します。
今後の見通し
PathwayはARC-AGI-1という視覚的推論タスクで成果を示しました。次に注目すべきは、この潜在空間推論が言語生成やマルチステップの実務タスクでどれだけ汎用的か、数千万〜数百億パラメータの規模でも効率が保てるか、推論の実行コストが実環境でどのくらい下がるか、という点です。現時点では150Mパラメータモデルによる一断面の報告であり、他社が再現したり大規模モデルへ適用した結果が出れば、Transformerからの置き換えが進むか判断できます。AWSとの協業によりトレーニング基盤の面では既存のエコシステムに載りやすい一方、H200やEFAの環境は特別なものではないため、研究コミュニティの追試が待たれます。
日本の開発者・IT企業にとっての意味
日本のIT企業にとって、AI運用の主なコストはGPUリソースと推論時のトークン消費です。BDHが目指す潜在空間推論は、CoTが生む中間トークンのコストを抑えられる可能性があり、電力やGPU利用時間を気にする国内のシステム運用には関心が高いテーマです。SageMaker HyperPod上で学習できる点は、AWSを既に使っている企業にとってPoCを始めやすい利点になります。一方で、新興アーキテクチャのため互換性や安定性、監査面での確認も必要です。トレーニングだけでなく推論時のメモリ更新や疎活性化が、実運用のコスト構造にどう効いてくるかを、自社のデータで検証することが次の一歩になるでしょう。
気になる点
- ARC-AGI-1で29.2%という数字はどの程度すごいのか。他のモデルとの比較はあるか？
- 記事ではBDH-CQが「ARC-AGI-1でコスト効率の新しい状態を確立した」としていますが、他モデルの精度やコストとの具体的な比較表は示されていません。したがって絶対的な評価は、ベンチマークの公式結果や再現実験を待って判断する必要があります。
- このアーキテクチャを自社のシステムで試すことはできるのか？
- PathwayはBDHをPyTorchと統合し、学習にSageMaker HyperPodを利用しています。一方で、モデルの一般提供条件やAPI、導入ガイドなどは記事内で公表されていません。まずはHyperPodやAWSの関連リポジトリを確認し、Pathwayの公式発表を待つ形になるでしょう。
- 既存のTransformerベースのLLMからの移行は容易なのか？
- 記事によればBDHはPyTorchと統合され、SageMaker HyperPodで学習をスケールできます。ただし、既存の推論コードやプロンプト、ファインチューニング手法がそのまま動くかは記載されていません。新アーキテクチャ向けの調整が必要になる可能性が高いとみられます。
用語解説
- BDH(Dragon Hatchling)
- Pathwayが開発する脳型アーキテクチャ。ニューロンの疎で局所的な相互作用により状態を持つ。
- 潜在空間
- 入力データを圧縮・変換した内部表現の空間。BDHはこの上で反復計算して推論する。
- pass@2
- モデルが2回候補を生成し、その中に正解が含まれる割合を測る評価指標。
- ARC-AGI-1
- 少数の前後例から視覚ルールを推定し、新しいグリッドを完成させる汎用知能のベンチマーク。
- チェーン・オブ・ソート
- 推論過程を文章として逐次生成する手法。精度は上がるがトークン消費が大きい。
出典
Pathway’s brain-inspired architecture development on Amazon SageMaker HyperPod
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する