- AIが開発したとされるOSSのAIアクセラレータ。FPGAカードで10モデルを実行
- 実機はシミュレータと同じトークンをビット単位で生成。設計はSystemVerilogで公開
- 4bit量子化でデコードが40〜45%高速化。ただしデコードはDRAM帯域に律速
AIが設計したアクセラレータ
オープンソースのAIアクセラレータ「openTPU」がGitHubで公開されました。リポジトリの説明では、AIによって開発されたアクセラレータと位置づけられています。二つの問いを立てているとされ、一つはAIエージェントがハードウェア設計でどこまで進めるか、もう一つはAI自身の推論を走らせるチップを作れるかです。ライセンスはApache License 2.0です。
openTPUは学習プロジェクトでもあります。アクセラレータの全体が1つの小さなモノレポにまとまり、端から端まで読める構成になっています。含まれるのはSystemVerilogで書かれたハードウェア設計、命令セット、ビット一致のシミュレータ、カーネル言語とそのコンパイラ、実際のPCIeカードを駆動するホストソフトウェアです。Pythonの行列積から配線レベルまでを追えるため、AIアクセラレータの仕組みを学ぶ入口になると説明されています。
FPGAカードでの実行結果
設計は、Inspur YPCB-00338カード(Xilinx Kintex-7 xc7k480t、DDR3 2チャネル)上で、10の現代的なモデルを実重みのまま実行します。カードはシミュレータと同じトークンをビット単位で生成したと報告されています。測定は2026年9月29日から10月1日にかけて、複数のモデルで行われました。対象にはLFM2-2.6B、SmolLM3-3B、Phi-4-mini、Qwen3.5-2Bと4B、Gemma 4などが含まれます。
ロジットをカードの実行中にストリームする構成では、デバイス時間とウォール時間のトークン毎秒は、Qwen3.5が24.6 / 24.2、LFM2-2.6Bが11.07 / 11.02、SmolLM3-3Bが8.92 / 8.89、Phi-4-miniが6.69 / 6.67と報告されています。いずれもビルドBでの測定です。カード自身がトークンを選ぶデコードループでは、Gemma 4 E2Bがint8で11.01、4bitヘッドで12.73トークン毎秒、E4Bが3.83トークン毎秒でした。
4bit重みはFP4値と2段階のブロックスケールを使い、重みあたり4.25ビットで表現します。LMヘッドは精度のためint8のままです。これによりトークンあたりのバイト数が約3分の1になり、デコード速度が40%(Qwen3.5)から45%(Qwen3、LFM2)向上する一方、パープレキシティには測定可能なコストがあると、docs/quant.mdでモデルごとに報告されています。
設計の狙いと仕組み
openTPUは、auto-arch-tournamentの教訓をAIアクセラレータに持ち込む試みと説明されています。Vivado実行のトーナメントが、タイミングマージンと面積の改善を続けているとされています。
マシンは意図的に単純に作られています。シーケンサが1サイクルに1命令を発行し、いくつかのユニットに振り分けます。DMAがデータを移動し、行列ユニットがDRAMからストリームしたint8重みを掛け、ベクトルユニットがfp32の計算を行い、量子化器が結果をint8に戻します。キャッシュや隠れたスケジューリングはなく、すべてのデータ移動が命令であるため、トレースを見ればサイクルがどこに使われたか分かります。
プロファイラ「Lens」は、RTL、シミュレータ、カードのいずれかから実行を記録し、ブラウザで開いてroofline、タイムライン、命令ごとのテーブルを表示します。どのユニットが各サイクルで何をしているか、DRAM待ちなのか別の命令待ちなのかを色分けして示すと説明されています。
旧イメージとの比較
以前の本番イメージ「se-cand3」は、Xilinx MIG、2列の行列ユニット、120.755 MHzのクロックで構成されていました。新しいイメージは、LiteDRAMコントローラ、4列のシストリック行列ユニット、133.33 MHzのクロックを採用し、全モデルで1つのビットストリームを使います。メモリコア内の小さなCPUが、起動時にホストを介さず12秒で両方のDDR3チャネルをキャリブレーションします。
同じ方法で測ると、新しいイメージのデコードは全構成でse-cand3の2.3%以内でした。デコードはDRAMに律速され、LiteDRAMはDDR3ピークの82〜85%で読み出しており、これはMIGと同じ水準です。プリフィルはQwen3.5で1.3倍、LFM2の4bitで2.0倍高速になったと報告されています。
現時点の制約と課題
現状のボトルネックはDRAM効率です。デコードはDDR3-1066のピークの82〜85%しか読み出せておらず、LiteDRAM経路の効率改善が進行中とされています。
タイミングは133.33 MHzでぎりぎりです。128バイトポートが2つのDDR3チャネルに追いつくクロックとして選ばれていますが、WNSは+0.032 nsにとどまります。デコードはDRAM律速のため、クロックを上げても主にプリフィルが改善すると説明されています。プリフィル自体は、4列シストリック行列ユニットの乗算レートに制限されています。
メモリ容量の制約もあります。Qwen3.5-4Bのint8イメージは4GiBを超え、Gemma 4 E2Bはint8ではカードに収まりません。カードのDRAMは4GiBです。4GiBを超えるMoEモデルは、エキスパートをホストストレージからストリームして実行します。
| 項目 | se-cand3(旧) | 新イメージ |
|---|---|---|
| DRAMコントローラ | Xilinx MIG | LiteDRAM |
| 行列ユニット | 2列シストリック | 4列シストリック |
| クロック | 120.755 MHz | 133.33 MHz |
| デコード速度 | 基準 | 全構成で2.3%以内 |
| プリフィル速度 | 基準 | 1.3〜2.0倍 |
It asks two questions: how far can AI agents go at hardware design, and can they build the chip that runs their own inference?
それは二つの問いを立てる。AIエージェントはハードウェア設計でどこまで行けるのか、そして自分自身の推論を走らせるチップを作れるのか。
今後の見通し
次の課題は、DRAM効率、タイミングマージンと面積、プリフィルの高速化です。デコードはDDR3-1066ピークの82〜85%で律速されているため、LiteDRAM経路の改善がどこまで効くかが注目されます。AIによるハードウェア設計がどこまで一般化できるかは、他の設計手法との比較や、Kintex-7以外のFPGAへの移植性が示されれば判断できるとみられます。商用AIアクセラレータと比べた性能の位置づけは、外部製品との比較結果が公開されない限り評価できません。
日本の開発者・IT企業にとっての意味
日本のIT企業や開発者にとって、RTLからISA、コンパイラ、PCIeカードのホストソフトまでを一貫して読めるオープンソースのAIアクセラレータが登場した意味は小さくありません。FPGA上で推論をオフロードする際の参照実装として、あるいはハードウェアとソフトウェアの境界を学ぶ教材として使えます。AIエージェントにハードウェア設計をさせる試みは、設計自動化の将来を検討する材料になります。一方で、現状はDDR3接続のKintex-7を対象とし、デコードはDRAM帯域に律速されるため、クラウドGPUの性能には及ばないとみられます。導入を検討する場合は、対応カードの入手性と、4bit量子化がパープレキシティに与える影響を確認する必要があります。
気になる点
- FPGAカードを持っていなくても試せるのでしょうか。
- はい。原文によれば、カード以外はノートPCで動きます。pip installでセットアップし、シミュレータ上でotpu-chatによるチャットを実行できます。RTLテストにはVerilator 5が必要とされています。FPGAカードを使う場合は、ビットストリームをビルドしてJTAG経由で書き込み、otpu-setupとotpu-chatを実行する手順が示されています。
- ライセンスは何ですか。商用利用はできますか。
- Apache License 2.0で公開されています。原文には商用利用の可否に関する個別の説明はありません。ライセンス本文の条件に従う形になりますが、本記事の範囲では判断できないため、利用時はリポジトリのLICENSEを確認してください。
- 商用AIアクセラレータと比べて速いのでしょうか。
- 原文には他社製アクセラレータとの比較はありません。示されているのはカード上での実測値(例: Qwen3.5で24.6トークン毎秒)と、旧イメージse-cand3との比較だけです。他のハードウェアと比べた位置づけは、現時点では公表されていないため判断できません。
用語解説
- FPGA
- 書き換え可能な集積回路。回路構成を後から変更でき、専用チップを作る前に設計を試せる。
- SystemVerilog
- デジタル回路を記述・検証するためのハードウェア記述言語。本記事ではアクセラレータのRTL記述に使われる。
- シストリック行列ユニット
- 多数の演算器を格子状に並べ、データを波のように流して行列積を高速に計算する回路方式。
- ISA
- 命令セットアーキテクチャ。プロセッサが解釈する命令の体系。本記事では1命令が8個の32ビット語。
- MoE
- 混合エキスパート。入力ごとに一部の専門家(エキスパート)だけを使うモデル構造で、計算量を抑えつつ規模を増やせる。
- ビット一致
- 実機とシミュレータが同じビット列の結果を出すこと。本記事では全構成でトークン単位の一致を確認している。
出典
AI is now capable of developing its own inference hardware
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する