重みなしニューラルネット、掛け算をやめて超低消費電力へ｜テキサス大研究

発表の内容

テキサス大学オースティン校のLizy K. John教授は、AIモデルの演算を効率化する「weightless neural networks」（重みなしニューラルネットワーク）の研究成果をIEEE Spectrumのインタビューで紹介した。通常のニューラルネットワークは入力と重みの掛け算を数百万〜数十億回繰り返すが、この手法では代わりに2値入力をルックアップテーブル（LUT）に通す。これは同じ計算を繰り返すのではなく、記憶した答えを引くことに近い動作だ。

John教授によれば、タスクによっては従来モデルと同等の精度を保ちつつ、サイズが1000分の1以下、速度が1000倍になるという。すでに医療センサーや活動追跡、キーワードスポッティングなど小さな課題での実証が進んでおり、将来的にはチャットボットの基盤となるTransformerモデルへの応用も見据えている。

新しい技術の仕組み

従来のニューラルネットワークは、1943年のマカロック・ピッツモデルに基づき、多数のニューロンを数百万〜数十億規模に拡張して作られている。John教授は、この拡張は必ずしも必要ではないと指摘する。LUT方式では、0か1かを参照して進むか否かを決める。重みが持つ16ビットや30ビットの精度が不要になるため、ハードウェアで高コストな掛け算を排除できる。

研究チームはFPGA（書き換え可能な集積回路）上で実装し、GPUを使わずに動作する非常に小さなニューラルネットワークを約6か月で作成した。チップ上に収まる大きさで、従来のモデルより1000倍小さくできるとしている。また、データは既存モデルと同じものを利用でき、むしろ少ないデータで済む可能性があると述べている。

実証された性能と応用

人間の活動認識や心電図（ECG）、脳波（EEG）、血圧などの医療モニタリングでは、消費エネルギーを従来比1000分の1に抑えられると報告されている。具体例として、ある問題で最も性能の良い小型AIモデルが17メガバイトだったのに対し、研究チームのモデルは14キロバイトで、1000倍以上小さかった。

キーワードスポッティングでは、業界最高水準のモデルが1回の推論あたり5000ナノジュール以上を消費するのに対し、この方式では42〜79ナノジュールで処理できる。さらに、不整脈検出器をプラスチック製の曲げられる基板上に構築した。この基板には約1万ロジックゲートしか搭載できないが、従来型のニューラルネットワークは動作せず、同方式では動作する。製造時の水使用量も少なく、持続可能性の面でも利点がある。

今後の課題と展望

John教授はTransformerへの応用にも取り組んでいる。Transformerはアテンション層と多層パーセプトロン（MLP）を交互に繰り返す構造で、すでに約半分を占めるMLP部分はLUT方式に置き換えられた。アテンション層の置き換えはまだだが、将来的には言語モデルも対象としたいと話す。

訓練は現在GPUで行われるが、FPGAには小規模なLUTが元々組み込まれており、訓練と推論の両方に自然に適しているとJohn教授は述べている。現状ではこの技術に取り組む研究者は少数にとどまるが、大規模言語モデルでの成功を示せれば関心が集まると期待している。以前は必要性が薄かったが、今は必要に迫られている、と彼女は指摘する。