PrismML、Snapdragon搭載スマートグラス向け小型LLMを発表

Snapdragon Summitで披露

AIラボのPrismMLが、QualcommのSnapdragonチップ上で動作するスマートグラス向けの小型言語モデルを作成し、Qualcommがそれを披露した。Qualcommは自社イベント「Snapdragon Summit」で、PrismMLの「1-bit Bonsai LLM」を紹介している。これはSnapdragon AR1 Gen 1プラットフォームを採用したAIスマートグラス上で、ローカルに実行できるモデルだ。

PrismMLはカリフォルニア工科大学(Caltech)の研究者が設立し、UCバークレーのIon Stoica氏が顧問を務めるAIラボである。TechCrunchが以前報じたように、同ラボは大きなモデルを大幅に小さくしつつ、標準ベンチマークでほぼ同じ性能を保つことを売りにしている。今回のケースでは、モデルサイズを4分の1に圧縮したという。

技術的に何が新しいか

スマートグラス向けのモデルは20億パラメータで、視覚と言語に合わせて調整されている。装着者は、いま見ているものをその場で尋ねることができると説明されている。カメラ映像と言葉の両方を扱う用途が想定されていると考えられる。

PrismMLの手法の特徴は、圧縮率の高さと性能維持の両立を主張している点にある。原文によれば、圧縮後も標準ベンチマークで性能のほとんどを保つとされている。ただし、どのベンチマークをどの程度のスコアで通過したのかは、この記事では示されていない。

オンデバイスAIという狙い

PrismMLが掲げる大きな目標は、デバイス上で動くオープンウェイトのAIである。原文では、すでに手元にある計算能力をより有効に使うことだと説明されている。同ラボはこれを、独自のAIラボが掲げるプライバシー保護の約束や、際限なく増え続ける計算需要に依存するやり方への代替案として位置づけている。

Qualcommのチップ向けにモデルを提供することは、その構想に向けた一歩と位置づけられる。スマートグラスは常に身につける端末であり、カメラ映像を扱うため、クラウドに送らず端末内で処理する利点が大きいと考えられる。もっとも、これは同ラボの主張であり、実機での検証結果は示されていない。

現時点で分かっていないこと

現時点で、PrismMLのモデルを搭載したスマートグラスは発表されていない。提供時期や価格、ライセンス条件、対応する言語なども、この記事からは分からない。実際にどれだけの速度で動き、バッテリーをどれだけ消費するかも明らかにされていない。

モデル名にある「1-bit」や「Bonsai」の技術的な意味についても、原文は説明していない。低ビット化によってメモリ使用量や計算量を抑える設計だとみられるが、詳細は今後の情報公開を待つ必要がある。Snapdragon Summitでの披露は、あくまで技術デモの段階とみられる。