ローカルLLMの電力あたり知能を測る新指標「IPW」、100万クエリで検証

IPWという新指標

この論文が提案するのは「Intelligence per Watt(IPW)」という指標です。消費電力1単位あたりのタスク精度を表し、モデルとアクセラレータの組み合わせを横断して比較できるようにする狙いがあります。従来のLLM評価は正答率やレイテンシが中心で、電力あたりの効率を統一的な尺度で測る試みは限られていました。ノートPCのように電力制約のある端末でローカル推論を評価するには、この軸が必要になるという問題意識だとみられます。

評価の規模は、最先端のローカルLMが20以上、ハードウェアアクセラレータが8種類(ローカルとクラウドの両方)、実世界の単一ターンのチャットおよび推論クエリが100万件です。各クエリについて、精度(フロンティアモデルに対するローカルLMの勝率)、エネルギー、レイテンシ、電力を計測しています。これだけの数のモデルとハードウェアを同一の枠組みで測った点が、この研究の特徴といえます。

3つの主な結果

第一に、ローカルLMはこれらのクエリの88.7%に回答できました。ただし精度はドメインによって変動するとされています。すべての種類のタスクで同じように使えるという意味ではない点には注意が必要です。

第二に、2023年から2025年までの経年分析で、IPWは5.3倍改善しました。アルゴリズムの進歩とアクセラレータの進歩の両方が寄与していると論文は述べています。同時に、ローカルで処理可能なクエリの割合は23.2%から71.3%へ上昇しました。

第三に、同一のモデルを動かした場合、ローカルアクセラレータはクラウドアクセラレータよりもIPWが少なくとも1.4倍低い、つまり電力あたりの効率が高いという結果です。論文はこれを、ローカルアクセラレータの最適化余地が大きいことの表れだと位置づけています。

クラウド集中の見直し

論文の問題設定は明快です。LLMのクエリは現在、集中型クラウド上のフロンティアモデルが主に処理しており、需要の伸びに対してプロバイダ側の増強が追いつかないという構図があります。そこに、小規模なローカルモデルの性能向上と、ローカルアクセラレータによる対話的なレイテンシでの実行という2つの変化が重なったという整理です。

そのうえで論文は、ローカル推論がクラウド基盤から需要を意味のある形で再配分し得ると結論づけています。対象はすべてのクエリではなく「相当な部分」であり、IPWをこの移行を追跡するための重要指標と位置づけています。性能だけでなく電力という制約を評価軸に据えた点が、従来のベンチマークとの違いです。

現時点での限界

評価対象は単一ターンのチャットと推論クエリです。複数ターンの対話やエージェント的な連続タスク、長いコンテキストを扱う場合の挙動は、要旨からは分かりません。88.7%という数字も「回答できた」割合であり、業務で求められる品質を満たすかどうかは別の判断になります。

また、ドメイン別の精度の内訳や、日本語を含む言語ごとの傾向、モデルのライセンス条件、電力料金を踏まえた金額ベースのコスト比較については、要旨では触れられていません。実運用への当てはめを判断するには、これらの情報が本文で示される必要があります。