- ブラウザ内でLLM推論が可能なエンジンで、WebGPUによりハードウェアアクセラレーションを実現
- OpenAI APIと互換性があり、ストリーミングやJSONモードなどに対応
- Llama 3やPhi 3、Mistral、Qwenなど複数モデルをサポートし、カスタムモデルも統合可能
WebLLMの概要と特徴
WebLLMは、ブラウザ上でLLM推論を実行するための高性能エンジンです。WebGPUを利用してハードウェアアクセラレーションを実現し、サーバーサイドの処理を必要とせずに、ブラウザ内だけでLLMの推論を完結させます。このアプローチにより、ユーザーのデータをサーバーに送信することなく、プライバシーを保護しながらGPUアクセラレーションの恩恵を受けられます。
WebLLMはMLC LLMの姉妹プロジェクトであり、MLC LLMが目指す「ハードウェア環境を問わないLLMのユニバーサルデプロイ」をブラウザ向けに実現したものと位置づけられます。npmパッケージやCDN経由で簡単に統合でき、UIコンポーネントと接続しやすいモジュール設計が特徴です。
OpenAI API互換の意義
WebLLMの大きな特徴は、OpenAI APIと完全に互換性があることです。つまり、これまでOpenAI APIを使って開発してきたアプリケーションは、コードの大部分を変更せずに、ローカルで動作するオープンソースのLLMに切り替えられます。ストリーミングやJSONモード、シーディングなどの機能もサポートしており、APIの互換性を保ったままブラウザ内推論の利点を得られます。
この互換性は、開発者にとっての移行コストを大幅に下げるものです。サーバーサイドでOpenAI APIを呼び出していたコードを、WebLLMのengine.chat.completionsインターフェースに置き換えるだけで、ブラウザ内で完結するAIアシスタントを構築できるようになります。
対応モデルとカスタム統合
WebLLMは、Llama 3、Llama 2、Phi 3、Mistral、Gemma、Qwen（通义千问）など、主要なモデルファミリーをネイティブにサポートしています。モデルはMLC形式で配布されており、完全なリストはMLC Modelsのページで確認できます。必要に応じて、カスタムモデルをMLC形式でコンパイルし、WebLLMに統合することも可能です。
モデルの読み込みは初回時にダウンロードが発生するため、時間がかかる場合があります。キャッシュバックエンドとして、ブラウザのCache API（デフォルト）、IndexedDB、Origin Private File System（OPFS）、実験的なChrome拡張機能を利用するクロスオリジンストレージの4種類が選択可能で、モデルの再利用時の読み込み時間を短縮できます。
導入方法とアプリケーション例
WebLLMの導入はシンプルで、npmやyarn、pnpmなどのパッケージマネージャーを使ってインストールできます。CDN経由でのインポートにも対応しており、jsDelivrを利用してURLから直接読み込むことで、クラウド開発環境でもすぐに試せます。
基本操作はMLCEngineインターフェースを中心に構成されています。CreateMLCEngine()関数でモデルを読み込み、engine.chat.completions.create()を呼び出せば、OpenAIスタイルのチャット完了を実行できます。また、Web WorkerやService Workerを利用して重い計算を別スレッドにオフロードする方法もAPIとして用意されており、UIのパフォーマンスを最適化できます。
WebLLMのサンプルコードやデモはGitHubリポジトリのexamplesフォルダとWebLLM Chatで公開されています。これらのリソースを参考にすれば、チャットボットやブラウザ拡張機能など、さまざまなアプリケーションを構築できます。
現時点での制約と注意点
WebLLMはWebGPUに依存しており、WebGPUをサポートするブラウザでのみ動作します。また、モデルのダウンロードは初回時に時間がかかり、モデルサイズやネットワーク環境によっては数分から数十分かかる場合があります。キャッシュ戦略を適切に設計しないと、ユーザー体験を損なう可能性があります。
関数呼び出し（function-calling）はWork in Progressとして開発中であり、現時点では完全な機能ではありません。また、対応モデルのリストは限定的で、より多くのモデルを利用したい場合は、ユーザーが自分でモデルをMLC形式にコンパイルする必要があります。
| バックエンド | 説明 |
|---|---|
| cache | ブラウザのCache API（デフォルト） |
| indexeddb | ブラウザのIndexedDB |
| opfs | オリジン専用ファイルシステム（OPFS） |
| cross-origin | 実験的なChrome拡張機能を利用（未インストール時は自動でデフォルトにフォールバック） |
WebLLM is a high-performance in-browser LLM inference engine that brings language model inference directly onto web browsers with hardware acceleration. Everything runs inside the browser with no server support and is accelerated with WebGPU.
WebLLMは高性能なブラウザ内LLM推論エンジンであり、言語モデルの推論をハードウェアアクセラレーションを伴ってウェブブラウザに直接もたらします。すべてがブラウザ内で動作し、サーバーのサポートは不要で、WebGPUによってアクセラレーションされます。
今後の見通し
WebLLMは今後、ブラウザ上で動作するAIアシスタントの選択肢を広げると見られます。特に、WebGPUの対応ブラウザが増え、モデルの量子化技術が進めば、より大規模なモデルをブラウザ上で実行できる可能性があります。現時点では関数呼び出しの実装や対応モデルの拡充が進むかどうかが、実運用での採用を判断するポイントになるでしょう。また、WebLLMの性能と従来のサーバーサイド推論との実用的な比較は、実際のアプリケーションで測定して評価することが重要です。
日本の開発者・IT企業にとっての意味
日本のIT企業や開発者にとって、WebLLMは「サーバーレスでLLMを提供する」新たな選択肢を示すものです。従来、LLMを利用したWebアプリケーションを構築する際は、APIサーバーを立てるか、外部のLLM APIを呼び出す必要がありました。WebLLMを使えばブラウザ内で完結するため、サーバーコストを抑えつつ、ユーザーデータを外部に送信しないプライバシー保護型のサービスを構築できます。また、OpenAI API互換という点は、既存のOpenAI APIベースのアプリケーションをローカル実行に切り替える際の移行障壁を下げます。ただし、WebGPUのブラウザサポートやモデルダウンロード時間など、実用上の制約を考慮した設計が求められます。これからブラウザ上でのAI導入を検討する企業は、WebLLMの今後の開発動向を注視する価値があるでしょう。
気になる点
- WebLLMはどのブラウザで動作しますか？
- WebGPUをサポートするブラウザで動作します。具体的な対応ブラウザの一覧は原文には記載されていませんが、WebGPUは主要ブラウザで徐々にサポートが拡大しています。導入前にターゲットとするブラウザでの動作確認が必要です。
- OpenAI APIからの移行はどの程度容易ですか？
- WebLLMはOpenAI APIと互換性があり、chat.completionsインターフェースが類似しているため、比較的容易に移行できると見られます。ただし、modelパラメータはサポートされず、代わりにCreateMLCEngine()でモデルを指定する点が異なります。
- 独自モデルをWebLLMで利用できますか？
- 可能です。モデルをMLC形式にコンパイルし、MLCEngineに統合できます。ただし、コンパイル手順の詳細は原文では説明されておらず、MLC LLMのカスタムモデルガイドを参照する必要があります。
用語解説
- WebGPU
- ブラウザからGPUを利用するためのWeb標準API。高性能な計算処理が可能になります。
- MLC LLM
- 様々なハードウェア環境でLLMを実行するための機械学習コンパイラ基盤です。
- 量子化
- モデルの重みを低精度の数値で表現することで、メモリ使用量を削減し計算を高速化する技術。
- OpenAI API
- OpenAIが提供するLLMを呼び出すためのAPI。標準的なインターフェースとして広く使われています。
- JSONモード
- LLMの出力をJSON形式で返す機能。構造化されたデータを生成することができます。
出典
WebLLM: high-performance in-browser LLM inference engine
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する