- Granite-Switch-4.1-8Bと-30Bの2サイズで公開された
- VRAM使用量はベースモデルとほぼ同じで複数機能を同居させる
- アダプタはKVキャッシュを共有し、機能切り替えを高速化する
発表された内容
IBMはHugging FaceのブログでGranite Switch 4.1を発表しました。対象はGranite-Switch-4.1-8BとGranite-Switch-4.1-30Bの2モデルです。いずれも、汎用的な意思決定を担う新しいDecision aLoRA、安全性に関わる判断に特化したGuardian aLoRA、音声認識モデルGranite-Speech-5.0-Turbo-CTCの3つを1つのモデルにまとめた構成になっています。
Granite-Speech-5.0-Turbo-CTCは、OpenASR Leaderboard上で最速のASRモデルだと説明されています。ASRは音声を文字起こしする技術です。これら3つとベースモデルを合成しても、GPU上のVRAM使用量はベースモデル単体とほぼ同じにとどまるとされています。
Granite-switch-4.1-8bは、音声の文字起こし、要約の生成、有害コンテンツのスクリーニング、15種類以上の汎用フラグの判定を、単一のエンドポイントでリアルタイムに実行できるとしています。
Activated LoRAとKVキャッシュ
Granite Switch 4.1のアダプタは、キャッシュ効率を重視したActivated LoRA(aLoRA)として実装されています。アダプタはベースモデルに後付けする小さな追加パラメータで、LoRAはその代表的な手法です。ベースモデルで生成したKVキャッシュを、その後のアダプタによる判断処理にそのまま使い回せる点が特徴だと説明されています。
KVキャッシュは、過去のトークンに対応する内部状態を保持して再計算を避けるための仕組みです。IBMはあわせて、低ランクアダプタの推論を高速化するvLLMへの貢献と、ASRエンコーダの同居配置を挙げています。これにより、チャット・判断・音声の各リクエストを高速に切り替えられるとしています。
狙いは、用途ごとに専用モデルを並べてGPUを分割するのではなく、1つのベースモデルに複数の役割を相乗りさせる設計にあります。原文では「より少ないGPUでより多くの能力」という表現が使われています。
既存アダプタとの関係
判断モデル自体は新しいものではありません。IBMは以前にGranite Librariesを公開しており、そこには特化型の判断モデルアダプタや各種タスク用アダプタがリポジトリとしてまとめられています。これらを組み合わせて、独自のGranite Switchモデルを構成できます。
原文では、Jevなどのクローズドな判断モデルが汎用性を重視している一方、Granite Librariesの特化アダプタは特定の分類タスクで汎用モデルを上回る場合があると説明されています。アダプタはベースモデルのKVキャッシュを共有するため、汎用の判断アダプタに特化アダプタを足してもコストはほとんど増えないとしています。
Granite-Switch-4.1-30B(凍結したGraniteベースに4つの特化aLoRA)とJev-27B(凍結したQwenベースに1つの汎用判断LoRA)を比べた「Race」では、Granite-Switch-4.1-30Bの方が現実的な5ステップのRAGワークフローを大幅に速く完了できたと報告されています。なお、Guardian aLoRAは安全性関連の判断タスクで、平均するとJev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions、Clef-Flashを上回るとされています。
3BモデルでのDoom実験
IBMは、カスタムの3BパラメータGranite Switchモデルに古典ゲーム「Doom」をプレイさせた例も紹介しています。Jevと同様に瞬時の判断でゲームを進められますが、その速度は毎秒60〜100判断で、Jevが報告している毎秒10判断と比べて高速だとしています。
さらに、Jevと異なり、このGranite Switchモデルはプレイ中に状況を語ったり質問に答えたりすることもできると説明されています。ただしこれは3Bのカスタム構成での結果であり、Granite-Switch-4.1-8Bや-30Bの性能を直接示すものではありません。
注意点と今後の予定
Granite-Switch-4.1-8Bと-30Bは、あらかじめ有用なアダプタを同梱した「batteries included」の構成で公開されています。ただし、この構成をそのまま使う必要はなく、Granite Librariesのアダプタを組み合わせて独自のGranite Switchモデルを構成できるとされています。
IBMは今後、Melleaでアダプタを学習するためのAdapter SDKを、チュートリアルやGranite Switchのサポートとあわせて公開する予定です。判断ワークフローを補強する特化型の分類アダプタや、特定の言語タスク向けアダプタの自作が想定されています。
一方、このブログ記事では価格やライセンス条件、ベンチマークの詳細な数値、学習データの内容は示されていません。判断性能の比較は平均値としての言及にとどまるため、実運用での適合性は個別に検証する必要があります。
| 項目 | Granite-Switch-4.1-30B | Jev-27B |
|---|---|---|
| ベースモデル | Granite(凍結) | Qwen(凍結) |
| 判断用アダプタ | 特化aLoRA 4種 | 汎用判断LoRA 1種 |
| 5段階RAGワークフロー | より高速に完了 | 相対的に低速(原文の比較対象) |
All three of these technologies (along with the underlying base model) are composed into one model, taking up approximately the same amount of VRAM on a GPU as the base model would by itself.
これらの3つの技術は(基盤となるベースモデルとともに)1つのモデルに合成されており、GPU上で使用するVRAMはベースモデル単体とほぼ同じ量にとどまる。
今後の見通し
今後は、Granite Librariesへのサードパーティ製アダプタの追加と、Mellea向けAdapter SDKの公開が焦点になるとみられます。SDKが実際に提供されれば、特化アダプタを自作して組み込む際の学習コストや手順が明らかになり、日本企業が自社データで判断モデルを内製できるかの判断材料になります。また、8Bと30Bの精度差やレイテンシ、GPU別のVRAM実測値、Guardian aLoRAのタスク別内訳が公開されれば、安全性判定を既存のモデレーションAPIから置き換えられるかを見極めやすくなるでしょう。ライセンス条件と商用利用の可否も、導入判断に直結する未確認事項です。
日本の開発者・IT企業にとっての意味
日本のIT企業にとっての意味は、モデルを増やさずに機能を足せる点にあります。従来は文字起こし用のASR、モデレーション用の分類モデル、対話用のLLMを別々にホストし、それぞれにGPUを割り当てる構成が一般的でした。Granite Switch 4.1はこれらを1つのエンドポイントにまとめ、VRAM使用量はベースモデルとほぼ同じに保つとしているため、GPUコストと運用対象の数を抑えられる可能性があります。KVキャッシュをベースモデルとアダプタで共有する設計も、リクエストごとにモデルを切り替える際の待ち時間を減らす方向に働くとみられます。コールセンターの通話リアルタイム処理や、社内文書の要約と有害判定を同時に行うワークフローなど、音声とテキストと判断を組み合わせる用途では検討価値があるでしょう。一方で、日本語音声での認識精度や国内データでの安全性判定精度は記事では示されておらず、導入前の自社検証が欠かせません。
気になる点
- Granite Switch 4.1を使うと、ベースモデルより多くのVRAMが必要になりますか
- 原文では、3つの技術とベースモデルを合成しても、GPU上のVRAM使用量はベースモデル単体とほぼ同じになると説明されています。アダプタはベースモデルのKVキャッシュを共有する設計のため、機能を増やしてもGPUを増やさずに済むとされています。ただし具体的なVRAM量の数値は記事内では示されていません。
- 自社タスク向けのアダプタを追加して独自構成にできますか
- 可能だとされています。Granite Librariesにある特化アダプタを組み合わせて独自のGranite Switchモデルを構成でき、IBMは今後Melleaでアダプタを学習するためのAdapter SDKを公開する予定です。特化型の分類アダプタや言語タスク向けアダプタの自作が想定されています。SDKの提供時期は記事では示されていません。
- 商用利用の条件や料金はどうなっていますか
- このブログ記事では価格やライセンス条件に言及がありません。記事末尾でGranite Switch 4.1のモデルカードやGitHubリポジトリが案内されているため、利用条件はそれらを確認する必要があります。現時点でこの記事の情報だけから商用利用の可否を判断することはできません。
用語解説
- aLoRA(Activated LoRA)
- ベースモデルのKVキャッシュを再利用できるよう設計されたLoRA。LoRAはモデルに後付けする小さな追加パラメータで、目的別の振る舞いを低コストで足せる。
- LoRA
- 学習済みモデルの重みを変えず、小さな追加パラメータのみを学習して特定タスクに適応させる手法。
- KVキャッシュ
- Transformerが過去のトークンのKey/Valueを保持し、再計算を避けるための内部状態。再利用できると推論が速くなる。
- ASR
- Automatic Speech Recognitionの略。音声をテキストに変換する技術で、Granite-Speech-5.0-Turbo-CTCが用いられている。
- vLLM
- LLMの推論を高速化するオープンソースの推論サーバ。IBMは低ランクアダプタ推論の高速化に貢献したとしている。
出典
Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する