この記事について海外で公開された情報をもとにAIが要約・解説した記事です。原文の翻訳ではありません。正確な内容は記事末尾の出典元をご確認ください。
この記事の要点
  • 物理24層の中間12層を3回ループさせ、48層相当として動作するMoEモデル
  • 総パラメータ約26Bに対しトークンあたりの活性化は3B、1Mトークン文脈と画像入力に対応
  • 比較した48ベンチマーク中32で先行。量子化GGUFやMLX、SGLangのDay 0対応も提供

公開されたモデルの概要

Thinking Machines Labが公開した「Inkling 2 Mini」は、ローカルAI環境向けに設計されたマルチモーダルなMixture-of-Experts(MoE、トークンごとに一部の専門家ネットワークだけを使う方式)モデルです。物理的な総パラメータは約26Bですが、実際にトークンあたりで使われるのは3Bです。テキストと画像の入力を受け付け、1Mトークンという長い文脈長に対応します。

モデルは混合精度形式で配布され、専門家の重みにはNVFP4とMXFP8が使われています。さらにDSparkドラフタが同梱され、わずかなメモリ増と引き換えに追加の高速化が図れると説明されています。投稿では、上位モデルであるInkling 2 Smallよりずっと小型で、ローカル環境向けだと位置づけられています。

同じ層を3回通す仕組み

Inkling 2 Miniは24のデコーダ層を持ちますが、そのうち中間の12層(6〜17層)がループとして3回実行されます。最初の6層と最後の6層は1回だけ通るため、6+3×12+6で48回の層訪問となり、物理24層で48層相当の計算を行います。ループ内では同じ重みが再利用されるため、チェックポイントが保持する層の数は24層分に抑えられます。

ループの各パスは、最初の6層の出力という同一の入力から始まります。パス間の情報伝達は「クロスパスメッセージ」で行われ、各層は前のパスの出力から学習済みのクエリでメッセージを読み出します。さらに小さなゲーティングコントローラが現在の入力とメッセージの両方を見て、現在の入力をどれだけ忘却し、メッセージをどれだけ加えるかを決めます。結果として各パスは前のパスの計算結果を洗練させる形になります。

6層ごとのブロックは、5つのスライディングウィンドウ層と1つのフルアテンション層で構成されます。局所ウィンドウは最大1,024トークン、アテンションは24のクエリヘッドと8のKVヘッドを使います。ルーターはトークンごとに128あるSwiGLU専門家のうち8つを選び、選択スコアを正規化したうえで重みを8倍にスケールします。テキストデコーダの隠れ次元は2,304、各専門家の中間次元は1,152です。

ベンチマークと立ち位置

投稿によれば、Inkling 2 MiniはArtificial Analysis Intelligence Index v5(AAv5)で同クラス最高水準だとされています。Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VLとの比較では、48のベンチマークのうち32で先行したと報告されています。対象分野はコーディングや自動調査、エージェント的な検索とツール利用、視覚の解釈と生成、推論と知識、安全性とアラインメントにわたります。

コーディング関連ではFrontierCode v2.0で先行し、Terminal-Bench 4.0ではQwen3.8-27Bと同点、AutomationBench-AA v1.0.6ではQwenに劣るとされています。ただし投稿内の「vibeテスト」ではQwen 3.8 27Bと少なくとも同程度という評価で、著者自身も「より多くの検証が必要」と述べています。数値の詳細はモデルカードに委ねられており、第三者による再現評価はこれからの段階です。

推論環境と注意点

transformers、Llama App(llama.cpp)、MLX、SGLangでのサポートが提供されます。llama.cpp向けには4bit(IQ4_NL)と8bit(Q8_0)のGGUF量子化版が用意され、macOSのメニューバーやWindowsのシステムトレイから動かせるLlama AppではOpenAI互換のローカルAPIも利用できます。SGLangはDay 0対応で、データセンター向けの本番配備に使えるとされています。

実験的な取り組みとして、ループの回数を可変にした研究用モデル「TML-d24-varloop-research」も公開されました。ループを3回ではなく1回や2回に設定すると推論は大幅に速くなりますが、生成品質はやや下がる可能性があります。投稿では動作は確認したものの、詳細な評価は行っていないと明記されています。

SGLangで動かす場合の前提としてSM103上での実行が挙げられており、アテンションバックエンドにはfa4、文法制約にはxgrammarを指定する構成が示されています。reasoning_effortはnone(0.0)からmax(0.99)まで7段階が用意され、既定はhigh(0.9)です。

Inkling 2 Miniと上位版Inkling 2 Smallの構成比較
項目Inkling 2 MiniInkling 2 Small
隠れ次元数2,3044,608
層ごとの専門家数128384
トークンあたりの層訪問回数4848
想定用途ローカル環境より大規模な上位モデル
原文からの引用
It uses a neat trick to increase capacity: some layers are visited in a loop that repeats three times, which makes it work like it had more parameters.

容量を増やす巧みな仕組みを使っています。一部の層が3回繰り返すループの中で訪問されるため、より多くのパラメータを持っているかのように動作します。

今後の見通し

ループ回数を変えられる研究用モデルは、速度と品質のトレードオフを調整できる可能性がありますが、現時点では詳細な評価が行われていません。今後、各ループ回数での品質とスループットの関係が明らかになれば、ローカル環境での現実的な運用設定を判断できるとみられます。また、投稿の比較はベンチマークと「vibeテスト」が中心で、実際の日本語処理や長文脈での性能、量子化による劣化の程度は示されていません。第三者の追試やモデルカードの整備が進めば、導入可否の判断材料が揃うと考えられます。

日本の開発者・IT企業にとっての意味

総パラメータ約26Bに対してトークンあたり3Bのみを活性化する設計は、GPUメモリと計算量の制約が厳しいローカル環境やオンプレミス環境での選択肢を広げます。1Mトークンの文脈長と画像入力に対応するため、社内文書や図面を外部クラウドに出さずに扱う用途とも相性がよく、機密性を重視する日本のIT企業にとっては検証する価値のある構成です。llama.cppやMLX、transformersといった既存のツールチェーンで動く点も、導入時の学習コストを抑えられる要素といえます。一方で、性能の裏付けはベンチマークと投稿者自身の簡易評価が中心で、日本語での実力や量子化時の劣化は未確認です。まずは限定的なタスクで既存モデルと比較し、ライセンス条件と必要ハードウェアを確認したうえで段階的に評価する進め方が現実的です。

気になる点

量子化して手元のマシンで動かせますか
llama.cpp向けに4bit(IQ4_NL)と8bit(Q8_0)のGGUF量子化版が公開されており、Llama AppやCLIから読み込めます。MLX向けのサポートも用意されています。ただし必要なメモリ量や対応GPUの要件は原文に記載がないため、実機での可否は現時点では公表されていません。
ループ回数を減らして速くできますか
研究用モデルTML-d24-varloop-researchでは、text_configのloop_num_passesを変更することで1回や2回に設定できます。推論は大幅に速くなりますが生成品質はやや下がる可能性があり、投稿の著者も詳細な評価は未実施としています。
商用利用やライセンスはどうなっていますか
原文にはライセンス条件や商用利用の可否についての記載がありません。利用を検討する場合は、Hugging Face上のモデルカードや配布元の条項を直接確認する必要があります。本記事の範囲では判断できない点です。

用語解説

MoE(Mixture-of-Experts)
トークンごとに入力を受け取る専門家ネットワークを一部だけ選んで使う方式。総パラメータを増やしつつ計算量を抑えられる。
ループ型Transformer
同じ層ブロックを複数回繰り返し通す構造。重みを共有しながら、層数が多いのに近い表現力を狙う設計。
KVヘッド
注意機構でキーと値を計算するヘッド。クエリ数より少なくすることで推論時のメモリ消費を抑える。
スライディングウィンドウ注意
直近の一定トークン範囲だけを参照する注意機構。長い文脈でも計算量の増加を抑えられる。
GGUF量子化
重みを少ないビット数で表現する形式。IQ4_NLは4bit、Q8_0は8bitで、メモリと計算の削減を狙う。

出典

Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

Hugging Face / 2026年11月20日

https://huggingface.co/blog/inkling2mini

AI導入も顧問も、お任せください

何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。

AI導入について相談する