Mistral Large 4公開、1TのMoEと1Mコンテキスト、サイバー防御に強み

公開されたモデルの概要

Mistral Large 4(通称Le Chonk)は、Mistralが公開したマルチモーダル・多言語モデルです。テキストと画像を入力として受け取り、テキストを生成します。Mixture-of-Experts(MoE、入力トークンごとに一部の専門家ネットワークだけを動かす方式)を採用し、総パラメータは約1T、1トークンあたり実際に使われるのは49Bです。コンテキストウィンドウは1Mトークンで、長い文書やコードベースをまとめて扱える設計になっています。

公式には2つのバリアントが提供されると記されていますが、記事内では個別の名称までは示されていません。加えて、Unslothとllama.cppチームが作成したGGUF形式の量子化モデルも配布されています。ライセンスは「Mistral Ecosystem Open-Weight License」で、MITライセンスを派生させたものですが、モデルをサービスとして提供する用途には制限が設けられています。

2種類のスパース性の併用

テキストデコーダは72層、隠れ次元6,144、アテンションヘッド64という構成です。アテンションブロックはMulti-head Latent Attention(MLA)と、DeepSeek Sparse Attention(DSA)のインデクサーを組み合わせています。MLAはKV表現を圧縮して保持し、DSAはクエリごとに最大2,048のキー位置を選びます。フィードフォワード側の専門家選択と、参照する文脈位置の選択という、性質の異なる2つのスパース性を併用している形です。

デコーダブロックはRoPEを使う層とNoPEの層が3:1の比率で並び、KV状態は層間で共有されます。最初の層だけは密なフィードフォワードネットワークで、残り71層がMoEブロックです。各トークンについてソフトマックスのルーターが128の専門家から4つを選び、常時動く共有の専門家1つを加えて、合計5つの専門家が有効になります。位置エンコーディングには、周波数ごとに学習された乗数を持つYaRNスケールのRoPE「LeRope」を使っています。

視覚エンコーダには1.6BのPixtralエンコーダを採用しています。30層、隠れ次元2,048、アテンションヘッド16で、14×14のパッチを入力とし、空間マージサイズ2のpatch-mergeプロジェクタで処理します。

サイバー防御を想定した能力

サイバーセキュリティはMistral Large 4の目立つ特徴です。オープンソースソフトウェアの実際の脆弱性を再現し、そのうえで修正する「Artificial Analysis Cyber Index」のテストで82%を記録しました。Mistralによれば、同じテストで複数のクローズドなフロンティアモデルはほぼゼロ点だったといいます。作業を試みること自体を拒否するためだと説明されています。

防御側にとって脆弱性の修正は再現と不可分であり、そこでモデルが拒否しないことは重要だと記事は指摘します。Mistralの内部テストでは、明示的に学習していないタスクであるマルウェア解析、脆弱性の優先順位付け、検知ルールの作成にも有用だったとされています。

オープンウェイトであることも、この用途では意味を持ちます。脆弱性調査やインシデント対応の入力は攻撃のように見えるため、クローズドモデルのフィルタで遮断される可能性があります。APIに依存していれば、インシデントの最中にアクセスを失うこともあります。一方でモデルは有害な要求を拒否しており、JailbreakBench、StrongREJECT、AgentHarmのサイバー関連プロンプトにおける平均拒否率は、他のオープンウェイトモデルより高いとされています。

ベンチマークと立ち位置

2026年10月29日時点で、Artificial Analysis Intelligence indexにおいてオープンウェイトモデルの中で5位につけています。コーディングではDeepSWE v1.1で61.7%、SWE-Atlas-QnAで59.4%、Terminal-Bench 4で28.3%を記録しました。Coding Agent Indexのスコアは49.8%で、DeepSeek V4 Pro 0813やQwen3.8 Maxを上回るとしています。

知識労働向けではAutomationBenchで59.9%、AA-BriefcaseでElo 1,393を記録しています。サイバー領域ではCybenchの40問のうち93%を解き、LakeraのB3ベンチマークでは93.3%の攻撃耐性を示しました。

推論環境と実運用の制約

Transformers、vLLM、llama.cppが初日から対応しています。TransformersではAutoModelForMultimodalLMとAutoProcessorを使い、reasoning_effortはlow、medium、highから選べます。既定はhighで、推論を無効化することはできません。noneを指定してもhighとして扱われる点には注意が必要です。

vLLMではNVFP4のチェックポイントが利用でき、メモリ使用量を抑えられますが、NVIDIA Blackwell世代のGPUが必要です。llama.cpp向けにはIQ2_XXS、Q2_K、Q4_K_M、NVFP4、Q8_0、BF16の量子化が提供されています。2ビットの量子化は512GBのユニファイドメモリを積んだApple Silicon Ultra 1台で動作し、それ以外は分散推論が必要とされています。

実測値も公開されています。M3 Ultra 1台でQ2_Kを動かした場合、プリフィル(入力の処理)は毎秒約90トークン、生成は毎秒15トークンでした。4基のRTX6000 Proでは、NVFP4が32Kコンテキストでプリフィル毎秒130〜590トークン、生成は毎秒約10トークンです。IQ2_XXSは800Kコンテキストで動作し、短い文脈ではプリフィル毎秒500トークン・生成毎秒30トークンですが、長い文脈ではプリフィル毎秒129トークン、生成毎秒3トークンまで低下します。ファインチューニングはTRLで初日から対応しています。