Qwen 3.8 27Bは高性能だが、デフォルトの推論設定が「考えすぎ」で遅い

「Qwen 3.8 27B」とは何か

AlibabaのQwen研究チームが公開した「Qwen 3.8 27B」は、Apache 2.0ライセンスのオープンなLLMです。パラメータ数は27B（約270億）で、視覚（画像入力）にも対応しています。先行モデル「Qwen 3.6 27B」に続くモデルで、同社の自己評価では、より大規模なクローズドモデル「Qwen 3.7-Plus」を上回る結果も示しています。サイズとしては、ハイエンドのノートPCでも動作できる現実的な規模です。

記事の著者は、128GBメモリのM5 Max MacBook ProとNVIDIA DGX Sparkの2台でテストしています。モデルはLM Studioで提供されている17GBの量子化版（Q4_K_M）を利用しました。このモデルは、推論の深さを制御する「reasoning_effort」パラメータを公式にサポートしており、デフォルトは最大の「xhigh」です。

デフォルトの「xhigh」が招く過剰推論

このxhighというデフォルト設定が、実用上は厄介です。簡単なプロンプトでも、モデルは余計なことまで考え込み、時間とトークンを大量に消費します。たとえば「円のSVGを描いて」という単純な指示に対し、モデルは円の装飾や配色、アニメーションまで検討し始めたとのことです。

具体的には、ペリカンのSVGを生成するプロンプトで、推論なしの場合は137秒で完了したのに対し、デフォルトのxhighでは21分かかりました。この間、22,276トークンの推論を消費して、実際の出力は3,223トークンでした。このため、コンシューマ向けハードウェアで使うには、推論強度をmediumやlowに下げるなどの調整が実用的です。

視覚モデルとしての性能:バウンディングボックス

一方で、視覚能力は高く評価されています。ペリカンの写真に対して、座標を0〜1000のスケールで指定してバウンディングボックス（物体を囲む矩形）を出力させたところ、正確な位置と大きさで2つのペリカンを検出できました。これは従来のローカルLLMでは難しいとされる成果です。

さらに、このバウンディングボックスを可視化するHTMLツールを、Qwen 3.8 27B自身に1回のプロンプトで作成させることにも成功しています。推論をオンにしたままだったため設計が過剰になったものの、動作するツールを生成しました。推論をオフにした場合は座標の表示位置がずれるなど、推論の有無が品質に大きく影響する場面もあるようです。

コーディングエージェントとしての可能性と注意点

ローカルモデルでコーディングエージェントを動かせるかは、開発者にとって大きな関心事です。著者は「Pi」というコーディングエージェントをQwen 3.8 27Bと組み合わせて試し、データセットのコードベースで「auth how work?」という質問に対し、複数のファイルを調べたうえで的確な回答を返せたと報告しています。

また、その会話ログをMarkdownに変換するPythonコードも、同じモデルに書かせて実行できたそうです。ただし、ローカル実行には長いコンテキストや信頼できるツール呼び出し機能が重要です。このモデルは最大262,144トークンのコンテキストに対応しており、そうした点でも有望です。一方、速度やデフォルト設定の扱いには注意が必要です。