Claude Fable 5.1公開、推論レベルで品質とコストが激変

発表内容

Anthropicは9月1日、Claude Fable 5.1とMythos 5.1を公開した。発表によれば、Fable 5.1は「コーディング、知識作業、長期にわたる問題解決タスクの新標準」を打ち立てたとされる。なかでも科学研究を対象にしたベンチマークで顕著な伸びを見せている。

新しく発表されたTerminal-Bench-Science 0.1では、Fable 5.1が52.6%を記録した。これは前バージョンFable 5の24.7%、Opus 5の29.0%、GPT-5.6 Solの22.4%を大きく上回る。ほかのベンチマークでは小幅な改善にとどまる一方、この科学向けの結果だけが際立っている。

ペリカン検証

開発者でブロガーのSimon Willison氏は、独自の「ペリカンベンチマーク」でFable 5.1を検証した。プロンプトは「自転車に乗るペリカンのSVGを生成して」というもの。Fable 5.1にはlow、medium、high、xhigh、maxの5段階の推論レベルがあり、それぞれの設定で同一プロンプトを実行している。

興味深いことに、lowとmediumでは推論がほぼスキップされた。出力トークンは約2000、コストは10セント弱で、両者の結果に大きな差はない。highではわずかに推論が見られ、xhighでは3万6767トークン、7分51秒、1.83ドルと大幅に増加。maxでは6万5927トークン、13分54秒、3.30ドルに達した。

品質とコスト

maxで生成されたSVGは、Willison氏が「これまでAnthropicのモデルで見た中で最高のペリカン」と評する出来栄えだった。背景のバランス、自転車フレームに対する足の位置、ペダルに乗った足、ハンドルに置かれた翼、青い帽子、魚の入ったかごなど、細部まで作り込まれている。

推論トレースには、ヘルメットとくちばしの重なりを避けるための座標調整や、不要な部品を削る判断などが記録されていた。Willison氏は「Gemini 3.7 Flashほどの華やかさはないが、頼んだものは手に入った」と述べている。lowとmediumで推論がスキップされた理由ははっきりせず、今後の検証課題となっている。

アニメーション化

Hacker Newsで「もうベンチマークは解かれた。アニメーション版はもらえないのか」というコメントが寄せられた。Willison氏は追加で3.30ドルをかける代わりに、maxで生成したSVGをhighレベルの推論で「animate this」と指示した。

この結果、6,121入力トークン、26,201出力トークン、コスト1.37ドルでアニメーションSVGが生成された。車輪の回転方向が逆という問題はあるものの、元のSVGから自然なアニメーションを作り出すことに成功している。