単一Transformerで画像とテキストを処理するエンコーダ「NeoMME」が登場

単一Transformerの新設計

NeoMMEは、260Mと800Mの2サイズで提供される多言語・マルチモーダルエンコーダだ。近年の文書検索モデルは、生成系視覚言語モデルをベースに、あらかじめ学習された視覚エンコーダと因果言語モデルを組み合わせることが多い。NeoMMEはその構成を採らず、テキストトークンと画像パッチを同じTransformerに入力し、ゼロから学習する。

テキストは131K語彙のトークナイザで分解され、画像は32×32ピクセルのパッチに分割してMLPで投影される。解像度はアスペクト比を保ったまま扱え、コンテキスト長は16,384トークンで、4K画像を2枚まで収められる。学習にはマスク付き離散拡散目的を使い、画像を見せながらマスクしたテキストを復元させる。

文書検索への応用

NeoMME-Retrieverは、NeoMMEをベースにColPali流のページ画像検索用に学習されたモデルだ。PDFからテキストを抽出するOCR前処理を省き、ページのスクリーンショットをそのまま画像として検索できる。レイアウトや図表、フォントの情報が失われないのが利点とされる。

検索用に追加された2つのヘッドは、1回のフォワードで密ベクトルと遅延相互作用ベクトルの両方を出力する。密ベクトルは近似最近傍探索で高速に候補を絞り、遅延相互作用はクエリと画像領域の細かい一致を評価して再ランキングする用途に使える。

数値で見る性能と効率性

ViDoRe v3のnDCG@10では、NeoMME-Retriever-260Mが0.523を記録し、800M未満のモデルで最高となった。800Mモデルは0.556で、同規模のVultron Retriever Flashに0.009差まで迫る。両モデルともモデルサイズと性能のパレート最前線上に位置すると報告されている。

エンコード速度は、NVIDIA L40Sで2048×2048の画像を入力した場合、260Mモデルが1秒間に約51ページで、ColModernVBERTの26ページの約2倍だ。遅延相互作用の索引は圧縮しなければ1ページあたり約1.5MBになるが、階層トークンプーリングと非対称量子化を組み合わせると、6KBまで削減でき、品質は95%以上維持できる。

公開状況と活用時の注意

NeoMMEの各チェックポイントは、Apache 2.0ライセンスで公開され、Hugging Face Transformersから利用できる。記事ではモデルをロードしてクエリと文書画像をスコアリングするコード例が示されている。

一方で、記事の性能評価はViDoReベンチマークの英語中心のデータに基づく。日本語を含む文書での指標は公開されていないため、実務に使う際は自社データで追加評価することが望ましい。