オープンモデル分析の新ダッシュボード2種をInterconnectsが公開

2つのデータ提供開始

今回の発表は、AIモデル専門のニュースレター「Interconnects」によるものです。運営するネイサン・ランバート氏は、これまでモデルリリースの要約や月次のオープンモデルまとめを提供してきました。その取り組みを拡張し、詳細な分析を誰でも使える形で公開するのが今回の狙いです。

Artifacts Hubは、Hugging Face上でトレンドのモデルをキュレーションし、Open Routerによる推論トークン数、Artificial Analysisによる知能指数、そしてHugging Faceのデータを基にした採用指標を組み合わせて表示します。一方のAdoption Dashboardは、地域・組織別のダウンロード数と派生モデルの本数を日次更新で示します。

対象と独自指標

Artifacts Hubは、過去2年間にリリースされた792モデルを対象にしています。テキスト中心の言語モデルに加え、マルチモーダル生成モデルも含まれます。さらに、主要な数千のLLMの中から数百を手作業で選び、詳しい解説を加えるとしています。

独自の指標としては、ダウンロード数と時間で正規化した相対採用メトリクス（RAM）や、VAIL類似度指数を提供します。VAILはAI検証スタートアップで、Interconnectsの分析に協力しているそうです。

既存プロジェクトとの関係

今回の取り組みは、Interconnectsがこれまで続けてきた「Artifacts Log」や「ATOM Project」の延長線上にあります。ATOM Projectでは、米国と中国のモデル採用の差が繰り返し話題になっていました。そのデータを常時更新のダッシュボードにしたのがAdoption Dashboardです。

また、Open RouterやHugging Faceなどの既存プラットフォームのデータを組み合わせることで、モデルの性能と利用状況を横断的に比較できるようになりました。ただし、記事内では具体的な指標の計算方法や更新頻度に関する詳細は明かされていません。

公開の意図と今後の展望

Interconnectsは「オープンエコシステムを可能にすること」を使命として掲げています。世界がオープンモデルの生産的な活用法を模索する中で、現状を透明にすることが最も効果的だという考えから、今回のデータを無料で公開しました。

記事では、データ改善のためのフィードバック募集と、キュレーションしたデータを他の製品や研究に活用するアイデアを歓迎しています。公開されたばかりのツールであり、今後どのように発展していくかは未知数です。