- 表形式データ向けのオープンな基盤モデル。学習・チューニング・特徴量設計なしで予測する
- パラメータ数28M〜215Mの3サイズ。商用利用可能なOpenMDW-1.1ライセンスで公開
- TabArena、BeyondArena、TALENT、ScoringBenchの4ベンチマークで首位と報告
何が公開されたのか
NVIDIAは、表形式データ向けの基盤モデル「Kumo Tabular」を公開しました。NVIDIA Kumo Structuredモデル群の一部に位置づけられ、モデルコードはGitHub、モデルの重みはHugging Faceで入手できます。ライセンスはOpenMDW License Agreementのバージョン1.1で、商用利用が可能とされています。
対応するのは表形式データの分類と回帰です。ラベル付きの行を含むテーブルと、予測したい行を与えると、クラスの確率または数値の予測を返します。NVIDIAは、学習・チューニング・特徴量エンジニアリングが不要だと説明しています。モデルサイズは28Mから215Mパラメータまでの3種類です。
技術的な仕組み
Kumo Tabularは、表の構造に合わせて設計されたTransformerです。TabICLやTabPFNで導入された列アテンション、行アテンション、コンテキスト内アテンションを組み合わせています。予測のためには、各値がその列の中で何を意味するか、1つの行の中で列同士がどう関係するか、ラベル付きの行と未知の行をどう対応させるかという3点を扱う必要があります。
セルはグループ単位でトークン化され、数値とカテゴリ値はそれぞれ別の重みでフーリエ特徴を通します。欠損値は補完せず、特別に扱われます。行は列アテンションと行アテンションを交互に適用して埋め込みに変換され、4つの学習可能な[CLS]トークンが行の読み出し役を担います。
最後のTransformerは行の埋め込みを扱います。コンテキスト行同士が参照し合う一方、クエリ行はコンテキスト行だけを参照するため、ある予測は他のクエリ行の影響を受けません。また、テーブルが長くなるとソフトマックスアテンションが鈍る問題に対し、キーの数の対数に応じて温度を調整する仕組みを導入しています。
人工データだけで事前学習
Kumo Tabularは、実データではなく人工的なテーブルのみで事前学習されています。学習用のテーブルは構造的因果モデル（SCM）から6つの手順で生成されます。隠れた変数を因果グラフで結び、ノードごとにランダムに選んだ関数で評価し、一部を数値列やカテゴリ列、1つを目的変数とします。
生成器は学習済みモデルではなく手続き的なサンプラーであるため、新しいグラフと新しいメカニズムを持つテーブルを際限なく生成できます。欠損のパターン、重複した行でラベルが食い違う粗い特徴量、水準の多いカテゴリ列、裾の重い回帰ターゲットなど、実データの乱れも組み込まれています。
学習は3段階で行われ、最終段ではコンテキストを6万行まで拡張します。Small/Medium/Largeはそれぞれ約3,500万/7,100万/1億3,700万の人工テーブルを見たとされています。学習レシピと人工データ生成器は後日公開される予定です。
性能と限界
TabArenaでは総合1位となり、ELOは1950でした。NVIDIAのブログには、同一のRTX 6000 Pro上で評価したところLimiX-2と比べて「17 faster」と記載されており、17倍高速という意味とみられます。BeyondArenaではELO 1418、Improvabilityスコア7.78%で1位、TALENTでは分類精度・分類ログロス・回帰RMSEのいずれでも最上位となり、平均順位は6.67、3.98、4.22でした。
ScoringBenchではLargeとMediumが平均順位で1位と2位につけています。一方で制約もあります。扱えるのは数値列とカテゴリ列のみで、テキストや画像、タイムスタンプは組み込みの前処理レシピで特徴量化する必要があります。1回のフォワードパスで扱えるクラスは最大10で、それ以上は誤り訂正出力符号で拡張します。
また、学習時の範囲を大きく超えるテーブルや、クエリ行がコンテキスト行と異なる分布に由来する場合には精度が低下する可能性があるとしています。導入前には、自社で保持した未使用データを使って精度とキャリブレーションを検証するよう呼びかけています。
| 項目 | 勾配ブースティング決定木 | Kumo Tabular |
|---|---|---|
| タスクごとの学習 | 必要 | 不要（コンテキスト内学習） |
| 特徴量エンジニアリング | 必要 | 不要 |
| ハイパーパラメータ探索 | 必要 | 不要 |
| 予測の方法 | 学習済みモデルをデプロイして推論 | 1回のフォワードパスで予測 |
Given a table with labeled rows and the rows you want predictions for, Kumo Tabular returns class probabilities or numeric predictions in a single forward pass.
ラベル付きの行を含むテーブルと、予測したい行を与えると、Kumo Tabularはクラスの確率または数値の予測を1回のフォワードパスで返します。
今後の見通し
Kumo Tabularは、表形式データの予測を「タスクごとに学習する」ものから「コンテキストを与えて推論する」ものへ変える可能性を示しています。ただし公開されているのはブログとモデルであり、学習レシピや人工データ生成器は後日公開予定とされています。これらが公開されれば、再現性や自社データへの適用可否を判断しやすくなるでしょう。また、クラス数が10を超える場合や分布がずれた場合の精度低下が実務にどの程度影響するかは、利用者側の検証結果が待たれます。開発者以外の第三者がベンチマークを再現した結果が明らかになれば、位置づけはより明確になるとみられます。
日本の開発者・IT企業にとっての意味
日本のIT企業にとって、受発注、与信、解約予測、需要予測といった業務の多くは表形式データで回っており、その予測は長く勾配ブースティング決定木が担ってきました。Kumo Tabularが示すのは、タスクごとにラベルを集め、特徴量を設計し、ハイパーパラメータを探索する工程を省き、少数の事例を与えるだけで予測するという働き方です。PoCの立ち上げや、ラベルの少ない新規タスクの初期検討を短縮できる可能性があります。一方で、扱えるのは数値列とカテゴリ列に限られ、自社データでの精度とキャリブレーションの検証は依然として必要です。既存のGBDTやAutoGluonを置き換えるというより、まずは並行して比較評価する形が現実的だとみられます。商用利用可能な条件で重みが公開されている点は、検証を始めるハードルを下げます。
気になる点
- 商用利用はできるのか、料金はかかるのか
- モデルはOpenMDW-1.1ライセンスで公開されており、商用利用が可能とされています。ブログでは利用にあたっての料金には触れられていません。重みはHugging Faceで入手でき、推論用のライブラリもオープンソースとして提供されます。
- 既存の表形式データのパイプラインから移行できるのか
- NVIDIAが公開したGPUネイティブのライブラリ（sdm）を使うと、pandas.DataFrameからテーブルをテンソル化し、そのまま分類・回帰の予測を実行できます。初回利用時にHugging Faceから重みをダウンロードし、前処理やアンサンブル、多クラス対応もライブラリ側で提供されるとされています。
- 日本語のテキスト列や時系列データはそのまま扱えるのか
- モデル自体が扱うのは数値列とカテゴリ列のみです。テキストや画像、タイムスタンプは組み込みの前処理レシピで特徴量に変換できるとされていますが、日本語テキストへの対応やその精度については原文で言及されておらず、現時点では分かりません。
用語解説
- 表形式基盤モデル
- 表（テーブル）の行と列の関係を大規模に学習し、タスクごとの再学習なしに予測できるようにしたモデル。
- コンテキスト内学習
- 入力に少数の事例を与えるだけで、モデルの重みを更新せずに新しいタスクを解く仕組み。
- 勾配ブースティング決定木
- 複数の決定木を順に足し合わせて精度を高める手法。表形式データで長く使われてきた。
- 構造的因果モデル（SCM）
- 変数間の因果関係をグラフで表し、そこからデータを生成するモデル。人工学習データの生成に使われる。
- 誤り訂正出力符号
- 多クラス分類を複数の二値分類に分解して扱う手法。1回で扱えないクラス数を拡張するのに用いられる。
- ELO
- 対戦結果から相対的な強さを推定する指標。ここではベンチマークの順位付けに使われている。
出典
NVIDIA Kumo Tabular Sets a New Accuracy-Efficiency Frontier for Tabular Prediction
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する