
- 330Mパラメータで1兆以上の時点を事前学習
- 複数の対象系列と過去・未来の共変量をゼロショットで利用可能
- 3つの公開ベンチマークで既存基礎モデルを上回る
発表の概要
Google Researchは、時系列予測のための新しい基礎モデルTimesFM-3を発表しました。TimesFMシリーズは2024年の初版以降、小売、金融、可観測性、製造、ヘルスケア、自然科学などさまざまな分野で採用されてきました。従来のTimesFM-2.5までは、単一の時系列のみを扱う一変量予測に限定されていたとのことです。
しかし、実際のビジネスでは、複数の時系列や外部要因が相互に影響しあうケースがほとんどです。例えばアイスクリームの売上を予測する場合、過去の売上だけでなく関連商品の売上や来店者数、天気、プロモーション計画などを考慮する必要があります。TimesFM-3はこうした多変量の予測タスクを、タスクごとの追加学習なしに(ゼロショットで)実行できる点が特徴です。
多変量予測を実現する技術
TimesFM-3は、従来のデコーダのみのTransformerアーキテクチャに基づいています。時系列データを32ステップごとのパッチに分割し、系列ごとに正規化を行います。複数の系列を2次元のグリッドのように扱い、時間方向のアテンションと、系列間のアテンションを交互に適用することで、時系列のパターンと系列間の相関の両方を学習します。
将来予測では、従来の自己回帰的な生成をやめ、マスクされたトークンを使って予測期間全体を1回の順伝播で同時に生成します。これにより、推論の遅延や誤差の蓄積が軽減されます。また、各時点で9つの分位点(10パーセンタイルから90パーセンタイル)を出力し、予測の不確実性も評価できます。
ベンチマークでの評価
評価では、Gift-Eval、FEV-Bench、Timeという3つの公開ベンチマークが使用されました。点予測と確率予測の両方について、事前学習済みの基礎モデルの中でTimesFM-3が平均順位で最上位になったと報告されています。比較対象には、Chronos-2やToto 2.0ファミリーなど、多変量対応のモデルも含まれています。
興味深いのは、共変量や系列間の情報を使わない「一変量モード」でも、TimesFM-3が他モデルと同等以上だったことです。さらに多変量モードに切り替えることで、より精度が向上するとしています。この結果は、モデルが時系列の基本パターンの学習と、系列間の依存関係の活用の両方をうまく両立していることを示唆しています。
利用方法と注意点
TimesFM-3はすでにGitHubとHugging Faceで公開されています。また、BigQueryでの統合も数週間後に予定されています。一方で、学習データの詳細やライセンス条件、必要となる計算資源などは、記事では明らかにされていません。実際のビジネス応用では、自社データでの検証が重要になるでしょう。
TimesFM-3 has 330 million parameters and is pre-trained on a real-world and synthetic time-series corpus comprising more than 1 trillion time points.
TimesFM-3は、3億3,000万のパラメータを持ち、実世界と合成の時系列データからなる1兆点以上のデータで事前学習されています。
今後の見通し
時系列予測の基礎モデルは、一変量から多変量へとシフトしつつあります。TimesFM-3はその先駆けであり、他のモデルも追随するとみられます。今後はBigQuery統合により、クラウド上での利用が簡単になり、日本企業でも導入が進む可能性があります。ただし、実際の予測精度や計算コストは、ユーザーのデータやタスクに依存するため、パブリックなベンチマークだけで判断せず、パイロットプロジェクトでの検証結果が明らかになることが重要です。また、モデルの学習データやライセンスの詳細が公開されれば、より採用しやすくなるでしょう。
日本の開発者・IT企業にとっての意味
日本企業にとって、需要予測や在庫最適化は長年の課題です。これまでは、個別のデータに合わせてモデルを構築・運用する必要がありましたが、TimesFM-3のようなゼロショットの基礎モデルは、事前学習済みの重みをそのまま使って高精度な予測を試せる可能性があります。特に、プロモーションや気象などの共変量を組み込める点は、小売や製造業での実務に直結します。ただし、モデルのバイアスや説明可能性、データのプライバシーなどについては、企業側の検証が欠かせません。また、BigQuery統合後はSQLの知識だけで利用できる可能性もあり、MLエンジニア以外の部門でも予測分析が身近になるかもしれません。技術面では、多変量対応の基礎モデルが主流になる流れを早めるでしょう。
気になる点
- TimesFM-3はBigQueryでいつ使えるようになるのか?
- 記事によると、BigQuery統合は今後数週間以内に予定されています。それまではGitHubやHugging Faceのモデルを直接利用できます。BigQuery版では、AI.FORECASTコマンドを使った予測ができるようになるとのことで、MLの専門知識がなくても利用できる可能性があります。ただ、具体的な日付や機能の詳細はまだ公開されていません。
- 日本のデータにもゼロショットで使えるのか?
- TimesFM-3は言語に依存しない時系列モデルです。ただし、予測精度はデータの特性によるため、自社データでの評価が必要です。日本の祝日や商慣行を考慮するには、関連する情報を共変量として与えるのが有効と考えられますが、記事では日本データでの検証結果は報告されていません。
- 従来のTimesFMと何が違うのか?
- TimesFM-2.5までは単一の時系列しか扱えませんでしたが、TimesFM-3は複数のターゲット系列、過去の共変量、過去と未来の共変量をサポートしています。また、予測の生成方式が自己回帰から非自己回帰に変わり、1回の推論で全体を出力するため高速化されています。ただし、パラメータ数や学習データの比較に関する詳細は記事内では言及されていません。
用語解説
- 基礎モデル
- 大量のデータで事前学習され、さまざまなタスクに適用できる大規模なAIモデルのこと。
- ゼロショット
- 追加学習なしで、未見のタスクやデータにそのまま対応できる能力。
- 共変量
- 予測したい変数に影響を与える外部の説明変数。過去のみ既知の場合と、未来も既知の場合がある。
- 非自己回帰
- 予測時に過去の予測結果を入力に使わず、一度に全体を生成する方式。逐次生成より高速で誤差が蓄積しにくい。
- パッチ
- 時系列を一定長さに分割した区間。Transformerの入力トークンとして扱われる。
出典
TimesFM-3: A zero-shot foundation model for multivariate forecasting
https://research.google/blog/timesfm-3-a-zero-shot-foundation-model-for-multivariate-forecasting
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する