Ai2が衛星データ基盤モデルOlmoEarthを大陸規模推論できるプラットフォームとして公開

プラットフォーム公開の背景

Ai2は地球観測向けの基盤モデル群「OlmoEarth」を、大規模推論を実行できるプラットフォームとして公開した。モデルは約10テラバイトのマルチモーダル衛星データで事前学習されており、政府機関やNGOなどが森林減少の監視、食料安全保障、山火事リスク評価に活用できるとしている。

Ai2はこれまでに強力なオープンモデルを公開してきたが、環境分野の組織の多くはデータのラベル付けやファインチューニング、大規模推論の運用を担えるエンジニア組織を持っていない。そこで、データ取得から結果の検証までを一貫して担うインフラを開発した。SkylightやEarthRangerといった実運用を長年続けてきたプラットフォームの経験が基になっている。

衛星推論の技術的難しさ

一般的なMLモデルは数メガバイトの入力を1秒以内に処理するが、地球観測の推論は桁違いに規模が大きい。入力は複数のスペクトル帯、センサー種別、時間ステップにわたり、異なる投影法や解像度を持つ複数のプロバイダから取得される。雲で欠損した観測もあり、出力は地図として整合性を保つ必要がある。

推論ジョブの大半はモデル計算ではなく、画像のダウンロードと前処理に費やされる。そのため、データ取得をGPUで行うのは非効率だ。OlmoEarthプラットフォームでは、データ取得と前処理をCPUと高I/O環境で、推論をGPUで、後処理をCPUで行う3段階構成に分けた。各段階を多数のマシンに分散し、GPUを常時稼働させる。

大規模並列実行の実績

実行基盤「OlmoEarth Run」は、処理対象の地域をコンピュートインスタンスに適したサイズに区切り、さらに小さい窓に分割して各窓を並列に推論する。隣接する領域は少し重複させ、後処理でつなぎ合わせる際に継ぎ目が出ないようにする。大陸規模のジョブは数千のパーティションになり得る。

最近実施した北米全体の山火事リスクマップ生成では、ピーク時に約19,600のCPUと994のGPUを並列利用し、ネットワークスループットは168GB/秒を超えた。直列計算で推定4,737時間かかる処理を、壁時計時間30.5時間で完了しており、約155倍の高速化になるという。ただし並列度はクラウドのクォータに制限されるため、ジョブごとに調整可能なパラメータのひとつとしている。

データ取得の効率化

大規模な推論ジョブは数千のメタデータクエリを一度に生成するため、外部のSTAC APIをそのまま使うとサービスに過大な負荷がかかる。そこでOlmoEarthプラットフォームは独自のメタデータ索引を維持し、新しい画像の公開に合わせて更新している。AWS Open DataでホストされているデータセットはSNS通知を受信し、通知がないプロバイダは数分ごとにポーリングする。

索引には各シーンのメタデータと利用可能な保存先へのポインタが記録され、実行時にはクラウド最適化フォーマット（COGやZarr）に対する範囲読み出しで必要なバイトだけを取得する。外部サービスへのリクエストは新規公開のペースに合わせて流れるため、集中アクセスによる障害を避けられる。この仕組みはアノテーションツールにも応用されており、個別の取り込みパイプラインを追加せずに索引済みシーンを配信できる。

障害処理と今後の計画

大規模分散実行では障害は想定内であり、プラットフォームはタスクを再実行可能な設計にしている。各タスクは冪等でリエントラントなため、プロバイダの一時的な障害やメタデータの不整合、クラウドの欠落などが起きてもリトライや代替プロバイダへの切り替えで自動回復する。別の監視プロセスが停止したランナーを検出してタスクを再開する。

ロードマップでは、衛星画像の新規公開をトリガーとする自動実行、森林減少や洪水などの変化をアラートで通知する機能、エージェントを用いたデータキュレーションや特徴量エンジニアリング支援、モデルの効率化、天候データ（ERA-5）などの新しいモダリティ追加、全世界の埋め込みベクトルの事前計算、Google Cloud以外のマルチクラウド対応を計画している。埋め込みを活用すれば、生の衛星画像に対する毎回の推論を置き換えられる可能性がある。

これらの取り組みはまだ初期段階だとAi2は述べており、保全や食料安全保障、災害対応、気候変動分野の組織が、これまで持てなかったインフラにアクセスできるようにすることを目指している。