Ai2がロボット学習の制御された実験環境「ToyBlocks」を公開、汎化の測定へ

何が公開されたのか

米Allen Institute for AI（Ai2）は、ロボティクス研究向けの制御されたシミュレーション環境をまとめる枠組みを「FoundationWorlds」と名付け、その第1弾として「ToyBlocks」を発表しました。ToyBlocksは、テーブルの上に置かれたブロックとロボットアームだけという、意図的に単純化した設定のオープンなシミュレーションフレームワークです。コード、データ、モデル、ドキュメントが合わせて公開されています。

背景として記事が挙げているのは、ロボットが洗濯物たたみや部品の仕分けを学び始めている一方で、そのデモンストレーションは範囲が狭く、ロボットが何を学んだのか、なぜ失敗するのかを説明できていないという問題です。科学者がシャーレやテラリウムのような小さな制御環境で条件を変えながら観察するのと同じ発想で、訓練データやモデル設計を変えて実験を繰り返せる場所を用意する狙いです。

FoundationWorldsでは、特定の環境に焦点を合わせた制御されたシミュレーション世界に、タスクと訓練用デモンストレーションの自動生成ツール、そして時間の経過に沿ってロボットの行動を測る指標を組み合わせます。これにより、訓練データを増やすとモデルがどう改善するか、高水準の推論と精密な身体制御をどう組み合わせるか、といった問いを同じ土台で調べられるようになります。

仕組みとデータ生成

ToyBlocksは4つの要件を軸に設計されています。現実に近い物理と見た目、タスクとデモンストレーションの大規模な自動生成、推論と器用さを組み合わせた課題、そしてその領域で可能なタスクを広く網羅することです。対象を広げすぎた領域ではすべてを満たすのは現実的ではありませんが、範囲を狭く絞ることで4要件を同時に成立させられると記事は説明しています。

短いタスクの振る舞いであるスキルの生成には、強化学習と、ロボットの動かし方を計算するモーションプランニングを使います。スキルの訓練は、Nvidiaが公開しているシミュレーション上のロボット学習フレームワーク「Isaac Lab」で行われ、ブロックを押す、持ち上げずに別の面へひっくり返すといった把持を伴わないスキルを試行錯誤で獲得します。シミュレータが直接与えられるブロックの正確な位置や姿勢といった特権情報を利用できるため、実機では遠隔操作が必要になるスキルも自動生成できます。

デモンストレーションの生成では、タスク・アンド・モーションプランナー（TAMP）がスキルを選んで順序を組み立て、その間の腕の動きを計画します。計画をシミュレーション上で実行すると、記録されたデモンストレーションと、どのタスク・スキルを実行したかを示すラベルがデータセットとして得られます。単一GPU上で数百の計画を並列に生成・実行でき、最大で実時間の24倍の性能に達するとしています。さらに、ブロックの大きさやテーブルの高さなどを場面ごとに変えるドメインランダム化や、生のセンサ観測から行動への写像を学習する設定も用意されています。

何を測れるのか

1つ目の評価対象は、視覚言語行動モデル（VLA）に代表される低水準の行動モデルです。Stack、Unstack、Flip、Rotateの4タスクについて、訓練範囲内の新しい配置を試す内挿と、範囲外へ外挿する設定を分けて評価します。ManiFlow、π0.5、MolmoAct 2を用いた初期結果では、大規模な事前学習にもかかわらず空間的な汎化は十分ではなく、LoRAなどの手法で改善しつつ各手法の寄与を分析したと報告されています。

2つ目は、視覚言語モデル（VLM）による高水準の推論です。Molmo 2を計画役、ManiFlowを実行役として、積み木で「Ai2」の文字を並べるような長い手順のタスクを評価します。文字が見えていない場合は情報を引き出す行動から始める必要があり、高水準と低水準の両方に正解の計画や行動を与えるオラクルを用意することで、失敗が計画側と実行側のどちらにあるのかを切り分けられます。

3つ目は、フロンティアモデルがツール呼び出しを通じて計画・行動するエージェント的な設定です。Claude Opus 5.5を使い、Model Context Protocol（MCP）経由でスキルを公開して、カメラ画像を見ながらピクセルを指してpick、flip、rotateなどを呼び出す構成が試されています。加えて、WebページのインターフェースからClaudeなどのフロンティアモデルを自然言語でつなぎ、ロボティクスの専門知識がなくてもモデルの計画と行動を試せるようにしています。

位置づけと注意点

ToyBlocksは、MolmoAct 2、MolmoBot、MolmoSpacesといった先行のオープンなロボット学習の取り組みの上に位置づけられています。記事は、VLAの汎化についての先行研究の結論が分かれている原因として、実世界データセットでは空間的なばらつきの自由度が限られることを挙げ、再現しやすい単純な設定で意味のある多様性を確保できる点をToyBlocksの利点としています。評価では成功率だけでなく、実行速度、物体にかかる力、計画モジュールと同じ仕様で測ったタスク進捗といった指標も得られます。

一方で、対象は卓上の積み木という狭い領域に限られており、複雑な環境への拡張は今後の課題として示されています。実機ロボットへの転移も研究テーマとして挙げられている段階で、その成果は記事の範囲では示されていません。また、原文で確認できる範囲ではエージェント実験の記述が途中で終わっており、3つの設定の詳細な結果は明らかにされていません。