Google XR、LLMで手のジェスチャーを生成しXR対話を拡張する研究「AgentHands」を公開

AgentHandsとは

Google XRの研究チームは、CHI 2026で発表する論文として、会話エージェントに手のジェスチャーを生成させる「AgentHands」を公開した。これは、LLMの応答内容からジェスチャーイベントを生成し、XR空間内のオブジェクトや場所を指し示すことを可能にする研究プロトタイプである。

従来のAIアシスタントは、Project AstraやGemini 3.1 Flash Liveのようにカメラ映像に境界ボックスを重ねて物体を識別する方式が取られてきた。しかし、XRのような没入環境では、フラットなUIではなく、空間に根ざした対話が必要になる。AgentHandsは、人間が話すときに無意識に使う手の動きを再現することで、その課題に取り組む。

ジェスチャー生成の仕組み

AgentHandsは、まずユーザーのアイトラッキングとシーン再構築を利用して、物理的な物体を3Dバウンディングボックス付きのレジストリに登録する。次に、指差しや描写、感情表現など意味カテゴリに応じた手のジェスチャーライブラリを用意する。

LLMが応答を生成する際、特定のトリガーワードにインラインでGestureEventsを埋め込む。これにはタクソノミーに基づいた手の動きのプリミティブが含まれており、XRヘッドセット上のパーサーがテキスト読み上げとアニメーションを単語レベルのタイムスタンプで同期させる。

この仕組みにより、LLMの高次推論をリアルタイムの物理動作に変換し、ユーザーの環境に即した指示を実現している。

実験で確認された効果

研究チームは、被験者12名（N=12）を対象に、音声のみの案内を基準とした被験者内実験を実施した。タスクは、ランの手入れと3Dプリンタ操作の2つで、いずれも具体的な物体の特定や複数段階の操作が含まれる。

その結果、AgentHandsを使うと物体の位置特定や方向の把握が有意に容易になった（p<0.05）。また、複雑な動作の理解や警告の気づきも向上し、認知負荷の低減も確認された。被験者からは、ジェスチャーで実演されると操作手順を理解しやすいという声が得られた。

今後の展開と課題

AgentHandsの応用例として、植物の世話の説明、3Dプリンタの操作手順の案内、健康管理のアドバイスなどが実証されている。特に、手を握るインタラクティブなジェスチャーや視覚効果を組み合わせることで、危険な動作への注意を促せるという。

現時点では研究プロトタイプであり、製品化の時期や対応デバイスは明らかではない。研究チームはAndroid XR向けに開発を続け、ユーザーの利き手や空間的な習慣に合わせてジェスチャーをパーソナライズすることを検討している。