Googleは2026年8月25日、XR（拡張現実）環境において、AIエージェントが言葉に合わせて自然な手ぶりを行う研究プロトタイプ「AgentHands」を発表しました。この技術は、LLM（大規模言語モデル）による指示を、空間上の具体的な動きへと変換するものです。
言葉と動きを同期させる技術
AgentHandsは、AIが発する音声と言葉の意味に合わせた手ぶりを、リアルタイムで同期させる技術です。従来のAIアシスタントは2D画面上の表示による案内が中心でしたが、本技術はXR空間において、指差しや動作の模倣といった「身振り手振り」を用いることで、指示の内容を直感的に伝えます。
このシステムは、LLMが生成した回答に含まれる特定の単語に、ジェスチャーのイベントを紐付けることで動作します。XRヘッドセット内のパーサーが音声の再生とアニメーションを調整し、話している内容と手の動きを完全に一致させます。これにより、抽象的な指示を物理的な実演として提示することが可能になります。
具体的な活用シーン
本技術は、物理的な操作を伴うタスクにおいて、ユーザーの理解を助けます。例えば、植物の手入れの際には、AIが植物の根元を指し示しながら説明を行ったり、3Dプリンターの操作では、つまみを回す動作を実演したりすることが可能です。また、ウェルネスコーチとして、不健康な行動に対して手を握るような警告のジェスチャーを行うといった、感情や社会的合図を含む表現も備えています。
ユーザー体験の向上
研究チームが実施した評価実験では、音声のみの場合と比較して、身振り手振りを伴うAgentHandsは空間的な情報の伝達において高い効果を示しました。複雑なタスクにおける認知負荷を軽減し、空間コンピューティングをより人間中心の体験に変えるものとして期待されています。Googleは今後、Android XRエコシステムに向けて、ユーザーの利き手への適応などのパーソナライズ化を検討していくとしています。