人間は、これまで観察された中で最も精緻な生物学的有機体でありながら、数十年に及ぶ研究を経てもなお、我々は自分自身を完全には理解していない。科学は個々の細胞、筋肉、脳の各領域について理解しているが、固有受容感覚（プロプリオセプション、身体が自らの位置や動きを感知する能力）に用いられているメカニズムは大部分が未解明のままである。
筆者の会社を含むいくつかの企業や研究機関は、人間の身体化知能（embodied intelligence）のモデル化に取り組んでいる。これは、視覚、深度、触覚、音といった感覚を通じて物理世界を知覚し、その知覚を協調的な身体動作へと変換する能力を指す。人間が物体を操作し、未知の空間を移動し、新しい身体スキルを学習することを可能にしているのも、この同じループである。
身体化知能モデルを理解する
人間のデータは、ロボティクスやワールドモデル（世界モデル）に活用できる。人間の感覚運動知能を学習済みモデルとして再現できれば、時間軸に沿って知覚を協調的な身体動作へと変換するシステムを訓練することが可能になる。
十分な規模になれば、こうしたモデルは、人間が物理世界とどのように相互作用するかの構造を学習できる可能性がある。たとえば、力の加え方、動作の修正、タスクの順序付け、さまざまな環境下での意思決定などである。そうすることで、人間の経験を通じて、物体がどのように動き、抵抗し、バランスを取り、反応するかを捉え、物理的相互作用に根ざしたワールドモデルに近づいていく。
異なるセンシング・モダリティは、相互作用の異なる次元を捉えることができる。視覚は人間が見るものを、音声は文脈を、モーションデータは身体が空間内をどう動くかを記録し、触覚信号は人間がどのように力を加え物体を操作するかを捉える。これらの信号を組み合わせることで、単一のモダリティでは得られない、より豊かな身体行動の表現が可能になる。それらを整合させることは、人間の身体化知能の構造を近似するのに役立つ。
筆者の見解では、この技術はブルーカラー労働の自動化において重要な役割を果たす可能性がある。また、人間の脳の理解、神経系および身体的障害の治療、義肢やリハビリテーションシステムの構築、人間の認知の拡張、さらにはデジタル環境と物理環境の両方における相互作用のあり方にも、有益な知見をもたらすと信じている。
身体化知能が新たな段階に入りつつある理由
筆者が最近、いくつかの研究機関と交わした会話に基づくと、一部の機関は生身の人間の相互作用データの収集時間を大幅に拡大している。なぜこれが重要なのか。大規模データは、ロボティクスがこれまで欠いてきた多様なコーパスを提供する試みであり、これは身体化知能の中核的な課題だからだ。
筆者が観察した限り、企業はこれまで主にテレオペレーション（人間がロボットを遠隔操作する手法）や、UMI（Universal Manipulation Interface、人間がデバイス上でタスクを実演してロボットを訓練する手法）から得られるデバイスデータでロボットを訓練してきた。これらのアプローチには高価なロボット、訓練を受けた操作者、そして統制された環境が必要となる場合がある。操作者はインターフェイスを介してロボットを制御するため、行動が歪められる可能性があり、また人間が日々対応している雑然とした現実世界のエッジケースを取り逃してしまう。
現在、いくつかの主要なフロンティア研究機関は、人間データを大規模に取り込むことを軸にモデルを構築し、その方向に賭ける動きを強めているように見える。一部の研究グループは軽量なウェアラブル型の収集手法に収斂しており、Meta（メタ）のProject Aria（プロジェクト・アリア）グラスは、一人称視点での人間の実演を収集するシステムの一例である。これはEgoMimicやEMMAのようなシステムで、自己中心視点の人間データから操作ポリシーを訓練するために利用されている。
この領域が直面する課題
しかし、身体化知能の分野にある企業が乗り越えなければならないハードルは依然として存在し、特にデータを収集するためのハードウェアを設計する際には顕著である。この分野で最も困難な課題の一つは「汎化（異なる状況への適応）」である。これは「身体性のギャップ（エンボディメント・ギャップ）」によるもので、たとえば、人間の手で訓練されたモデルを、運動学（キネマティクス）や自由度の異なるグリッパー（ロボットのつかみ具）に適用しなければならないことを意味する。これが、センシング・モダリティを幅広く網羅することを優先する理由の一つである。そうすることで、人間とロボットの間の外観、センサー、運動学のギャップを埋めることができる。しかし、最終的にそのギャップを埋めることは、依然として未解決の研究課題である。
もう一つの課題は、実験室環境にとどまらず、現実世界の環境下（イン・ザ・ワイルド）でデータ収集に使用できるハードウェアやシステムを構築することである。物理的な相互作用における力や触覚、モーションキャプチャなどの豊かな相互作用の一部は、大規模に捉えることが最も困難であり、そのためほとんどの大規模データセットは視覚データのみに偏っている。たとえば、触覚力フィードバック・グローブは、レストラン、工場、家庭、その他のブルーカラーの職場など、データが存在する多様な環境に耐えうるよう、非侵襲的（身体に負担をかけない）で、快適かつ耐久性に優れていなければならない。
この分野に参入するビジネスリーダーにとって最も重要な転換は、これを個別のワークストリームとしてではなく、ハードウェア、モデル、グローバルオペレーションにわたる「フルスタックの（総合的な）課題」として扱うことである。私たちは活動の初期段階でそれを学んだ。私たちが最初に市販した触覚グローブは、1週間もしないうちに故障した。一部の人の手の汗によって配線が腐食してしまったからだ。これは実験室でのテストでは決して露呈しない類の失敗である。エンジニアリングにとどまらず、私たちはグローバルなサプライチェーンを構築し、世界の労働市場全体でデータ収集を実施し、シリコンバレーの研究者たちと同時にアイデアの検証を重ねる必要があった。これもまた、フルスタックであることの結果である。
しかし、最も微細でありながら難しい課題は、新たなカテゴリーをゼロから構築することである。ブルーカラーの労働者は、これまで訓練データの生成を求められたことなどないはずであり、彼らが何を、なぜ収集しているのかを説明することは、技術的な問題であると同時に、コミュニケーション上の問題でもある。
これらの課題を克服し、人間の経験を大規模に捉える術を学ぶ企業は、より優れた機械を構築し、それらが実行できることの境界線を引き直す役割を担うことになるだろう。
