Apple Vision Proは内蔵するイメージセンサー、レーザーレーダー、ToFセンサーなどを駆使して空間の情報(立体的な形状や配置、それら表面のテクスチャなど)を捉え続け、コンピュータ内部で再構築した上でユーザーの視覚へと送り込む。
まずは空間情報の取得、そしてデジタルの空間情報として組み立てなおした上でユーザーにその景色を見せるわけだ。そしてその現実空間を再現したデータの中に、コンピュータで動作するアプリの情報、あるいはOSが表する情報を空間デートして配置する。
このこと自体は、小さな窓を通して行っていることを除けば、iPad Proなどで実現しているAR機能に近いものだ。
Apple Vision Proの方が、より細かく高精度に空間を認識し、現実感あるかたちでユーザーの資格にアプローチするが、アップルは空間の中にコンピュータが作り出す仮想的な情報を重ね合わせる技術に関して、その初期バージョンの改良をこれまでも重ねていた。
Apple Vision Proでは、さらに空間に対して自由にアプリケーションを配置するだけではなく、空間情報をもつ表示要素(体積をもつモノや風景を模したデジタルのシーン情報など、座標を持つ空間データ)を自由に配置、更新することが可能だ。
Apple Vision Proが現実空間から捉え、また仮想的に空間情報として構築する情報は視覚情報だけではない。
Apple Vision Proは6個のマイクから音を集めることで現実空間の音響を測定し、またオーディオレイトレーシングという技術で、多様なアプリから出る音を、ユーザーが観ている空間に適合するように再現する。
そして操作したい対象を見つめ、そして指先を軽く合わせるだけで操作できる。長年、続いてきたマウス(あるいはトラックパッド)による操作は、Apple Vision Proの中では必要がなくなる。