“数カ月を「4時間」に圧縮”するXYN空間キャプチャー
3Dデータを元に映像制作を行うバーチャルプロダクションを普及させる上で、最大の壁となるのは、背景となる3Dアセット制作にかかる数カ月という時間と、莫大なコストだった。ソニーのXYN空間キャプチャはこの問題をいくつかの技術とワークフローで解決している。
まず、ガウシアンスプラッティングをベースとして独自開発した3Dスキャン技術がある。複数の高精細画像を組み合わせることで空間情報を計算によって再現するものだが、大量の写真を撮影せねばならず、また撮影場所に関しても、ある程度のノウハウが必要だ。
そこでXYN空間キャプチャでは、撮影ナビアプリ（110枚のロジック）現場での撮影をガイドするアプリを提供する。撮影に使うLEDウォールのサイズに合わせ、どの程度の粒度で撮影していくべきなのか、スマホ上のARガイドに合わせてシャッターを押していくだけ。
スマホのカメラが前後に動く際の視差を考慮して、「前後二列」での撮影を要求する。これにより「撮り逃し」が皆無になるだけではなく、むやみに“乱写”する必要もなくなるため、フォトグラメトリに必要な写真の枚数が少なくなる。
一般的なバーチャル制作で必要となる背景情報の生成で必要なのは、わずか110枚程度という。これで4K撮影に見合うデータが揃うという。
次に、このガイド付き撮影で得られた情報をクラウドにアップロードすると、対になるフォトグラメトリ技術“Venus”アルゴリズムで、空間データに変換される。前述したように110枚程度の写真で構わないため、撮影しながら5Gでアップロードを続ければ、あとは処理を待つだけ。
そして重要なのが、空間データ生成に要する時間がわずか「3時間」であることだ。
つまり“撮影に1時間、生成に3時間”、合計4時間で空間をキャプチャできる。100数十枚程度なら、人が写り込まないよう配慮しながらの撮影もある程度は可能で、現場での“デイリーオペレーション”で、空間データを取得できる。
早朝にロケハンした場所を、午後にはスタジオのLEDウォールに投影して本番撮影を行うことも可能で、バーチャル制作における制作コストを劇的に削減できる。なお、3Dオブジェクトも当然のようにスキャンが可能だ。
「死の世界」に命を吹き込む技術
さらにソニーのXYN開発R&Dチームが取り組んでいたのは、ガウシアンスプラッティングでキャプチャした3Dスキャンデータを“活きた”情報として活用することだ。
この技術でキャプチャした空間データは、細かな3Dオブジェクトに分割することはできない。
そこでAI技術を活用し、空間内にあるオブジェクトを識別、分離する技術を開発した。例えば“電柱”が邪魔な場合は、電柱をクリックして選択・消去できる。
またシーンをキャプチャしたライブラリ内を自然言語で検索することもできる。”木製のベンチ”を指定するとをライブラリから呼び出し、それを別の空間に配置したりすることが可能だ。
