さらに驚かされたのは、シーン全体が現実世界に存在しているかのように“自動的に動きが付与”できることだ。
“3Dスキャンされた空間”は、そのままではキャプチャした時間で“時が止まった死の世界”だ。木々の葉は動かず、水面が乱れることもない。そこで、物理シミュレーションを組み合わせ、例えば風のシミュレーション用いることで木々を揺らし、その影響による光の雰囲気にも変化を与える。
この「微かな動き」が加わるだけで、実写と3DキャプチャによるCG再現の境界を消失させることができる。
もちろん、現実をありのままに記録した後に、こうしたシミュレーション設定を変更することで、自在に「演出」を加えることも可能だ。これは、クリエイターが現実を「素材」として、その場で新しい世界を編み出せるようになったことを意味している。
直感的に空間情報を編集する“Haconiwa”コントローラ
このように生成された素材をどう演出するのか、クリエイターが直感的に使えるユーザーインターフェイスも必要となる。
そこで開発されているのが、空間制作コントローラだ。
開発者は一種の「Haconiwa（箱庭）」と話したが、実際のリリースまでにはまだ時間がかかるようだ。ここでは、仮の名前として“Haconiwa”と表現しよう。
このインターフェースが秀逸なのは、ヘッドマウントディスプレイ（HMD）を被る煩わしさがないこと。水平に置かれた空間再現ディスプレイ（SRD：ソニーが従来から提供していた裸眼立体視できるディスプレイ）を覗き込むと、そこには文字通どおり「箱庭」のような3D空間が浮かび上がる。
3D操作が可能な専用ペンデバイスで、この空間内オブジェクトに触れると振動するハプティックフィードバックがあり、直感的にオブジェクトを指定し、バーチャルプロダクションにおける撮影シミュレーションで、ライティングやカメラ位置を調整できる。
複数のダイヤルも組み合わせ、ズームやカメラパスを操る感覚は唯一無二のもので、洗練されればカラーグレーディングのデファクトスタンダードである「DaVinci」のコンソールのように、業界内で定着する可能性があるだろう。
目の前で直感的にシーンが把握できるため、例えば、アニメ制作ならば「キャラクターがパンチを出すと、拳を誇張して大きく見せたい」と伝えると、カメラ位置に視点を切り替えてペンで演出意図を編集。すぐに、Haconiwa上で直接形にして確認してもらうことができる。
一方で、HMDを用いて演出意図を、キャラクターの視点やカメラマンの視点など、さまざまな視点で確認することも可能だ。空間を仮想的に移動しながら、最適なカメラ位置を指定するといったこともできる。
“バーチャル”であることを活用した、多層的なデバイス連携で、制作準備段階でのコミュニケーションロスを減らすことになるだろう。
何よりこのコントローラー。初めて使ってみたが、複雑なツールを「楽器」のように操れる。テクニックの壁を超えて、どう表現したいかという“純度”だけを研ぎ澄まして作品に注入できる。
