環境を変えれば感情が変わる。意図的に感情を編集してできること
落合陽一（以下、落合） 先ほど「Holoeyes VR」を体験させていただきましたが、実に面白い。思ったよりも（臓器の）近くまで寄れるし。ここがすい臓、上にあるのが心臓といった風に位置関係もわかりやすい。
谷口直嗣（以下、谷口） CTスキャンのデータをもとに、3D化しています。そもそも人間の体内自体が3次元なので、むしろこちらの方が自然なんです。それに人間の体内というのは顔と同じで、人それぞれ違うんです。
落合 病変もわかりやすい。これはすごいですね。
小川修平（以下、小川） 僕の方はですね、心を扱っています。感情認識AI「エモリーダー」を用いて、表情と行動の関係性までデータ化して、最終的に価値観を計測するのが目的です。写真のスナップショットを判断して一瞬の感情を測るというのではあまり意味がなくて。
落合 それを時系列に並べてデータを増やすんですね。
小川 そうです。例えば“ライオンは怖い”。これはいままで人間が食べられてきた歴史があるわけです。ということは逃げなくてはならない。そうした背景をいちいち考えなくても圧縮して言語化し、瞬時に「怖い」と判断できれば、すぐに「逃げる」ことができる。つまり価値観というのは言語化のトレーニングであり、それによって素早く行動できるという考え方です。ただこれ、逆もあるんですよね、身体知というものが。例えば楽しいから笑うのではなく、笑うから楽しくなる。泣くから悲しくなるという反応も証明されています。
落合 それには思い当たるエピソードがあります。友人が奥さんに「最近太ったね」と言ったところ、夫婦仲が悪くなったらしいんです。そこで「奥さんはかわいい」と自分に言い聞かせるようにしたところ、本当にかわいく見えてきたし、その影響は奥さんが周囲に「最近かわいくなったね」と言われるまでに拡大したというんです。これは感情をコントロールして行動変容まで起こしたってことですよね。
小川 そうです。かわいいと考えることで、その人は環境情報を意図的に書き換えているんです。そしてそれが実感情につながっている。明らかに自己実現です。
谷口 心理学者が行う「家族療法」に近いですね。数人の集合体の環境をいじることで、患者の行動を変えていく。以前ロボットのアプリケーションをつくったのですが、感情の行動化までコード化しないと機能しないんです。それはセットなんですね。
小川 肩を揉むのは親密じゃないとしない行動。喧嘩をしていて仲直りをしたいとき、親密さを生み出すために肩を揉むというのは正しいんです。これこそコンテクスト（状況）が感情を左右する証拠。
落合 僕は最近、日本テレビの開発したアンドロイドアナウンサー「アオイエリカ」と共演したんですが、収録をしているうちに、人の形でリアルな反応をするのでいつの間にかそこに“人間”を感じていたんです。まさに五感をハックされた感じ。家庭のなかでもスマートスピーカーに人間を感じる人は少なくないと思いますし。ここ5年くらいでコンピューターと人間の関係性は大きく変わったと思います。いまはもう人間vs道具とは考えにくくなってきている。
谷口 キャラクター化というのも大切かもしれません。
小川 親密さを高めるためには重要だと思います。
落合 その進化が進んだのって、ここ5年だと思うんですよ。SNSやYouTubeが普及して、人間の視覚・聴覚のベースになるデータが足りてきたという背景があるはずです。そうした膨大なデータを背景にして、どんどん人間にコンピューターが近づいてきたんだと思います。あとクラウドの問題もあります。膨大な演算を空の彼方で処理してくれるので、無線接続しているスマートフォンでもそうした機能を気軽に体験できるようになった。
そもそも人間は四次元の世界を無意識に生きている!?
谷口 普段Unityというゲームエンジンでゲームを制作しているんですが、それだとUnity内にAIを組み込むことができるんです。いままでは膨大な映像を学習させるしかなかったことが、内部のAIが反応してくれるので、それにパラメーターを渡すだけで簡単にゲームが構築できるようになりました。
落合 確かにその方が自然なものがつくれますね。そういえば知り合いにVRの中でVRヘッドセットをかぶるという試みをやっている人間がいました（笑）。一度仮想化すると無限の仮想化が可能になる。
谷口 もうリアリティーとは何なのかという根源的な問いにつながりますよね。ただ心象風景とカメラで写した風景は違うんです。
落合 フレーミングやピント位置の問題ですね。
谷口 VRをやっていてよく思うのはフレーミング、レイアウト、カメラ割りというカメラワークの問題です。順繰りに人が喋っていくとしたら、それぞれに順にピントが合っていく。それがないとテレビドラマなどはとても見ていられない。そこがどこにでもピントが合っているVRとの大きな違いなんです。
落合 コンテンツづくりでは重要な問題ですよね。いま僕は「変態するオーケストラ」という仕事をしているんですが、指揮者というのは全体の音を聴かせたいときと、一つのソロ楽器にフォーカスを当てるときで、それぞれに適したサーチライトを当てるような作業なんだと思うようになりました。各奏者に対してもそうした説明はすごくわかりやすいようで。
小川 でもそれって面白さとは何なのかという問題にもつながってくる。フレームも画角も指定されていない視界で、一体人間は何を面白いと感じるのか。つくり手がフォーカスを当てることが表現で、それで初めて人間は面白さを感じるのではないかと。
落合 全てにピントが合うと雑多になってしまいますもんね。人間の顔に関しては平均的な顔が一番美男美女に近いと言われますが、音楽や映像コンテンツで平均化すると実に面白くない。ちょっとだけ尖っていたり、クセがあったりしないと成り立たないんです。
小川 それってギャップ萌えに近いですね。顔はきれいなのに足が短い、バカそうに見えるのに賢いというところに惹かれてしまうような。
谷口 コンテンツは時間軸が重要なので振れ幅がないとつまらないのでは？
落合 印象派の絵画がまさにそうした進化をしましたね。全体にピントがきているのではない描き方で、写真ではできない時間軸をそこに組み込んだ。構図の意味、視点移動の意味で味が出る作品が印象派の本質だと思うんです。
小川 時間軸が四次元目なのだとしたら、それに憧れているんでしょうね。
落合 醸造期間の長いウイスキーが憧れの対象になるのはそこに時間が絡むからですよね、きっと。それは四次元目の知覚が人間の脳内にセットされているからじゃないんですか？ 「このまま運転していると事故を起こすな」と感じるのは、時間軸を含めた未来予測=四次元の感覚です。バウンドするボールを見ても3バウンド目くらいまでは予測できるでしょう。ただこうした先読みは、実はコンピューターでもデータさえあれば可能なんですけどね。
インターネット以前の時代に、人類はもう戻れない
小川 人類が狩猟から農耕民族へと変わったのって、優しさだと思うんですよね。狩猟民族として過ごしたら、獲物を取れない人間はどんどん駆逐されていく。移動も伴うから体の弱い子どもや老人にとっては厳しい。そうしたエリートになれない人間でも生きられる生態系をつくるために人間は農耕を選んだんじゃないかと。多様性を保つために。
落合 その究極の到達点が現代かもしれませんね。インターネットというインフラが出来上がって、いまではYouTuberという職業が成立するほどエントロピー増大を許容するようになった。
この流れはもう止められませんね。これから先どんどんデジタルネイティブの世代が増えていくわけだし、もう人類はインターネット以前の時代には戻れません。もう一度、紙の形で同じ量の情報を各自入手するのは不可能ですから。
そもそもディスプレイの鮮やかさに慣れた世代にとって、プリントされた青はくすんで見えると思うんですよ。
谷口 そうですね。その影響はファッションにも表れていると思います。明らかにインスタ映えするカラーを選んで着ている。昔のファッションの専門家はけしからんというかもしれないけれど……。
落合 シェアラブルでアイキャッチーな色合いを自然に選んでいますね。あとVTuberのアイドルというのも面白い進化です。おじさんが口パクでやっている美少女が人気となる現象。まだまだ解像度は低いのが現状ですが。
谷口 うーん、VTuberはマンガだから、解像度を上げない方がいいんじゃないのかな？
小川 いや、その感覚もネイティブの人はどう思うか、疑ってしまうんですよ。CGキャラクターの「SAYA」っているでしょう？
落合 普通にかわいいですよね。ただ現状ではまだまだデータが重すぎるから自由に動かせない。とはいえ、10年経ったらわからないですよ。そうなると本物のアイドルとSAYAの違いはどこにあるのかと。
谷口 なくなるんでしょうね。もともとアイドルってバーチャルな存在だから。
落合 確かに、ジャニーズにしても結婚相手として考えるような消費の仕方をしている人は少ないわけだし……。つまりそれって精神の自由度が上がるということ？
小川 よく昔の良きインターネットの時代じゃなくなったと嘆く人がいます。荒れてばかりいるから。でもこれってみんなが使い始めたってだけのことですよね。昔はある程度のIT知識が必要だったものが、誰でも使えるようになっただけ。むしろリアルの世界に近くなったんだと思うんです。
デジタルとリアルが限りなく重なる時代に住まうこと
落合 デジタルって、もはや第二の自然なんですよね。実際に人間のDNAや視神経も、4進法や2進法に基づいたデジタルな仕組みだと考えると不自然ではない。海洋生物が同じ種同士でエコーを用いた情報通信をしているのは知られていますが、それは水の中の方が遠くまで音が聞こえるから。しかも、そこでは物体が重力の影響を逃れて浮遊するわけです。これってある種のVRじゃないですか？
小川 少子化を迎えている現代で、ポイントになるのは優しさ・愛情の使い道ですね。住まう環境がデジタルネイティブの視点で創造されるとき、ペットロボットを愛する行為はもはや不自然ではない。
落合 寿命がないし、バックアップが取れるし（笑）。その意味では人類はインターネットというネットワークで地球を覆い尽くすことに成功しているんだと思います。これこそ、海洋生物にとっての海。人間にとって快適に最適化された状態です。この先グローバル通貨が生まれれば、地球の裏側にいる人の経済行為が我々の食卓に直接的に影響するかもしれない。
小川 それこそお金を介在せずに物々交換も可能ですね。
谷口 確かに、現代の技術でトランザクションが明確にトラッキングできて、怪しい行為ができないようになれば、物々交換は成立しますね。そうなれば地球規模のやりとりが住処にいながら可能になる。家の機能性はそうしたデジタルが自然に馴染んでいるものへ進化していくべきなのではないでしょうか。
谷口直嗣
Holoeyes株式会社CTO兼CEO
兵庫県出身。横浜国立大学建設工学科船舶海洋工学コース卒。CGスタジオのR&D部門を経てフリーランスに。3Dプログラミングを軸にコンソールゲーム、インタラクティブ展示、スマートフォンアプリ、ロボットアプリケーション、VRアプリの企画開発を行う。
2016年10月にVR/MRを使った医療向けサービス「Holoeyes VR」を提供するHoloEyes株式会社を杉本真樹氏と設立。
女子美術大学メディア表現領域にて非常勤講師としてゲームの企画開発の指導も行っている。デジタルハリウッドロボティックスアカデミーサービスロボティックス専攻コースでも講師を務める。「情熱大陸」にも出演した注目の人物。
小川修平
株式会社エモスタ 代表取締役社長
2008年インディアナ大学卒。三菱UFJモルガンスタンレー証券などの投資銀行にてM&Aを手がける。2015年に海外インターン・IT人材関連事業の創業を経て、2017年3月株式会社エモスタを義弟でもある臨床心理学博士Alexander Kriegと創業。同社では、人間の表情から感情を認識、複数人認識で共感度を計測する感情認識AI「エモリーダー」を開発。ソフトウェアの開発のほか、感情データの統計解析を用いたコンサルティング、感情データを活用したサービス、心理学コンテンツの開発を通じて、人々が自分の価値観に沿った人生を歩む支援を行う。
落合陽一
1987年生まれ。メディアアーティスト。東京大学大学院学際情報学府博士課程修了（学際情報学府初の早期修了）、博士（学際情報学）。筑波大学学長補佐、大阪芸術大学客員教授、デジタルハリウッド大学客員教授を兼務。ピクシーダストテクノロジーズＣＥＯ。2015年米国WTNよりWorld Technology Award 2015、2016年Ars ElectronicaよりPrix Ars Electronica、EU（ヨーロッパ連合）よりSTARTS Prizeなど国内外で受賞多数。著書に『魔法の世紀』(PLANETS)、『これからの世界をつくる仲間たちへ』(小学館)など。個展として「Image and Matter (マレーシア・クアラルンプール,2016)」や「Imago et Materia (東京六本木,2017)」、「ジャパニーズテクニウム展 (東京紀尾井町,2017)」など。
