DJさながらにステージ上を歩くことも
少し仕組みや技術的なことにも触れておきます。今回、武藤さんの筋電信号をセンシングした部位は、首、腕、足のそれぞれ左右の信号です。
NTTの筋電チームが苦心していたのは、信号の閾値の設定です。筋電はすごく繊細なもので、緊張やリラックスといった精神状態も影響します。力が無意識に入っている状態でキャリブレーションをしてしまうと、いくら力を入れても信号が取れなくなってしまうほどの繊細なのです。
僕たちDentsu Lab Tokyoが苦心したのは、UI（インターフェース）設計です。理想では、両手に力を入れることで、手を叩いたり、手を振ったりなどのアクションを使い分けられる設計。
ただ、現時点ではそこまでの筋肉および筋電の使い分けは難しい。そこで武藤さんが得意な視線入力による選択と、筋電入力を組み合わせることでさまざまな動きを実現することができました。視線の動きに対して、自然で誤作動が起きにくいデザインを開発することができました。
またDentsu Lab Tokyoのテクノロジストの村上晋太郎に頑張ってもらったポイントは、ゲームの「エモート」のようなテンプレート的なモーションではなく、リアリティのある人間らしい動きの開発です。
様々な手法を比較検討した結果、モーションを「右腕=右腕筋電」「左腕＝左腕筋電」「下半身＝両足筋電」「体幹両首筋電＝」の4つのパーツに分け、そのパーツごとのモーションをリアルタイムにミックスするモーションシステムを開発しました。筋電の組み合わせ・発火タイミングにより毎回動きに違いが生まれ、臨場感のあるモーションを再現しました。
今月、これらを引っ提げてリンツに飛び、「アルスエレクトロニカ」で約25分のライブパフォーマンスを実施しました。DJの武藤さんは日本からのリモート参加です。DJプレイだけでなく、武藤さんのアバターが本物のDJさながらにステージ上を歩いたり、お客さんを煽ったりするパフォーマンスも実現できました。
今回のプロジェクトの「DJ」というアイデアは、実は武藤さんとの立ち話が元になっています。武藤さんと雑談している時に「もしもう一度筋電信号で身体を動かすことができたら何がしたい？」って聞いたんです。そしたら彼は「DJをしながら手を振って、お客さんとやりとりをしたい」と言いました。
ALSに罹患してからもDJをしているけれど、一番辛いのは応答ができないことだと。じゃあそれをやろう、ということで今回のライブパフォーマンスの構想が見えてきました。
ライブパフォーマンスは、ヨーロッパのみならず世界中から集まったメディアアートのファンたちを魅了し、興奮させ、体を揺らすことができました。この体験は僕にとっても忘れられない出来事になりました。想いとテクノロジーが結実することで、不可能と言われたことを実現できる、そんな自信にもなりました。
