VR空間でアーティストが歌うMR（複合現実）ライブを体験できるトヨタ『MIXED REALITY LIVE!』　収録の舞台裏はこうだった

4月22日、トヨタは新型『カローラフィールダー』のデジタル企画として、現実とバーチャルが交錯するMR（Mixed Reality、複合現実）の技術を駆使したライブパフォーマンスを、パソコン（PC）やスマートフォンで再体験できるコンテンツ『MIXED REALITY LIVE!』を『TOYOTOWN』で公開しました。「再体験」と書いているのは、実際に行われたライブを、あたかもその場にいるかのように体験できるため。ガジェット通信はこの収録現場も取材してきましたので、その模様を交えてご紹介します。

PCやスマホの360°映像でライブを体験

『MIXED REALITY LIVE!』は、新型『カローラフィールダー』のテレビCMに出演しているPUFFY、加藤ミリヤさん、清水翔太さんがテレビCM楽曲『丘を越えて』を歌い継いでいくライブパフォーマンスをPCやスマートフォンで体験できるコンテンツ。

MIXED REALITY LIVE!
http://live.toyotown.jp/

「ENTER」をクリックすると、PC版では目の前に草原と道、そして青空が広がる風景のVR映像に。映像はマウスのドラッグ操作で360°視点が変更可能。

イントロが流れる中、PUFFYの2人が登場。『丘を越えて』を歌い始めます。

VR映像の中に浮かび上がっているように見えますが、画面下の「REAL」をクリックすると、2人がステージ上で歌っている映像を表示。このように、VR映像と現実の映像が交錯し、行ったり来たりしながら楽しめるのが『MIXED REALITY LIVE!』の特徴なのです。

180°展開して後ろを振り返ると、現実の映像では一緒にステージを見ているお客さんの姿が。

ステージ上では、PUFFYに続いて清水翔太さん、加藤ミリヤさんが現れて歌い継ぐという豪華なライブパフォーマンス！

最後に3組が一緒に歌っているところで、PUFFYの2人が「みんなー、後ろ見て！」と声をかけます。振り返ってみると……。

丘の向こうから『カローラフィールダー』が出現！　CM映像のカットを挟みつつ、こちらに向かって走って来るVR映像が流れます。この後、ビックリする展開もあるのですが、実際の映像で体験してみてください。

スマートフォン版では再生ボタンをタップすると再生を開始。視点の移動はドラッグでも可能ですが、スマートフォン版では画面を持ったまま視点を移動すると、映像もグルグル視点が移動します。より臨場感のある映像を体験したいならスマートフォン版がオススメ。

ライブ会場はこんな様子だった

このMRライブ、実は会場にいたお客さんたちも同じ体験をしていました。その秘密は、スマートフォンを組みつけるとVRヘッドセットが作れる『ハコスコ』。お客さんは全員、この『ハコスコ』を見ながらライブに参加していたのです。

会場には、四方と天井に幾何学模様のパネルが設置されています。これはARマーカーで、『ハコスコ』に取り付けたスマートフォンのカメラで読み取ると、会場内における観客一人ひとりの位置を認識可能。この位置に基づいたAR映像を、現実の映像に重ねることで不思議なライブ空間を実現しています。

スマートフォンに再生されるVR映像は、“サイドバイサイド方式”と呼ばれる2画面の表示。これを2眼式の『ハコスコ』で見ることにより、臨場感のあるVR映像を楽しむことができます。

ステージ上には、『丘を越えて』を歌い継ぐPUFFY、加藤ミリヤさん、清水翔太さん。客席でそれを見ている『ハコスコ』を持ったお客さんたち。

その会場全体を、360°カメラ『Ladybug3』で撮影していました。『Ladybug3』は、2Mピクセルのカメラ6台で360°映像を撮影、合計12Mピクセル、15FPSの映像として記録ができます。この映像に、会場の『ハコスコ』でも見られたVR映像を重ねてPCやスマホで体験できるようにしたのが『MIXED REALITY LIVE!』というわけです。

筆者も会場で『ハコスコ』を装着して、お客さんと同じVR映像を体験してみました。ライブの収録時は現実の映像のみ見ていたのですが、お客さんが歓声をあげたり驚いている理由が実際に体験してみて納得。そして、そのライブ体験や『ハコスコ』を付け外ししてVRと現実を行ったり来たりできる体験がPCやスマホで見事に再現されていることにも驚きです。

制作を担当したのは、『TOYOTOWN』ウェブのクリエイティブディレクター、PARTYの中村洋基さん、イベント/ウェブのクリエイティブディレクター、dot by dot inc.の谷口恭介さん、テクニカルディレクター、dot by dot inc.のSaqooshaさん。

今回のライブは一発撮り。会場に設置したセットと同じものを別の場所に組み、半月もの間デモと検証を繰り返して撮影に臨んだそうです。もちろん撮影はトラブルもなく、一発OKでした。スゲエ。未来を感じさせるMRライブ体験でしたが、近い将来、こんなライブが日常的に体験できるようになる日が来るのかもしれませんね。

『TOYOTOWN』のサイトでは、『MIXED REALITY LIVE!』に登場した3組に石川さゆりさん、細野晴臣さん、矢野顕子さん、OKAMOTO’Sを加えた計7組のアーティストが、自撮りで撮影した歌で合唱するスピンオフ動画『みんなで歌おう♪丘を越えて』（http://www.toyotown.jp/sing/）も公開中。こちらも7組が歌う『YouTube』のプレーヤーがレイアウトを変えつつシンクロして合唱する、未来的なコンテンツ。『MIXED REALITY LIVE!』の終了後にリンクが表示されるので、こちらもチェックしてみてください。