5G時代の新しいVRライブエンターテイメント（株式会社NTT ドコモ）

 
デジタル・ルック・ラボ代表、川上一郎（以下、川上）　本日はJ-LODに採択された3つの旬な案件を紹介させていただきます。ライブクリエイターの方たちと日本の技術が組み合わさって、どんな楽しいことが起きているのかお聞かせください。最初にNTTドコモの佐藤さんから、現在の取り組みをお伺いします。
 
株式会社NTTドコモ、スマートライフ推進部オープンイノベーション戦略担当部長、佐藤浩之（以下、佐藤）　　我々が取り組んだ次世代の5Gと連動したVRのライブエンターテイメントについてご紹介します。中国移動という中国最大のモバイルオペレーターのコンテンツ会社と合同で、キリンとシーというバーチャルアイドルを使い、さまざまなテクノロジーにチャレンジしています。
 
2014年にNOTTVという放送局の中で、ライブアニメーションというものからスタートしました。ライブアニメーションのベースはモーションキャプチャーの技術とリアルタイムのCGの生成、そこにライブ配信を合わせることでテレビの生番組をアニメでやるというおもしろい発想から始めました。
 
2017年から日本と中国をつなぎ、さまざまなテクノロジーを利用して、両方の視聴者に対して番組を届けていくことを開始しました。当時から5Gが来ることはわかっていたので、5Gに向けて放送番組を通じ、我々のアイドルキャラクターを使ってどのような新しいバーチャルリアリティ的なものができるのか、ということを2017～19年の間にかけて試してきました。テレビ番組に参加した視聴者の方に、できるだけリアル感を感じていただくために、双方向通信を取り入れたりしてきています。
 
川上　　そのバーチャル番組では、視聴者がどのように参加できる仕組みになっているんですか？
 
佐藤　　中国と日本の双方の視聴者に視覚でわかるようにしたかったので、コメントが出ると自動で「パオズ（肉まん）」が降ってくるような演出をしました。この演出が中国側で、とてもウケました。中国では自分のコメントは一旦、プラットフォーマーのフィルタリングを経由した上での発信になりますので、今回のように、自分の発信に対し、リアルタイムで明確にレスポンスが返ってくるという仕掛けを作ったことで、我々が予想していなかった感情の部分でリアリティが生まれてきたようです。こういったストリーミングと放送という仕掛けを連動させていくことで我々はいろいろと試しています。
 
またバーチャルな空間に、より多くの人がアクセスできるようになれば、中国、日本、東南アジアといったマーケットの20億人の方々が同時に参加することが可能になります。東京ドームのキャパシティは5万人ですので、キャパシティの大きさとバーチャル、通信の技術というものを取り込んでいくことによって、現実的にドームのキャパ以上の新しいライブエンターテイメント、コミュニケーションの文化を作っていけると思っています。
 
新しいライブエンターテイメントとライブアニメーションの取り組みを中国と一緒にアジアを股にかけて展開していきたいと思っています。
 

新しい映画体験の提供を。3DCGとARテクノロジーの融合（ソニーPCL株式会社）

 
川上　　ソニーPCLの宇城さんの現在の取り組みはいかがですか？
 
ソニーPCL株式会社、クリエイティブ部門 コンテンツクリエイション部 ビジュアルクリエイター、宇城秀紀（以下、宇城）　　我々は、どのようにすればテクノロジーと映画を掛け合わせて融合できるかをテーマに、「日比谷シネマフェスティバル」のコンセプトである“体験する映画祭”を具現化するため、山崎 貴さんが監督・脚本を務めた映画『ルパン三世 THE FIRST』とのコラボレーションで「シネマARマッピング」という映画プロモーションコンテンツを作りました。山崎監督はフル3DCGにおける日本最高峰のクリエイターで、そのCGを我々がARのテクノロジーと掛け合わせ、視聴者がルパンと一緒に映画の世界に入り込んだような経験ができる、という試みです。
 
「シネマARマッピング」は、東京ミッドタウン日比谷の広場（日比谷ステップ広場）に設置した大型ビジョン（9ｍ×5ｍ）に映し出される映像に、専用アプリをインストールしたスマートフォンをかざすと、大型ビジョンから逃げ出してきたルパン三世がスマートフォンの画面に出現します。大型ビジョンの映像とスマートフォン上の動画が完全に同期し、その場にいるユーザーが同じタイミングで同じストーリーを体験できるコンテンツです。
 
ポイントは、大型ビジョンの映像と3DCGキャラクターを同期させストーリーを展開させることは、簡単そうで実はとても難しい技術だということです。それと、キャラクターの細部までが作り込まれたフル3DCGのデータを、ARのモバイル端末で動かすことは非常に大変で、独自のデータ変換技法を作り出して、キャラクター独特の動きなどの表現を変えずにモバイル環境で動かせるよう最適化した先進性にあります。
 

©モンキー・パンチ／2019映画「ルパン三世」製作委員会

 
川上　　そこまでクオリティの高い映像はどのようにして生まれたのでしょうか？
 
宇城　　実は山崎監督の監修のもと、実際に映画の本編制作を手掛けたトムス・エンタテインメントさん、マーザ・アニメーションプラネットさんとストーリーの作成から一緒にやらせていただきました。大型ビジョン上の映像と連動することでどのような演出ができるのか。実際のルパンの迫力ある動きをどうやってARで表現すればよいか。ということを何度も繰り返し考えました。また、画面に対するARのトリガーは、安定性と追従性がとても良いPTCジャパン社の「Vuforia Engine」というARエンジンを使うことで実現できました。プログラミングをイメージソースという会社に依頼し、スマートフォンをスクリーンにかざすと双方の映像が完全に同期するようにしたんです。これを映画のプロモーションに活用できないかということで、今回『ルパン三世』という3DCGの映像を使って検証しながら制作をしていきました。
 
世界的にも評価の高いジャパンアニメーションが2Dから3Dへ発展する潮流にある今、3DCGデータが共有できることでテクノロジーとの親和性が非常に高くなってきています。映画の制作方法が進化し、視聴者の映画体験の価値も、大きく変わってきています。今回のコンテンツはそうした新しい映画のカタチを示し、映画の世界を拡張できたと思っています。日本が持っている既存のIPコンテンツやIPキャラクターをこうしたテクノロジーと共に世の中に発信していくことができれば、映像とテクノロジーを融合させた新しい視聴体験というものがより生まれるのではないかと考えています。
 

メディアアートコンテンツの可能性を拡げていく―インタラクティブな作品を海外へ（株式会社ライゾマティクス）

 
川上　　ライゾマティクスの千葉さんの現在の取り組みはいかがですか？
 
株式会社ライゾマティクス取締役、千葉秀憲（以下、千葉）　　私はプロデューサーの目線で今回のJ-LODの話をさせていただければと思います。才能あるクリエイティブチームが作品を作る環境や制作費の資金繰り、クライアントとの折衝をしていくことが私の役目です。
 
ワシントンDCに2017年6月にできた比較的新しいARTECHOUSEという施設がありまして、テクノロジー、メディアアート、クリエイティブに重点を置き、商業施設も併設されたギャラリーです。そこから1年ほど前にオーダーをいただきまして、資金や制作のタイミングをどうしようかということを考えながら今回の作品に至りました。
 
作品は主に3つのコンテンツで構成されていて、1つ目はメインギャラリーと呼ばれる1番大きなスペースにコの字型のスクリーンを設置し、振り付けと光の制御によりアナログの世界では表現できなかったImmersiveな空間を感じられる作品です。2つ目は、見ていた人の動きに合わせて壁の絵が動くもので、機械学習技術を用いてシルエット、境界線、その輪郭をしっかりと取ることで新しい表現にチャレンジしています。3つ目は、ARでダンスパフォーマンスをいろいろな角度から自分の好きなアングルで見られるということを実現しています。
 
川上　　資金調達について大変だったことなどありますか？
 
千葉　　海外のアートギャラリー案件は招聘されることは大変名誉なことですが、厳しい予算のケースが多々あります。そのため、日本の助成金をいろいろあたりにいくようになったのですが、既存の助成金のほとんどが映像やアニメ、マンガなどの完パケのコンテンツを対象にして助成金制度が作られていることに気づきました。当社でつくるようなインタラクティブ作品だと、既存の作品であっても会場スペースに合わせて微調整をするなど、必ずと言っていいほど2次開発が必要となります。そして、そのテスト費用も事前にかかるわけですが、これまでの助成金では最小限の構成で現地に行くスタッフの渡航費、現場設営費用程度の予算であることが多いです。毎回その点が悩みのタネでしたが、今回J-LODにエントリーして予算を確保いたしました。
 
予算確保ができるようになると、ある程度前もってチャレンジングな案件に取りかかれるので、新作のお披露目を海外で最初にできるということはだいぶ強みになっています。今、展開しているワシントンDCでの展示も、我々スタッフは1人も行っていない状態で運営しています。もちろん何かあった時にはリモートでのメンテナンス環境は整えていますが、ギャラリーの開館から閉館まではパソコンの立ち上げ作業のみで動くようになっていて、コンテンツだけが1人歩きをしてくれるメディアアートコンテンツの可能性というものにしっかりチャレンジすることができています。これをやっていくとまた何か課題が生まれてきて、色々知見が拡がっていくのではと考えています。
 
川上　　では今後も、より可能性が拡がりそうですね。
 
千葉　　はい、そうですね。チャレンジングで、誰も見たことがない魅力的なコンテンツ制作をたくさん応援していきたいです。XR、機械学習などのテクノロジーで作った表現などが皆の手の届くところまできている時代です。そのためには、それらが成立するマーケットも作っていかなければいけないと考えています。そういった意味で今後もJ-LODを活用させていただきながら、何か新しい試みを支援していくことが私の職責であると考えています。
 

各プロジェクトの成果や課題

◆リアルとバーチャルをオンタイムでつなげることの難しさ

 
川上　　みなさん新しい取り組みをそれぞれされていますが、その時の観客の反応や苦労話などはありましたか？まずはドコモの佐藤さんから聞かせてください。
 
佐藤　今回のプロジェクトはコンテンツ制作では、色々な方々と共同してイベントステージを作りました。しかし実際にやってみようと思うと、コンテンツ製作だけではなく演出やイベント全体のプロデュースやマネジメントがあり、2日間のイベントをやるのにどれだけ大変なのかということを非常に身に染みて感じました。
 
例えば、実際の会場と人の導線や、お客さまの呼び込みなど、主催者の方々とどのくらい連携しておくべきかということはこれからの課題だと思います。技術的な面では、我々の5G基地局をどこに設置できるのか。また5Gだけで、100台の端末にVRのコンテンツがきちんと届く位置に調整する。というところにかなりの時間を要しました。
 
さらに、VRに関してはハコスコを用意し、そこに5Gのスマートフォンを差し込んで再生しました。なぜかというと、我々がスマートフォンでさまざまなコンテンツを配信しているということも、もちろんあるのですが、実はOculusのquestのようなPCにつながないタイプのVRギアのCPUのパワーはそれ程高くなくて、スマートフォンのCPUの方が実は性能が高いんですね。ですから、スマートフォンを使うことにより高解像度のコンテンツを届けることができるというメリットがあります。
 
環境面では、恵比寿のスタジオで、演者さんのモーションを撮り、六本木の別のスタジオではタイムコードで時間を合わせながらモーションを取り込んでレンダリングをかけました。音だけはステージ側に出てくるレンダリングをかけたVR空間の音と、現場のMCの会話にどうしてもタイムラグが出ます。テレビでも衛星中継した音がずれるということはよくある話ですが、ライブのエンターテイメントにおいて、音のずれというのは、演出上非常に大きく影響します。ここで間の取り方がうまくいかないと、音のずれが観客の方々にはリアルに出てしまいます。
 

 
川上　　音のずれというのが今後の課題になるのでしょうかね。その他に、観客の反応などはいかがでしたか？
 
佐藤　　3Dスキャン技術を使って観客の方に気軽にステージに出てもらうという企画を行いました。お客様が3Dスキャンをするだけで、あらかじめ用意していたモーションと合わせてお客様がステージで様々なアクションを行うという演出を行い大変好評でした。こういうインタラクティビティみたいなものは今後のVR、ARという世界観の中ではかなりポテンシャルがあるのだなということを改めて感じました。
 
全体的には新しいテクノロジーが今までと違う感覚で、リアルとバーチャルをステージ空間で結び付けていくことで、よりリッチな表現でお客さまにお楽しみいただけるイベントを構成できたと感じています。
 

 

◆3DCGアニメーションとARの組み合わせのハードルとは

 
川上　　ソニーPCLの宇城さんは、ARのスマホへの動作性などで、ご苦労があったと思いますが？
 
宇城　　やはり1番大変だったのが動作の重さですね。ハイエンドで重い3DCGデータをモバイルで動かすために、リダクションをかけたりボリュームを下げるなど変換作業を試みましたが、やはりスムーズには動かないんですよね。何度も試行錯誤を繰り返して、ハイエンドのフル3DCGには少し劣るものの、山崎監督からOKをいただけたクオリティの高い3DCGをARで表示することができましたが、苦しくて大変な作業でした。こうしたフル3DCGのアニメーションとARを組み合わせた時の技術的なハードルをどう乗り越えていくかが課題ですが、おもしろくもあり、それを突破したところに夢が拡がると思っています。
 

 

インフラとコンテンツ。音と光と映像の融合のために。

 
川上　　ライゾマティクスの千葉さんのご苦労された点を聞かせていただけますか。
 
千葉　　昨年末（2018年）に我々も関わらせていただいたプロジェクトで、5Gで横浜と東京のステージをつなげて完全同期を目指すということをやっていましたが、同期が当たり前のようにみられることが多くなってしまいました。通信速度や容量があがればOKというわけではないので、我々が「同期するまでには、3カ月かかります」と言っても誰も受け入れてくれないんですよ。相手との期待値調整が難しくなったと感じています。現場サイドの制作チームの同期作業は、当然そんなに簡単にはできません。クオリティを保つためには多大な手間と時間を要します。
 
今回の作品でもリアルタイムでレンダリングもしなくてはならないので、負荷の高い難しい演出をしたら、それだけ作業が遅れる可能性もあります。作品を観た一般のお客さまが、なんとなく正解じゃないものを「こんなもんか」と何が正解なのかわからないまま、帰られてしまうことを一番避けたかったので、そこはかなり頑張って精度を上げました。せっかく作ったのに評価されないというのが最も残念なことなので、きちんと作った作品は正当に評価してもらいたいという思いはプロデューサー目線としてものすごく大きいですね。
 

 

5Gの今後の可能性について

 
川上　　ドコモさんでの5Gの今後の可能性とか、今ある5Gのアプリの将来性や夢はいかがでしょうか？
 
佐藤　　5Gの特徴は大容量で送れるという点ですよね。4Gから5Gになることで、20ギガぐらいまで送れるという点では相当な容量になります。我々のチームでは先端的な技術を使いながらIPのコンテンツを動かすことで、よりリアルなユースケースを作っていこうと取り組んでいるのですが、クラウドの技術との連動性が非常に重要になってきます。単純にスマホで観ることだけがモバイルではなくて、相互でコンテンツを送る際にWi-Fiや、有線の複数のネットワークの連動がEnd to Endのスピードとクオリティの物理的なボトムネックになっていました。それが5Gがフルに展開されれば、1つのネットワークで全てを伝送することが可能になるという夢が実現します。
 
グローバルという観点で見ると、東南アジアに5Gが導入された場合、そういうリッチなコンテンツが見られない方たちにモバイルのデバイスを通じ一気にハイクオリティなコンテンツを届けていく。ここにコンテンツオーナー側に新たなビジネスチャンスが生まれてくると思います。
 
川上　　5Gは2020年、どのくらいに普及しそうですか？
 
佐藤　　ドコモもそうですが、他社さんも含めてローンチはさせていきます。現実的には5Gの場合、基地局をどうやって作っていくか。ユースケースをどのぐらいのスピード感で作っていくのか。が5G普及の1番重要なところだと思います。
 
これから、ユースケースをもっと一緒に作っていきたいと思いますし、我々のようにJ-LOD案件の中で新しい取り組みをいろいろな方々とコラボレートする機会をいただければと思っています。
 

◆VR、ARなど今後の可能性について

 
川上　　VR、ARという市場の育成や、コンテンツの魅力をどうもっていくかについてはどうお考えですか？
 
佐藤　　VR、ARのコンテンツは、欧米のマーケットでは、フォトリアルと呼ばれ、比較的リアリティあるものが多いのですが、アジアではやはりアニメーション的なキャラクターが引っ張っていくと思っています。
 
もともと、アジアでは日本のマンガ文化やアニメイティブなキャラクターが大変受け入れられていますので、日本のコンテンツクリエイターにとっては、大きなビジネスチャンスがあると思います。我々もプラットフォームを作ることによって、クリエイターが海外でのビジネスチャンスをより得られるように支援するということも目的の1つに考えていますので、やはりVR、ARというフォトグラメトリーの効力は非常に大きいと考えています。
 

 
川上　　宇城さんの事例も、ネットで配信される映画などに連携していくことはありますか？
 
宇城　　例えば、これからARメガネやコンタクトレンズが実用化されるかもしれないですが、映画自体がARになると面白いなと思っています。映画をARで観るというより、ARでAR映画を観るという。例えば、ここの会場全体を見渡すとルパン三世がいろんなところに飛び出したりとか、映画の世界と日常の世界が融合して、自分で人生のようにストーリーを作っていけたり。いろんな人がいろんなところでその空間を見ていて、共有し合って、それが実際に自分の人生のようなかたちで映画作品になるとものすごくおもしろいなと思います。10年、20年後にそういう世界が実現できるようになればいいですね。
 
川上　　千葉さんが手掛けられているミュージアムでの作品ですが、アメリカでチャレンジされるなど非常におもしろい取り組みですよね。ショーの本場のアメリカでの反応含めて今後の夢をぜひ聞かせてください。
 
千葉　　アメリカは確かにショービズの本場ですが、日本もこれから東京オリンピックや、万博、IR誘致があります。オリンピックは特にそうですが、作った建物の中を先進的なホールにしていくとか、私たちが作っているような作品と親和性が高いような箱が今後できてきて、恐らく2、3年後には色々な面から運営で困るという状況がくるのではないかと思います。日本で作った先進的コンテンツが世界を巡回して、海外の方々を引っ張って日本に戻ってくるようになれば、今回の補助金の意味がかなり出てくると思います。我々もしっかりサポートできる環境作りを考えています。
 
川上　　現在、ネット配信の動画業界も大きく逆転する現象が起きていると思うので、そこで大作の映画作品やディレクターズカットのARが家で観られるようなテクノロジーが実現できたら非常に楽しいですよね。
 
宇城　　そうですね。映画とARの融合はすでに進んでいるようで、実は未着手なことが多く、盲点だったとよく言われます。私も実現にむけて頑張ります。
 
川上　　みなさんの今後の挑戦を楽しみにしております。本日はありがとうございました。