VRChat配信の仕組みを用いた社員総会登壇の試み 〜バーチャル空間へのオフィス完全再現とリアル映像合成の裏側〜

こんにちは、R&Dのプロジェクトマネージャーをしている新井です。

先日ZOZOテクノロジーズで半期に一度の全社員総会「ZOZO Technologies Compass」を開催しました。 代表取締役CINO(Chief Innovation Officer)金山はバーチャルキャラクターの箱猫カナヤマックス*1で登場し、社員向けにプレゼンテーションを行いました。 今回はバーチャルキャラクターを使ってのプレゼン企画の実施裏側について紹介していきます。

※会場でのプレゼンの様子。右下がバーチャルキャラクターの箱猫カナヤマックス。 話者の動きに応じて会場のスクリーンにもリアルタイムに動きが反映される。

※別室での実際のプレゼンの様子。VRデバイスを使用しながらバーチャルキャラクターを通じてプレゼンテーション。

バーチャルキャラクタープレゼンの概要

登壇者がVRデバイスとコントローラを用いて事前に生成した3DCGアバターになり、会場とカメラ・マイクを接続して聴講者とのインタラクティブなやりとりを可能にするプレゼンテーションを実施しました。また今回はオーディエンスのいる会場とは別の会場を用意し、遠隔中継での発表も試みました。バーチャル空間にZOZO青山オフィスを忠実に再現し、キャラクターのバーチャルな見た目以外はあたかもリアルなオフィスでのプレゼンと同じになるような環境を用意しました。今回の企画実現にあたりCGの造詣が深い外部パートナーである株式会社GUNCY'SとVR法人HIKKYと共同で行いました。

小長井さん(写真左)、野澤さん(写真中央)、新津さん(写真右)

−簡単に自己紹介をお願い致します。
株式会社GUNCY'SはCG全般の幅広い知識を武器にしている会社で、クライアントが望む答えに対して幅広いアプローチの中から、ゼロベースでコンテンツを作れる軍師集団です。私は元々CGプロダクションで長年経験を重ねてきましたが、近年はエンタメだけでなくCG技術を使って色々な業界でもCGへのニーズが広がってます。それらのイノベーションのお手伝いや、他の分野でも経験を活かしたいと思い2015年に会社を立ち上げました。(野澤)
VR法人HIKKYは、VR空間でのイベント企画やプロモーションなどを行っているチームです。あるゲームのVRを使ったプロモーション施策の際に集まったメンバーが中心となって結成されました。(新津)

−VTuber、バーチャルキャラクターが今普及している背景についてもう少しお聞かせください。
今でこそCGキャラクターには誰でもなれるようになりましたが、数年前は、キャラクターを作るのための専門的なツールが使える一部の人だけのものという印象が強かったです。しかし、Blenderなどの無料で使えるソフトが普及したことと、リアルのYouTuberとは違って顔出ししなくてもYouTuberになれるという点がブームに拍車をかけたと思います。Unityを使ってリアルタイムでキャラクターの口パクや動きが付けられて、それを配信に繋げられる簡単なシステムがあれば、だれでも好きなキャラクターになれるようになったというわけです。
一方で、だれでもバーチャルキャラクターになれるようにはなりましたが、「魅力的なキャラクター・動き・脚本(コンテンツ)」の3つの要素が揃わないと長続きしないと思います。可愛いキャラクターを作れたのはいいが、そのあとのコンテンツがなく継続的は取り組みができず視聴者が離れていく例はよく聞く話です。(野澤)
VR法人HIKKYでは、VRChatの中でコミックマーケットの様なコミュニティを展開するバーチャルマーケットを主宰しており、3月には3日間でのべ12万人以上が来場してくれました。これだけの盛り上がりにVRChat開発元から非常に熱い賞賛を頂きました。(新津)

−企画のはじまりについてお聞かせください
きっかけは金山さんから、社員総会の場でバーチャルキャラクターになって登壇をしたいと打診があったことでした。我々としてはCGを使ってバーチャルキャラクターになりきるためのノウハウは色々あります。ただバーチャルな空間を作って、話者の動きをトレースして配信するだけなら、非常に簡単な話ですが、さらに一歩踏み込んで巷のVTuberやテレビの中継配信に引けを取らない動画配信を目指すことになりました。

今回の具体的な実施内容は
・VRデバイスを使用してCGキャラクターになりきる
・VRChat上に青山オフィスを模したバーチャル空間を用意
・KeynoteスライドショーとVR映像をリアルタイムに合成
・バーチャルキャラクターを演じている人の姿も会場に配信
・会場の様子はサブモニターから確認可能に

プラットフォームにVRChatを使うことで、我々がこの企画のために制作したVR青山オフィスをワールドに設定しVRオフィス内を自由に行き来できる場を作ることに成功しました。この青山オフィスは非常にユニークな作りをしており、リアルとバーチャルを行き来することができるという新たな世界を感じさせるものとなりました。事前にZOZOからオフィスの図面を提供してもらえたので、図面を元に正確に再現することができました。椅子などは新規に作らずアセットストアで購入したものを配置しましたが、中央にあるガラス張りの円会議室は今回のためにオリジナルで作りました。 CG上でガラスを表現するには、リアルタイムで反射の計算をする重い処理が必要になり、難しいものです。しかし事前にライティングをベイクしたマップを反映させることで求める画質を再現できました。バーチャルの場合、演出や表現に関しては予算と期間のなかであれば何でもできます。キャラクターにエフェクトを付けたり、ゲームや映画・アニメのシーンを再現することだって可能です。これらを容易にした背景にはUnityが登場し参入障壁がぐっと下がったことがあげられます。

今回のプレゼンテーションをVRChatを使って実現するために、VRコンテンツとして体験者が気分よく楽しめる環境を維持するための工夫が必要でした。高画質なデータをたくさん使うと演算処理をするためのフレームレートが落ちてしまいVR酔いを引き起こしやすくなってしまいます。そのためデータ量を制限し、計算コストが高い光の計算は事前処理を行うなどの工夫が必要です。
制作をする前にまず、実際のオフィスを下見させていただき、オフィスの図面や机や椅子などの備え付け品などの写真を撮影し参考にしました。今回特に重点的に再現をしたかったのは、青山オフィスの象徴的な存在である曲面ガラス張りの会議室でした。制作にはAutodeskのMayaを使いました。(図A)

(図A)Mayaで作られた背景全体のラフモデリング
ガラスの表現には、モバイルプラットフォームでも使えるシェーダーを選択しました。このシェーダーは、UnityのAssetStoreで無料でダウンロードできるのですが、擬似的な屈折表現なども行える優れたものでした。金属やガラスなどに物体が反射する表現には、リフレクションプローブを使用しており、計算負荷を抑えてながら品質の向上を目指しました。(図B、図C)
(図B)リフレクションプローブなし
(図C)リフレクションプローブあり
 

また、ZOZO社のフローリング床や壁は、ユニークな木目デザインになっていましたが、これらを写真をもとに作るのではなくSubstance Desingerというソフトを使いノードをつなぎ合わせて表現しています。このソフトを使うことでカスタマイズが容易に行え効率よく制作することができました。(図D)

(図D)Substance Designerで制作したテクスチャ
(図D)Substance Designerで制作したテクスチャ2
実際のオフィスの写真と見比べてみると、近い雰囲気で再現出来ている事がわかると思います。(図E、図F)今後は遠隔地に住んでいる方がこのVRオフィスの中でミーティングが出来るようになると面白いと思います。  
(図E)青山オフィス社内写真
(図F)VR青山オフィス
(図E)青山オフィス社内写真2
(図F)VR青山オフィス2

−動画の配信についてもう少し詳しくお聞かせください
Open Broadcaster Software(OBS)を使ってバーチャルの映像とリアルの映像を合成しました。YouTube等でゲーム実況している人たちは大体この技術を使っています。バーチャルキャラクター操作用とプレゼンテーション操作用、バーチャル空間でキャラクターを撮影するカメラマン用の3台のパソコンをそれぞれ用意しました。それをネット回線を介して4台目のパソコンで受け取った映像をOBS内で合成し、再度ネット回線を介して会場へ配信しました。この4台目のパソコンが現実世界だと中継車と同じ役割をしています。会場への配信に5台目のパソコンを用意しビデオ会議用アプリのZoomを介して画面を会場のスクリーンに映し出しました。
本来であればZoomを使った画面共有の出力ではなく、会場側のパソコンでもVRChatに参加したり、他拠点からもVRChatに参加してバーチャル内ですべて完結させたいと思っていました。しかし、今回は有線LANを使用していても、はじめての試みでネット回線に不安があり、この構成になりました。ただし技術的には実現可能なので次回機会があればチャレンジしたいと思います。

会場と映像のシステム図

−最後にバーチャルキャラクターやVRの今後の展望についてお聞かせください
バーチャルとリアルの距離が急速に縮まり、どちらの世界も行き来できる世界が生まれようとしています。今回の企画会議をするにあたり、スタッフとのやり取りは全てVRChat内で行いましたが驚くほどに違和感が薄れていっています。オリジナルのアバターを作り、自分のなりたい姿になれるように改造・編集するのが常識になりつつあります。VRデバイスを日常的に嗜む人はまだ限られていますが、バーチャル世界に自分自身を投影するニーズは増えつつあります。最近だとインスタグラムに撮影した写真をあげるのが普通ですが、それが自分のアバターやバーチャル空間でのできごとを切り取ってあげることも自然な出来事となるでしょう。
これらのARやVR、XRの技術革新が進めば進むほど現実とバーチャルの垣根はどんどんなくなり、生活の一部に馴染んでいきます。多様なサービスが次々と生まれていく中で様々なプラットフォームの間を自由に行き来できる汎用フォーマットが生まれたり、今後ますます発展していくことでしょう。

−最後に
バーチャルとリアルでの垣根がどんどんなくなることでアパレル業界も新しいビジネスのチャンスがそこにはある。 ショップに並んで手に入れた欲しかった服を来てみたり、写真をとったり、友達に見せてたものが今後はバーチャル世界でも起こりうるかもしれません。リアルと同様にバーチャルでも着飾りたい、またはバーチャルでのとある体験の思い出アイテムとしてアバターの服を手に入れたいというニーズがより顕在化していくことがあればバーチャル×ファッションの可能性はこれからもっともっと拡大していくであろう。

ZOZOテクノロジーズでは、各職種で募集を行っています。技術的なチャレンジを続けながら成長したい皆様、ぜひご応募ください。求人に関する情報はこちらよりご覧ください。

*1:ZOZOTOWN公式キャラクターの箱猫マックスを今回用にアレンジしたキャラクターです

カテゴリー