新卒エンジニアがVTuber運用とMV制作をエンジョイした話

このスライドは2019年2月22日 サイバーエージェントの社内カンファレンス CA BASE CAMP(https://cabase.cyberagent.group/sessions/Z-02) にて発表したスライです。

以下紹介文
===
本セクションでは、株式会社CyberVの新卒エンジニアがバーチャルYouTuber (以下: VTuber)の開発運用とMusic Video(MV)の制作に取り組んだ際の技術選定や社内外に向けて行ったことについて話します。
主にモーションキャプチャ、複数体運用、Unity上の映像制作の知見について共有できればと思います。
VTuberの制作に興味がある方、Unityを使って面白いことをするのが好きな方と議論できればと思っております。よろしくお願いいたします。

Transcript

1. 新卒エンジニアがVTuber運⽤と MV制作をエンジョイした話 株式会社CyberV Unityエンジニア 岩崎謙汰 CA BASE CAMP HALLD
2. ⾃⼰紹介 岩崎 謙汰 (イワケン) • CA 新卒⼊社→株式会社CyberV • VTuber開発‧運⽤チーム エンジニアリーダー 関わったキャラ10⼈以上 関わっている動画50本以上 • 価値観: ⾯⽩いコンテンツがガンガン⽣まれる
 チームや組織を作りたい • 今年の⽬標: 業界でVTuber×Unity=イワケンと 呼ばれるようになる @iwaken
3. 私のVTuber歴史 (趣味ベース) • 2017年11⽉~2018年3⽉ ⾬下カイトくんの制作のお⼿伝い • 2018年2⽉ 内定者勉強会でVTuberになってLT • 2018年5⽉ JINS MEME×VTuberがバズる • 2018年5⽉ CyberV初のエンジニア (仕事) • 2018年7⽉ VTuberゼミ⽴ち上げ • 2018年12⽉ アズマリムMV制作チーム (仕事) JINSMEME×VTuberで5000いいね
4. いくつかVTuberの運⽤例をご紹介
5. RAGE バーチャルYouTuberGRAND PRIX
 〜 Summer〜
6. アズマリムのオリジナル楽曲「⼈類みなセンパイ！」のMV https://www.youtube.com/watch?v=XtlDHnWgGeM
7. 今回の講演で受け取れること VTuber制作の経験がない⽅でも 制作の全体像がイメージできるような話をしたい → いずれ教科書化or書籍化したい (個⼈的願望)
 ▪注意点
 Unityをベースとした話になります
 細かい技法の話はしません • どうやったらエモくなるか • どうやったらプレゼンスがあがるか • どうチューニングするか
8. Today’s Point! •VTuberに⼈間らしく動いてもらうために
 いつどこでどのようにデータを取得し、どこで合流させるか •ケーススタディ •複数体動かすときはどうする？ •MusicVideo (MV) のときはどうする?
 

9. . 本講演におけるVTuberの位置づけ . VTuberの構成要素 . VTuberの複数体運⽤について . VTuberのMV制作について
10. 本講演における VTuberの位置づけ
11. そもそもVTuberとは？ (Wikipediaより) • バーチャルYouTuberは、
 YouTuberとして動画配信‧投稿を⾏う
 コンピュータグラフィックスのキャラクター
 • YouTube以外のサービスを利⽤する際などに
 YouTubeという特定のサービス名を使⽤することを避けるため、
 単に「VTuber」または「バーチャルライバー」と呼称することがある。 キズナアイさん
12. 本講演におけるVTuberの位置づけ • モーションキャプチャ技術等を⽤いて
 ⼈間的な操作、動き、表情を反映している
 バーチャル的な存在 (3Dのものに限定) バーチャル的存在
13. VTuberの構成要素
14. VTuberの構成要素 • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き • 表情 • ⼝の動き • 物理演算 (髪の⽑、スカート)
 → 収録‧複数体収録‧⽣放送‧MV制作
 それぞれのケースでどのように
 これらのデータを取得し、合流させるのか?
15. これから各構成要素の データ取得の⽅法例をご紹介します
16. 全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット: 安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式
17. 全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット: 安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式
18. 全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット: 安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式
19. 指の動き • グローブ系: Manus VR等 • 指の曲げ伸ばしを実際の⼈間の動きに近い形で再現できる • リモコン系: HTC Vive Controller等 • 特定の指のパターンしか再現できない • センサー系: Leap Motion等 • 細かい動きまで取れるが、
 センサー範囲を外れると動かない [ ] ManusVRの外⾒ [ ] HTC VIVE Controllerの外⾒
20. 表情 • コントローラー操作 • 指定したい表情に安定して変更できる • 演者の負担が少ない • オペレーターの技量が試される • カメラによるFaceTracking • リアルタイムで演者の表情を表現できる • 実際に可愛いかどうかはキモズム[6]を超える必要がある • 演者への負担が⼤きい [5]コントローラー FaceTrackingの表情変化の例
21. ⼝の動き • LipSync • ⾳に反応して、キャラの⼝の動きを変える • マイクを演者につけることで解決 • 2体同時収録だと、隣の⼈の声を拾ってしまうことがある • カメラによるFaceTracking • 実際の⼝の動きに合わせて、キャラの⼝の動きを変える • カメラで撮るため、演者への負担が⼤きい • 2体同時収録でも、対応可能
22. 物理演算 (髪、スカート) • ⼈間の動きをキャプチャするのではなく、Unity上で演算している • SpringBone系の物理演算が主流 • UnitychanSpringBone • DynamicBone • VRMSpringBone
 左が物理演算なし、右が物理演算あり
23. VTuberの構成要素まとめ • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き • 表情 • ⼝の動き • 物理演算 (髪の⽑、スカート)
 → 収録‧複数体収録‧⽣放送‧MV制作
 それぞれのケースでどのように
 これらのデータを取得し、合流させるのか?
24. VTuberの 複数体運⽤について
25. RAGE バーチャルYouTuberGRAND PRIX
 〜 Summer〜 • 動画
26. これから⼀体and複数体収録の データの合流の例をご紹介します
27. ⼀体運⽤の場合 (MVNの例) MVNスーツ MVN制御PC キャラPC モニター マイク⾳声 全⾝ ManusVR 指の動き 全⾝ ⾳声 表情 物理演算 ⼝の動き 映像 Unity
28. 複数体運⽤の場合 (MVN× の例) MVN制御PC キャラPC モニター キャラPC キャラPC サーバーPC ManusVR 全⾝ 全⾝ 表情 物理演算 ⼝の動き 全⾝ + 指 + 髪ス カート → 全てのボーン 表情+⼝のモーフ 映像 ManusVR ManusVR マイク⾳声 マイク⾳声 マイク⾳声 MVNスーツ 全⾝ 指の動き ⾳声データ Unity MVNスーツ MVNスーツ Unity
29. VTuberのMV制作について
30. 本講演でのMV制作の⽴ち位置 • Music Video (MV) VTuberと曲のイメージを結合して作られた映像作品 • Unityエンジニア視点のMV制作
 →コードが書けないクリエイターでも
 Dの映像表現が制作できるような環境をつくる • TimeLine機能の活⽤ • Cinemachineによる3D的なカメラワーク演出 • PostProcessingによるポスト処理
31. アズマリムのオリジナル楽曲「⼈類みなセンパイ！」のMV
32. MVの構成要素 キャラ+背景 • キャラクター (Chara_Layer) • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き • 表情 • ⼝の動き • 物理演算 (髪の⽑、スカート) • 背景 (BG_Layer) • キャラ以外の要素 (3Dオブジェクト、空、その他いろいろ) → これらをカメラで不整合なく撮る！！！

33. 全体フロー    モーションデータをUnity上のモデルに流し込み、静⽌画or動画として出⼒   収録 Unity 後処理 映像編集 モーションデータ 静⽌画‧動画 準備 企画書作成 絵コンテ作成 ⾹盤表作成 スタジオ Unityによるシステム 演者+モーキャプ機材 静⽌画
 動画 収録時に静⽌画or動画データに出⼒ 本⽇はこのパターンのみ紹介
34. 流れ 収録 Unity 後処理 映像編集 指の動き付きの モーションデータ 動画 準備 静⽌画 モーション収録 • カメラワーク • 表情 + ⼝の動き • 物理演算 • Lighting & 影 • PostProcessing
 → Unityで完結したい！ ⼀発で撮れるように 最⼤の準備をする。 後⽇撮り直しだけは
 絶対にしたくない。 • モーショングラフィックス • Post処理 • 仕上げ
35. モーション収録フェイズ 収録 Unity 後処理 モーションデータ OptiTrack⽤ スーツ OptiTrack 制御PC キャラ⽤PC 全⾝ ManusVR 指の動き Unity モーション データ(fbx) A. OptiTrack制御PCで
 モーション収録
 (指の動きなし) B. キャラ⽤PCの
 Unity上でモーション収録
 (指の動き有り)[ ]
36. 収録の現場 • ダンスのモーション収録は位置ズレが起きないOptiTrackを使⽤
37. Unity上後処理フェイズ • 背景⽤の3Dモデルとキャラクターを置く • TimeLine上に乗せるTrack • モーション、曲データ、⼝パク⽤⾳声データ、Cinemachine⽤のカメラ • 表情切り替え、背景切り替え、Skybox切り替え、ライト切り替え • PostProcessingによる処理 (被写体深度、Bloom) TimeLineの画⾯の例 キャラ+背景の例
38. エンジョイポイント • Unity上でmp で書き出そうとしたが、⾊味が変わってしまったため
 png画像の連番書き出しに
 → その結果⾳声データの⼝パク機能がうまくいかず、
 ほとんど⼿付けで⼝パクをつけていただいた • MVNでモーション保存した時に、上下にガクガクするため、
 Unity内で補正する必要があった • TimeLineの予期せぬバグが多く何度か泣きそうになった • モーションの崩れの修正が⼤変で何度か泣いた
39. 無事⽣み出せてよかった。。。 また次もMVにはチャレンジしたい
40. まとめ •VTuberに⼈間らしく動いてもらうために
 いつどこでどのようにデータを取得し、どこで合流させるか •まず構成要素を知る •各ケースで最善の⽅法を追求する •MV制作に関して
 UnityのTimeLineを活⽤し、
 コードが書けないクリエイターでも制作できるシステムを作る
41. ありがとうございました
42. ライセンス © UTJ/UCL
43. 画像引⽤リンク [ ] http://zeroc .jp/products/files/MVN-BIOMECH-Link.jpg [ ] http://www.animationmagazine.net/wordpress/wp-content/uploads/LargeVolumeDancersCropped.jpg [ ] https://manus-vr.com/web/image/ /Glove-los.png [ ] https://www.vive.com/media/filer_public/ /cf/ cf a f-f f - b - e-d a a /vive-hardware-controllers- .png [ ] https://compass-ssl.xbox.com/assets/d /d /d d d -d df- b - ad -f a d.jpg?n=X -Wireless-Controller- Black_Gallery_ x _ .jpg [6] 『ミライのつくり⽅2020−2045 僕がＶＲに賭けるわけ』(GOROman、星海社、2018年)p. [ ] Copyright (c) Duo.inc Released under the MIT license 
 https://github.com/duo-inc/EasyMotionRecorder/blob/master/LICENSE.txt