youtube:https://youtu.be/9ScrFVsIKd4
概要:
バーチャルライブ配信アプリIRIAMにおいて、配信者様に合わせてリアルタイムでキャラクターを動作させるためには、高速で高精度な顔認識が必要です。
iPhoneにおいてはApple製のARKitを用いることで高精度な顔認識を既に実現出来ていたのですが、Androidと一部のiOS端末では顔認識の精度が不十分という課題がありました。この問題を解決するため、データ本部とIRIAMが協力して、任意のプラットフォームで動作可能かつ高精度で高速な顔認識システムの開発に取り組みました。
本発表では、データの収集と機械学習モデルの設計指針、モデルの形式の変換の方法、Unity上で効率よく動作させる手段など、その開発過程で得られた知見を紹介します。
登壇内でのリンク集:
p8, https://gs.statcounter.com/
p15, https://google.github.io/mediapipe/solutions/face_mesh.html
p16-1, https://drive.google.com/file/d/1tV7EJb3XgMS7FwOErTgLU1ZocYyNmwlf/preview
p16-2, https://arxiv.org/abs/2006.10962
p17, https://github.com/yeemachine/kalidokit
p18, https://github.com/JimWest/MeFaMo
p21, https://commons.wikimedia.org/wiki/File:3D_Spherical_2.svg
p27-1, https://glaringlee.github.io/onnx.html?highlight=torch%20onnx%20export#torch.onnx.export
p27-2, https://github.com/onnx/onnx-tensorflow
p28-1, https://glaringlee.github.io/onnx.html?highlight=torch%20onnx%20export#torch.onnx.export
p28-2, https://docs.openvino.ai/latest/openvino_docs_MO_DG_Deep_Learning_Model_Optimizer_DevGuide.html
p28-3, https://github.com/PINTO0309/openvino2tensorflow
p32, https://github.com/PINTO0309/onnx2tf
p41, https://events.unity3d.jp/sync/session/26/
p44, https://docs.unity3d.com/Packages/[email protected]/manual/index.html
◆ チャンネル登録はこちら↓
https://youtube.com/c/denatech?sub_confirmation=1
◆ Twitter
https://twitter.com/DeNAxTech
◆ DeNA Engineering
https://engineering.dena.com/
◆ DeNA Engineer Blog
https://engineering.dena.com/blog/
◆ DeNA TechCon 2023 公式サイト
https://techcon2023.dena.dev/