Upgrade to Pro — share decks privately, control downloads, hide ads and more …

手軽なトラッキング技術で遊んでみた

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for あるど あるど
January 27, 2021
Programming
3.7k
0

 手軽なトラッキング技術で遊んでみた

社内LTで発表した内容です
ゆるく遊んだことについてまとめました。
ThreeDPoseUnityBarracudaはお手軽で良きです

Avatar for あるど

あるど

January 27, 2021

More Decks by あるど

See All by あるど
Unity WebGL向けにjsでネイティブプラグイン書いた話
Avatar for あるど mizotake
0
510
OSSをゆるっとやるだけでも 楽しいなって話
Avatar for あるど mizotake
2
4.1k
GitHub_Actionsをセルフホストランナーで導入する
Avatar for あるど mizotake
0
3.8k
Kotlin/Native With Unity
Avatar for あるど mizotake
1
300
Unity開発でCI/CDを使おうと思った時
Avatar for あるど mizotake
0
1.2k

Other Decks in Programming

See All in Programming
Oxlintはいかにしてtsgolintのlint ruleを呼び出しているのか
Avatar for syumai syumai
2
590
AIチームを指揮するOSS「TAKT」活用術 / How to Use “TAKT,” an OSS Tool for Orchestrating AI Teams
Avatar for nrs nrslib
5
700
These Five Tricks Can Make Your Apps Greener, Cheaper, & Nicer
Avatar for Holly Cummins hollycummins
0
210
CLIであることを活かしたGitHub Copilot CLI活用術 / GitHub Copilot CLI Pro Tips & Tricks
Avatar for Naoya.i nao_mk2
1
1.1k
Augmenting AI with the Power of Jakarta EE
Avatar for ivargrimstad ivargrimstad
0
240
[BalkanRuby 2026] Drop your app/services!
Avatar for Vladimir Dementyev palkan
3
690
New "Type" system on PicoRuby
Avatar for pocke pocke
1
200
Technical Debt: Understanding it Rightly, Engaging it Rightly #LaravelLiveJP
Avatar for shogogg shogogg
0
150
ユニットテストの先へ：テスト技法で要求・仕様を整理するJava開発実践 / Beyond_Unit_Testing_Practical_Java_Development_Techniques_for_Organizing_Requirements_and_Specifications
Avatar for SHIMANE, Yoshikazu shimashima35
0
240
oxlintはeslint/typescript-eslintを置き換えられるのか
Avatar for shoma-fujita shomafujita
2
240
AI駆動開発勉強会 広島支部 第一回勉強会 AI駆動開発概要とワークショップ
Avatar for smz hyt hayatoshimiu
0
390
Transactional Change Stream Processing With Debezium and Apache Flink
Avatar for Gunnar Morling gunnarmorling
1
130

Featured

See All Featured
Why Your Marketing Sucks and What You Can Do About It - Sophie Logan
Avatar for Sophie Logan marketingsoph
0
150
CSS Pre-Processors: Stylus, Less & Sass
Avatar for Bermon Painter bermonpainter
360
30k
<Decoding/> the Language of Devs - We Love SEO 2024
Avatar for Nikki Halliwell nikkihalliwell
1
230
Public Speaking Without Barfing On Your Shoes - THAT 2023
Avatar for David Neal reverentgeek
1
400
The Organizational Zoo: Understanding Human Behavior Agility Through Metaphoric Constructive Conversations (based on the works of Arthur Shelley, Ph.D)
Avatar for Dr. Kim W Petersen kimpetersen
PRO
0
340
Game over? The fight for quality and originality in the time of robots
Avatar for Wayne Barker wayneb77
1
180
SERP Conf. Vienna - Web Accessibility: Optimizing for Inclusivity and SEO
Avatar for Sara Fernández Carmona sarafernandez
2
1.5k
Typedesign – Prime Four
Avatar for Hannes Fritz hannesfritz
42
3k
A better future with KSS
Avatar for Kyle Neath kneath
240
18k
The SEO identity crisis: Don't let AI make you average
Avatar for Varn varn
0
470
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
128
17k
Agile Actions for Facilitating Distributed Teams - ADO2019
Avatar for Mark Kilby mkilby
0
190

Transcript

  1. 手軽なトラッキング技術で遊んでみた

  2. トラッキング技術が面白そう！

  3. Vtuber

  4. バランスボールとかまで出来なくても全 身トラッキングやってみたい！！

  5. 課金しない方法を考える

  6. 方法を考える Oculus QuestとOculus Quest2は持ってるので…Oculus Link(PC接続)でどうにからならないか

  7. Oculus Linkは2台同時は 無理だった

  8. https://github.com/Unimakura/QuestTrackingSenderForVMT

  9. やってる人いた…

  10. 方法を考える OpenPose

  11. Unityのサンプルプロジェクトの セットアップが面倒だった

  12. 方法を考える USBカメラモーションキャプチャーThreeDPoseTrackerの説明

  13. ThreeDPoseUnityBarracuda

  14. digital-standard/ThreeDPoseUnityBarracuda

  15. Webカメラ1つで全身を トラッキングする

  16. ThreeDPoseUnityBarracuda - Barracuda - UPM(UnityPackageManager)経由で入れれる - ニューラルネットワーク推論ライブラリ - .onnx(Open Neural

    Network Exchange)を使用する

  17. ThreeDPoseUnityBarracuda - 姿勢推論の結果をBoneのTransformに反映 - 動画経由やWebCam経由などトラッキング対象を選択可

  18. どうせなら自分でモデル 作ったらテンション上がるかも？

  19. https://vroid.com/studio

  20. None
  21. None

  22. OK

  23. 口も動かしたい！

  24. https://zenn.dev/mizotake/articles/52933725d6e24fd754f9

  25. よし動かそう

  26. None

  27. 簡単に崩れるけど…

  28. 全身トラッキング楽しい

  29. おまけ

  30. パフォーマンスが 気になった

  31. Windows (GTX1660Ti)

  32. None

  33. 大体20fps弱

  34. M1 mac miniで 動かしてみる

  35. None

  36. 6fpsちょい…

  37. がんばれ M1