Upgrade to Pro — share decks privately, control downloads, hide ads and more …

人間×機械×知能 メタバースにおけるユーザーエクスペリエンスの研究開発

人間×機械×知能 メタバースにおけるユーザーエクスペリエンスの研究開発

人間×機械×知能 メタバースにおけるユーザーエクスペリエンスの研究開発
JSME MSD&IIP2023
2023年3月6日 15:30 ~ 16:10
GREE VR Studio Laboratory, Director 白井暁彦

日本機械学会 生産システム部門
会場: 九州工業大学/ZOOM 実写ライブ出演
https://www.iip-conference.org/

GREE VRStudio

July 04, 2023
Tweet

More Decks by GREE VRStudio

Other Decks in Research

Transcript

  1. 人間×機械×知能 メタバースにおける ユーザーエクスペリエンスの 研究開発 Akihiko SHIRAI, Ph.D 白井暁彦/しらいはかせ GREE VR

    Studio Laboratory REALITY, Inc. デジタルハリウッド大学大学院 Twitter@o_ob @VRStudioLab Generated by Akihiko Shirai JSME MSD&IIP2023 2023年3月6日 15:30 ~ 16:10
  2. 人間×機械×知能 メタバースにおける ユーザーエクスペリエンスの 研究開発 ❏ 講演者について ❏ グリーグループ「REALITY株式会社」 ❏ 人間×機械×知能→メタバースR&D

    ❏ ヒューマンインタラクション ❏ ユーザーエクスペリエンスの研究開発 ❏ AI Fusion ❏ AI画像生成 ❏ ワークショップx研究開発 ❏ まとめ JSME MSD&IIP2023 2023年3月6日 15:30 ~ 16:10 Generated by Akihiko Shirai
  3. 人間×機械×知能 メタバースにおける ユーザーエクスペリエンスの 研究開発 ❏ 講演者について ❏ グリーグループ「REALITY株式会社」 ❏ 人間×機械×知能→メタバースR&D

    ❏ ヒューマンインタラクション ❏ ユーザーエクスペリエンスの研究開発 ❏ AI Fusion ❏ AI画像生成 ❏ ワークショップx研究開発 ❏ まとめ JSME MSD&IIP2023 2023年3月6日 15:30 ~ 16:10 Generated by Akihiko Shirai
  4. Akihiko SHIRAI, Ph.D in a Manga (PhD to Post-Doc era)

    Manga from my book ”The future of game design - Science in Entertainment systems” (2013) 2003-2005 [Post-doc in NHK-ES] Axi-Vision & Projection Lighting for next-generation digital TV broadcasting and production environments. 2005-2007 [Post-doc in Laval France] ENSAM Presence & Innovation Lab, in Laval France. Studying theme park attraction development and social deployment through “Laval Virtual ReVolution” exposition. 2008-2010 [Science Communicator in Museum “Miraikan”] At a national science museum in the Tokyo Bay area, I learned the specialized skills of communicators, interpreters and service engineering through my work in the science communicator training program, and developed exhibits that incorporate entertainment ideas into the world of science. 【博士論文】「床面提示型触覚エンタテイメントシステムの提案と開発」   東京工業大学大学院総合理工学研究科知能システム科学専攻(2004年)
  5. 人間×機械×知能 メタバースにおける ユーザーエクスペリエンスの 研究開発 ✓ 講演者について ❏ グリーグループ「REALITY株式会社」 ❏ 人間×機械×知能→メタバースR&D

    ❏ ヒューマンインタラクション ❏ ユーザーエクスペリエンスの研究開発 ❏ AI Fusion ❏ AI画像生成 ❏ ワークショップx研究開発 ❏ まとめ JSME MSD&IIP2023 2023年3月6日 15:30 ~ 16:10 Generated by Akihiko Shirai
  6. REALITY株式会社 ▪代表取締役社長 荒木 英士(グリー株式会社 取締役 上級執行役員) ▪会社所在地 〒106-0032 東京都港区六本木6-11-1 六本木ヒルズゲートタワー

    4F ▪事業内容 ・バーチャルライブ配信アプリ “REALITY”の開発・運営 ・法人向け バーチャルイベント制作PF “XR cloud”の開発・運営 ▪沿革 ・2018年4月 株式会社Wright Flyer Live Entertainment(旧社名)を設立 ・2018年8月 世界初のVTuber専用ライブ配信PF「REALITY」提供開始 ・2019年10月 法人向けソリューションサービス提供開始 ・2020年12月 Google Play ベストオブ2020 部門賞受賞 ・2021年3月 REALITY、海外版提供開始 ・2021年8月 REALITY株式会社社名変更、メタバース事業へ再定義 12
  7. © REALITY, Inc.
 メタバースB2B SaaS事業 
 REALITY XR cloud
 Web3事業


    BLRD
 メタバース事業
 事業領域
 メタバースライブエンタメ事業 
 (Vtuberプロダクション) 
 REALITY Studio
 メタバースプラットフォーム事業 
 REALITY
 14
 © REALITY, Inc.

  8. © REALITY, Inc.
 2023年3月1日、新会社設立。
 3月1日、グリー株式会社は法人向けメタバース事業の REALITY XR cloud株式会社お よびVTuber事業のREALITY Studios株式会社を設立しました。スマホ向けメタバース

    アプリ「REALITY」の開発・運営を行う REALITY株式会社を残しつつ組織を再編。 2022 年7月に設立したWeb3事業のBLRD PTE. LTDを含め、4社体制でメタバース事業強化 を目指します。
  9. © REALITY, Inc.
 18
 © REALITY, Inc.
 会社概要
 本社オフィス@東京六本木 


    社名 REALITY株式会社 株主 グリー株式会社 100% 事業内容 REALITY事業(メタバース・ Web3) REALITY XR cloud事業(法人様向け事業) 設立 2018年4月 (旧社名:Wright Flyer Live Entertainment) 代表者 荒木 英士 (グリー株式会社 取締役 上級執行役員) 本社 所在地 〒106-0032 東京都港区六本木 6-11-1 六本木ヒルズゲートタワー 従業員数 101人(2022年1月末現在)
  10. © REALITY, Inc.
 REALITY Worlds
 各種ソリューション
 実績企業様
 REALITY XR cloudのご紹介


    メタバース、バーチャル関連の領域においてビジネス向けソリューションを多数提供しています。 
 メタバースへ挑戦するすべての人をサポートできるように各種パッケージをご用意。 
 メタバースへ挑戦するすべての人をサポートします 
 19

  11. © REALITY, Inc.
 コラボ配信で遊べるゲームがリリース(人狼) 
 アプリと同名の「REALITY」へ社名を変更 
 Google Play ベスト

    オブ 2020 エンターテイメント部門賞 
 低遅延モードリリース(ラグなし・高画質・通信量抑制) 
 2020
 25

  12. © REALITY, Inc.
 2022年 年末時点全世界1000万DL超え 
 今後も引き続き成長見込み 
 「REALITY」ユーザー規模
 2022年

    年末時点 202X年 計画 全世界
 1,000万DL超 
 全世界
 数億人+
 世界No.1
 スマホメタバース 
 29

  13. © REALITY, Inc.
 ライブ配信×SNSから メタバースへ 100億円 投資発表 GREE時代の アバターSNSノウハウ ゲーム開発が母体会社の

    CG・手触り・快適性 コミュニティ形成 なぜ「REALITY」がここまで数値を出せているのか
 メタバースに本気で挑み、本気でtoCに向き合い続けている 
 toCアプリで 4周年 アバター200〜300個 イベント70〜80本 毎月リリース スマホ発メタバース 31

  14. © REALITY, Inc.
 1,355,841人 来場者数
 男女比
 年齢
 18-24
 25-34
 35-44


    44-54
 55-64
 65+
 14.6%
 14.3%
 6.8%
 1.4%
 2.2%
 事例紹介 HIS様
 REALITYが提供する「REALITY Worlds」にHISがバーチャル支店をオープン 
 35
 © REALITY, Inc.
 男性 36.0% 女性 64.0% 60.7%

  15. © REALITY, Inc.
 来場者数 男女比 年齢 3,447,659人 18-24
 25-34
 35-44


    44-54
 55-64
 65+
 REALITY、メタバースで「ととのう」極上のサウナ体験施設を期間限定オープン 
 事例紹介 ビームス ディレクターズバンク様
 ビームスのディレクターズバンクがプロデュース 
 37
 © REALITY, Inc.
 13.52%
 6.19%
 2.05%
 3.09%
 58.43%
 16.72%
 男性 34.5% 女性 65.5%
  16. © REALITY, Inc.
 来場者数 男女比 年齢 3,032,262人 18-24
 25-34
 35-44


    44-54
 55-64
 65+
 12.15%
 4.97%
 1.58%
 2.38%
 1,000万DLを突破したスマホ向けメタバース「REALITY」に「東京ドーム」が出現 
 〜REALITY、三井不動産グループとリアル施設のサービス価値向上に向け連携〜
 45
 事例紹介 東京ドームワールド
 61.37%
 17.54%
 男性 32.8% 女性 67.2% ※上記の各数値は2022年12月27日時点の経過報告であり、イベントは2023年2月28日まで継続します。
  17. © REALITY, Inc.
 どういった課題解決につながるか
 既存プロモーションの 効果低下 メタバースで 一度失敗した 現実世界だけでは 伝えきれない

    若い世代に リーチできない 海外インバウンド需要が 減少した アバターの種類数を 作りきれない 新領域で 競合より遅れをとれない 既存のブランディングでは 将来性・持続性がない 高エンゲージメントや 定性的なデータが不足 口コミ・ バイラル施策の不足 47

  18. © REALITY, Inc.
 イベント・
 プラットフォーム構築
 仮想空間を利用したイベント実施 
 メタバースプラットフォームの構築 
 01


    メタバース展示会 02
 メタバース広告 03
 アバターアイテム ショップ販売 04
 49
 今後について
 さまざまなメタバースのソリューションをアップデートしてきます 
 展示を
 1000万ユーザーに向けて実施 
 「人がいるメタバース」の 
 街頭ビジョン等へ広告掲載 
 2023年春頃より 
 企業コラボ販売を開始予定 

  19. 人間×機械×知能 メタバースにおける ユーザーエクスペリエンスの 研究開発 ❏ 講演者について ❏ グリーグループ「REALITY株式会社」 ❏ 人間×機械×知能→メタバースR&D

    ❏ ヒューマンインタラクション ❏ ユーザーエクスペリエンスの研究開発 ❏ AI Fusion ❏ AI画像生成 ❏ ワークショップx研究開発 ❏ まとめ JSME MSD&IIP2023 2023年3月6日 15:30 ~ 16:10 Generated by Akihiko Shirai
  20. Fantastic Phantom Slipper (1997) Another key technology is the “Phantom

    Sensation”, a special psycho-physical phenomenon on human skin. When two mechanical stimuli of the same intensity are applied to different locations of skin surface with appropriate spacing, the two stimuli are fused and one sensation is perceived. When the intensity of one stimulus increases, the location of fused sensation shifts to the location of stronger stimulus. This psycho-physical phenomenon has been known as phantom sensation, which was found by Bekesy, a Nobel Prize Winner in 1961. This project was realized before the rumble pad of game controllers as known as vibrotactile in 1997. The system has been realized with a real-time optical motion capture system using PSD and Infrared-LEDs. In the system, two LEDs are fixed on each slipper. The locations and directions of slippers on the floor are measured in real-time. Since feet are usually on the floor, two dimensional measurement is sufficient for this application. The similar technology of this is used into Nintendo's WiiRemote as its image sensor with sensor bar in later.
  21. Fantastic Phantom Slipper (1997) 400fps mocap (by own) Dynamic Phantom

    Sensation (by own) DirectX5 graphics (by own) Hemisphere dome screen (by own) Vibrator implemented slipper (by own) by 300MHz CPU + VGA projector Prototype, handmade, in Lab (it was “VR2.0” in this talk, we define)
  22. Tangible Playroom: Penguin Hockey (2001-2003)
 Demo at SIGGRAPH KIDS 2003,

    Best Multilingual and/or Omnilingual award. "Tangible Playroom" was designed as a future computer entertainment system for children. It can provide some Virtual Reality contents with a safe force feedback and a large floor image. Players can interact with content's world using their full body. To feel force feedback, player grasps a tangible (graspable, perceptible by touch) grip like a cork ball. It is linked to encoder motors by strings. Then it can input 3D location to system. When player touch to some objects, system calculate a correct force feedback to player via string and tangible grip. Our system can provide high quality force representation with safe rather than metal linked arm system. "Penguin Hockey" is a typical demonstration content. It is a simple 3D hockey game playing with automotive penguins. The pucks are snowmen. To get points, players should throw snowmen to the enemy's goal hole. Our software has a real-time dynamics simulator then children can interact with computer-generated characters with real reactions.
  23. [Mirakan]Songs of ANAGURA (2008-2010)
 In Miraikan permanent exhibition since 2010

    - current. https://www.miraikan.jst.go.jp/sp/anagura/ Concept design and technical basement research. - 10x16m projection clusters - Laser tracker clusters - Players don’t wear any tracking devices - “Wall of Wisdom” - observation console - Unity based contents creation
  24. 57

  25. “Entertainment Systems” •Definition (in post-doc era) ◦ Computer systems that

    was designed to affect to human amusements. ◦ Video Games, media arts, real time interactive and entertainment virtual reality are possible to be included. ◦ Cinemas and DVDs are also possible to be included but should focus to “computer system” like interactivity.
  26. AI神絵師はITエンジニアの 未来をどう変えるのか? ~メタバースR&Dからみた  AI画像生成のトレンド~ Akihiko SHIRAI, Ph.D 白井暁彦/しらいはかせ GREE VR

    Studio Laboratory REALITY, Inc. デジタルハリウッド大学大学院 Twitter@o_ob Developers Summit 2023 [Inspired] Generated by NijiJourney Prompt by Akihiko Shirai
  27. 生成AI市場の今後 米大手VCアンドリーセン・ホロウィッツ(a16z)の最近のブログ「生 成AIプラットフォームは誰のものなのか?」より。 [End-to-End]MidJourney,RunwayML [アプリ]Github Copilot,Jasper [ソース非公開/API経由]GPT-3 [モデルHub]HuggingFace, Replicate [オープンソースモデル]StableDiffusion

    [クラウド]AWS,GCP,Azure,CoreWeave [計算ハードウェア]NVIDIA,Google(TPU) 生成AI市場の多くの資金は最終的にインフラ企業に。大雑把な数字 で、アプリ企業は収益の約2〜4割を推論とチューニングに費やして いる。これはクラウドのインスタンスに直接支払われるか、モデル提 供者に支払われます。モデル提供者は収益の約半分をクラウドに費 やしている。つまり現在の生成AI総収益の10〜20%はクラウドに 流れていると推測するのは合理的な数字といえる。 ★その他のレイヤーでの収益構造構築はまだまだ未知数。 Who Owns the Generative AI Platform? (Andreessen Horowitz) https://a16z.com/2023/01/19/who-owns-the-generative-ai-platform/
  28. [ChatGPT]OpenAIのCEO - Sam Altman質疑応答の最後に Q:今後「何が来るか」? • これまでのように 「価値を作り出していく方法こそが価値」であり (way way

    more new value created) これが黄金の時代になることを感じています。 • 「価値を作り出していく方法こそが価値」 「これが黄金の時代になる」 ブログ「OpenAIのCEO - Sam Altman CEO頭の中を覗 いた」に全訳あります→
  29. GREE VR Studio Lab =「すごいことを楽しそうにやる」 UXDevティザーシリーズは 各国語版を http://vr.gree.net/lab/uxdev に て公開しています

    学術面も論文賞授賞、CEDEC、 SIGGRAPH ASIA採択など豊作 技術紹介はこちら YouTube: https://j.mp/VRSYT
  30. 人間×機械×知能 メタバースにおける ユーザーエクスペリエンスの 研究開発 ✓ 講演者について ✓ グリーグループ「REALITY株式会社」 ✓ 人間×機械×知能→メタバースR&D

    ✓ ヒューマンインタラクション ✓ ユーザーエクスペリエンスの研究開発 ✓ AI Fusion ✓ AI画像生成 ✓ ワークショップx研究開発 ❏ まとめ JSME MSD&IIP2023 2023年3月6日 15:30 ~ 16:10 Generated by Akihiko Shirai
  31. みんなで楽曲を演奏する体験
 Collaborative Music Play Experience 
 REALITYのアバターで Questだけで メタバース内でスクールバンドのメンバーに なれる体験ができる……!

    自由度が高い近未来の「アバターカラオケ」 GREE VR Studio Laboratory、メタバース時代のア バターを活用したクリエイターエコノミーを刺激~バー チャル演奏技術映像 「AI Fusion」を公開~ PRTIMES 2022/10/19 CGWORLD特集 メタバース開発者の卵が「自分は何 者か」を発見する場所【GREE VR Studio Laboratoryリサーチ系インターンシップ】
  32. Alexandre Berthaultさん フランスのデジタルアート系大学ISART Digitalを卒業し、東京工科大学の研究生をやっている UXデザイナー。UXDevシリーズでは、主にUXプロトタイピングとエフェクトデザインを担当し ている。ラーメンが好き。漢字が苦手。 山岡さん 明治大学総合数理学部先端メディアサイエンス学科4年。2022年10月よりGREE VR Studio

    Laboratoryに参加。アバターが現実世界に違和感なく溶け込む技術を研究している。 Meta Quest, Hololens2, Web AR等での制作経験を活かしてアバター周りのR&Dを担当。 最近はQuest等HMDデバイスのアバターベンチマークツールを担当。 白井暁彦 Director GREE VR Studio Laboratoryのディレクター。研究開発と教育、ビジュアルアート、VRエンター テインメント、科学コミュニケーションなどで25年以上の経験を持つ。多様な才能を発揮してグ リーグループの開発文化に多様性を沿えている。 業務外でグリー技術書典部や書籍「AIとコラボして神絵師になる」などを執筆している。 Member in GREE VR Studio Laboratory
  33. 人間×機械×知能 メタバースにおける ユーザーエクスペリエンスの 研究開発 ❏ 講演者について ❏ グリーグループ「REALITY株式会社」 ❏ 人間×機械×知能→メタバースR&D

    ❏ ヒューマンインタラクション ❏ ユーザーエクスペリエンスの研究開発 ❏ AI Fusion ❏ AI画像生成 ❏ ワークショップx研究開発 ❏ まとめ JSME MSD&IIP2023 2023年3月6日 15:30 ~ 16:10 Generated by Akihiko Shirai エンタメから コミュニケーション そしてコンヴィヴィ技術へ 「作られたおもてなし」から「みんなで楽しむ」へ