Upgrade to Pro — share decks privately, control downloads, hide ads and more …

UX開発から生成AIへ メタバース研究開発における ユーザ生成コンテンツとコミュニケーション設計

UX開発から生成AIへ メタバース研究開発における ユーザ生成コンテンツとコミュニケーション設計

UX開発から生成AIへ メタバース研究開発における ユーザ生成コンテンツとコミュニケーション設計
白井暁彦

前回のセミナー(AIS2022)から世界に向けて大きく成長したスマートフォン向けメタバース「REALITY」の基本、VTuber産業、メタバースソリューション「REALITY XR cloud」をはじめとする事業の成果・事例紹介、生成AIとメタバースR&D、世界の最新研究や人材育成など、RとDの両面をおさえつつ、「UX開発から生成AIへ:メタバース研究開発におけるユーザ生成コンテンツとコミュニケーション設計」というアプローチで、気づきの共有を行います。

画像電子学会 Advanced Image Seminar 2023 (AIS2023)
「メタバースの最前線 ~気鋭の講師陣による最新技術・活用事例・将来展望の徹底解説~」
https://www.iieej.org/events/ais2023/

GREE VRStudio

July 04, 2023
Tweet

More Decks by GREE VRStudio

Other Decks in Technology

Transcript

  1. UX開発から生成AIへ メタバース研究開発における ユーザ生成コンテンツとコミュニケーション設計 ❏ 講演者について ❏ グリーグループのメタバース事業 ❏ REALITYのR&D ▪

    世界の最新研究 ▪ 人材育成 ▪ ユーザ生成コンテンツと生成AI ▪ コミュニケーション設計 ▪ UX開発から生成AIへ メタバースR&D ❏ ディスカッション/気づきの共有 Generated by Akihiko Shirai しらいはかせ/白井暁彦 @o_ob @VRStudioLab REALITY株式会社 デジタルハリウッド大学 大学院 客員教授
  2. Akihiko SHIRAI, Ph.D in a Manga (PhD to Post-Doc era)

    Manga from my book ”The future of game design - Science in Entertainment systems” (2013) 2003-2005 [Post-doc in NHK-ES] Axi-Vision & Projection Lighting for next-generation digital TV broadcasting and production environments. 2005-2007 [Post-doc in Laval France] ENSAM Presence & Innovation Lab, in Laval France. Studying theme park attraction development and social deployment through “Laval Virtual ReVolution” exposition. 2008-2010 [Science Communicator in Museum “Miraikan”] At a national science museum in the Tokyo Bay area, I learned the specialized skills of communicators, interpreters and service engineering through my work in the science communicator training program, and developed exhibits that incorporate entertainment ideas into the world of science. 【博士論文】「床面提示型触覚エンタテイメントシステムの提案と開発」   東京工業大学大学院総合理工学研究科知能システム科学専攻(2004年)
  3. Fantastic Phantom Slipper (1997) Another key technology is the “Phantom

    Sensation”, a special psycho-physical phenomenon on human skin. When two mechanical stimuli of the same intensity are applied to different locations of skin surface with appropriate spacing, the two stimuli are fused and one sensation is perceived. When the intensity of one stimulus increases, the location of fused sensation shifts to the location of stronger stimulus. This psycho-physical phenomenon has been known as phantom sensation, which was found by Bekesy, a Nobel Prize Winner in 1961. This project was realized before the rumble pad of game controllers as known as vibrotactile in 1997. The system has been realized with a real-time optical motion capture system using PSD and Infrared-LEDs. In the system, two LEDs are fixed on each slipper. The locations and directions of slippers on the floor are measured in real-time. Since feet are usually on the floor, two dimensional measurement is sufficient for this application. The similar technology of this is used into Nintendo's WiiRemote as its image sensor with sensor bar in later.
  4. Tangible Playroom: Penguin Hockey (2001-2003) Demo at SIGGRAPH KIDS 2003,

    Best Multilingual and/or Omnilingual award. "Tangible Playroom" was designed as a future computer entertainment system for children. It can provide some Virtual Reality contents with a safe force feedback and a large floor image. Players can interact with content's world using their full body. To feel force feedback, player grasps a tangible (graspable, perceptible by touch) grip like a cork ball. It is linked to encoder motors by strings. Then it can input 3D location to system. When player touch to some objects, system calculate a correct force feedback to player via string and tangible grip. Our system can provide high quality force representation with safe rather than metal linked arm system. "Penguin Hockey" is a typical demonstration content. It is a simple 3D hockey game playing with automotive penguins. The pucks are snowmen. To get points, players should throw snowmen to the enemy's goal hole. Our software has a real-time dynamics simulator then children can interact with computer-generated characters with real reactions.
  5. [Mirakan]Songs of ANAGURA (2008-2010) In Miraikan permanent exhibition since 2010

    - current. https://www.miraikan.jst.go.jp/sp/anagura/ Concept design and technical basement research. - 10x16m projection clusters - Laser tracker clusters - Players don’t wear any tracking devices - “Wall of Wisdom” - observation console - Unity based contents creation
  6. “Entertainment Systems” •Definition (in post-doc era, 2004-) ◦ Computer systems

    that was designed to affect to human amusements. ◦ Video Games, media arts, real time interactive and entertainment virtual reality are possible to be included. ◦ Cinemas and DVDs are also possible to be included but should focus to “computer system” like interactivity.
  7. 画像電子学会分野「多重化ディスプレイ」の研究 2x3D: Real time shader for simultaneous 2D/3D hybrid theater

    (teaser for SIGGRAPH ASIA 2012) https://www.youtube.com/watch?v=GtQFyFd4cJw ExPixelFPGA (2015) https://youtu.be/lOMx5F7aGEQ
  8. REALITY株式会社 ▪代表取締役社長 荒木 英士(グリー株式会社 取締役 上級執行役員) ▪会社所在地 〒106-0032 東京都港区六本木6-11-1 六本木ヒルズゲートタワー

    4F ▪事業内容 ・スマートフォン向けメタバース “REALITY”の開発・運営 ・法人向け バーチャルイベント制作PF “XR cloud”の開発・運営 ▪沿革 ・2018年4月 株式会社Wright Flyer Live Entertainment(旧社名)を設立 ・2018年8月 世界初のVTuber専用ライブ配信PF「REALITY」提供開始 ・2019年10月 法人向けソリューションサービス提供開始 ・2020年12月 Google Play ベストオブ2020 部門賞受賞 ・2021年3月 REALITY、海外版提供開始 ・2021年8月 REALITY株式会社社名変更、メタバース事業へ再定義 17
  9. © REALITY, Inc.
 19
 © REALITY, Inc.
 本社オフィス@東京六本木 
 社名

    REALITY株式会社 株主 グリー株式会社 100% 設立 2018年4月 (旧社名:Wright Flyer Live Entertainment) 代表者 荒木 英士 (グリー株式会社 取締役 上級執行役員) 本社 所在地 〒106-0032 東京都港区六本木 6-11-1 六本木ヒルズゲートタワー 「人が来るメタバース2022 ~ REALITY XR cloudが推進する メタバースのBizDevOps」 #XRKaigi
  10. © REALITY, Inc.
 コラボ配信で遊べるゲームがリリース(人狼) 
 アプリと同名の「REALITY」へ社名を変更 
 Google Play ベスト

    オブ 2020 エンターテイメント部門賞 
 低遅延モードリリース(ラグなし・高画質・通信量抑制) 
 2020
 26

  11. © REALITY, Inc.
 2022年 年末時点全世界1000万DL超え 
 今後も引き続き成長見込み 
 「REALITY」ユーザー規模
 2022年

    年末時点 202X年 計画 全世界
 1,000万DL超 
 全世界
 数億人+
 世界No.1
 スマホメタバース 
 30

  12. © REALITY, Inc.
 2023年3月1日、新会社設立。
 3月1日、グリー株式会社は法人向けメタバース事業の REALITY XR cloud株式会社お よびVTuber事業のREALITY Studios株式会社を設立しました。スマホ向けメタバース

    アプリ「REALITY」の開発・運営を行う REALITY株式会社を残しつつ組織を再編。 2022 年7月に設立したWeb3事業のBLRD PTE. LTDを含め、4社体制でメタバース事業強化 を目指します。
  13. © REALITY XR cloud, Inc. 41 REALITY XR cloud株式会社 我々はメタバースへ挑戦するすべての人をサポートします。

    IT・VR領域で長年積み上げてきたグリーグループの新たなソリューション
  14. © REALITY XR cloud, Inc. 42 グリーグループでメタバースB2B事業領域を推進 REALITY XR cloud株式会社

    メタバース 1 2 3 4 エンタメコンテンツ DX コマース グローバル向けメタバースプラットフォー ム「REALITY」アプリの開発運営や、 Vtuber事務所機能、バーチャルライブ制 作事業、Web3事業を推進。 またREALITY XR cloudは、メタバース等 のテクノロジー B2B開発企業です。グリー のメタバースやアプリ開発で備わった知見 をもとに、企業や官公庁向けに様々なソ リューションを展開しています。 日本発のグローバル向けゲームコンテン ツのソフトウェアプロデュースと開発運営 を行っています。セールスランキング 1位 やアワードの大賞なども受賞。 またアニメ・マンガについても新領域の事 業として推進しています。 データマーケティングやカスタマーエクス ペリエンスを中心に、「データ」「 DX」「アド エージェンシー」「マーケティング」「 SNS運 用」「インフルエンサー」「 EC」「カスタマー サポート」などの B2B支援事業を行ってい ます。 日本最大級の「おだかけ」メディアや飲食 向けのSaaS、住まい・美容などのメディア 事業を展開しています。 デジタル・XRを中心に、さまざまなステー ジで日本のみならず世界全体に向けて投 資や伴走を展開しています。 5 投資・インキュベーション
  15. © REALITY XR cloud, Inc. 43 ゲーム事業会社発 XR事業領域を8年経験 メタバースの経験 11月

    VR開発専門部署として 「GREE VR Studio」を設立 4月 株式会社Wright Flyer Live Entertainment (旧社名)を設立 8月 世界初のVTuber専用ライブ配信 PF 「REALITY」提供開始 12月 Google Play ベストオブ2020 部門 賞受賞 2004年 2015年 2016年 2018年 2019年 2020年 2021年 12月 GREEの運営を目的とした グリー株式会社を設立。 4月 VRスタートアップ企業を支援するファンド 「GVR Fund」を設立 5月 日本国内最大級 VRカンファレンス 「Japan VR Summit」を開催 10月 法人向けソリューションサービス提供開始 3月 REALITY、海外版提供開始 8月 REALITY株式会社社名変更、 メタバース事業へ再定義 4月 REALITY XR cloud分社化 REALITY Studios 分社化 2023年 VR参入 8年 B2Cメタバース プラットフォーム 5年 B2Bメタバース ソリューション提供 4年 メタバース専門子会社 4社体制の始動開始
  16. © REALITY XR cloud, Inc. 44 XRソリューション「REALITY XR cloud」 メタバース、バーチャル関連の領域においてビジネス向けソリューションを多数提供しています。

    メタバースへ挑戦するすべての人をサポートできるように各種パッケージをご用意。 メタバースへ挑戦する すべての人をサポート します 限定バーチャル空間 REALITY Worlds REALITY Spaces コンサルティング 各メタバースプラットフォーム・エンジン活用 アバター活用・Vtuber制作 バーチャルライブ 100万人集客 ユーザー活用 Roblox Fortnite Meta Quest ブラウザ 独自エンジン開発中 OEM提供 カスタマイズ 1000名以上 社内活性化 事業開発 アンケート アセット活用 アバター会議 収録スタジオ 番組制作
  17. © REALITY XR cloud, Inc. 46 国内企業がやる意義 デジタル領域で日本企業が グローバルで勝てる未来がある WHY?

    メタバースに挑む・制作する企業が多く 競争力で伸びていく 約2万の法人・自治体が興味あり ※調査期間:2023/4〜5 弊社調べ クリエイティブ領域で勝てる リソースがある 高品質なゲーム制作会社・クリエイターが豊富 ゲーム・エンタメの発明経験 マンガ・映画・アニメ・キャラクターの制作
  18. © REALITY, Inc.
 1,355,841人 来場者数
 男女比
 年齢
 18-24
 25-34
 35-44


    44-54
 55-64
 65+
 14.6%
 14.3%
 6.8%
 1.4%
 2.2%
 事例紹介 HIS様
 REALITYが提供する「REALITY Worlds」にHISがバーチャル支店をオープン 
 51
 © REALITY, Inc.
 男性 36.0% 女性 64.0% 60.7%

  19. © REALITY, Inc.
 来場者数 男女比 年齢 3,447,659人 18-24
 25-34
 35-44


    44-54
 55-64
 65+
 REALITY、メタバースで「ととのう」極上のサウナ体験施設を期間限定オープン 
 事例紹介 ビームス ディレクターズバンク様
 ビームスのディレクターズバンクがプロデュース 
 53
 © REALITY, Inc.
 13.52%
 6.19%
 2.05%
 3.09%
 58.43%
 16.72%
 男性 34.5% 女性 65.5%
  20. © REALITY, Inc.
 来場者数 男女比 年齢 3,032,262人 18-24
 25-34
 35-44


    44-54
 55-64
 65+
 12.15%
 4.97%
 1.58%
 2.38%
 1,000万DLを突破したスマホ向けメタバース「REALITY」に「東京ドーム」が出現 
 〜REALITY、三井不動産グループとリアル施設のサービス価値向上に向け連携〜
 61
 事例紹介 東京ドームワールド
 61.37%
 17.54%
 男性 32.8% 女性 67.2% ※上記の各数値は2022年12月27日時点の経過報告であり、イベントは2023年2月28日まで継続します。
  21. © REALITY, Inc.
 どういった課題解決につながるか
 既存プロモーションの 効果低下 メタバースで 一度失敗した 現実世界だけでは 伝えきれない

    若い世代に リーチできない 海外インバウンド需要が 減少した アバターの種類数を 作りきれない 新領域で 競合より遅れをとれない 既存のブランディングでは 将来性・持続性がない 高エンゲージメントや 定性的なデータが不足 口コミ・ バイラル施策の不足 63

  22. © REALITY, Inc.
 イベント・
 プラットフォーム構築
 仮想空間を利用したイベント実施 
 メタバースプラットフォームの構築 
 01


    メタバース展示会 02
 メタバース広告 03
 アバターアイテム ショップ販売 04
 65
 今後について
 さまざまなメタバースのソリューションをアップデートしてきます 
 展示を
 1000万ユーザーに向けて実施 
 「人がいるメタバース」の 
 街頭ビジョン等へ広告掲載 
 2023年春頃より 
 企業コラボ販売を開始予定 

  23. © REALITY XR cloud, Inc. 66 REALITYの未来 2022年
 10月時点
 202X年


    計画
 全世界 1,000万DL超 全世界 数億人+ 世界No.1 スマホメタバース 2022年 全世界1000万DL超え 今後も引き続き成長見込み
  24. © REALITY XR cloud, Inc. 67 メタバース × 活用フェーズ メタバース領域における

    すべてのセクションで伴走できる体制 メタバースで何ができるのか、御社サー ビスとどう交わっていくのか 04. メタバース 事業活用化 01. メタバースを知る 説明会、体験会、PoCなど、実体験を 積んで正しい知識で挑戦準備 02. メタバースを体験 実際に活用や実験を繰り返していく フェーズ。活用方法は多岐に渡る(広 告、イベント、実験、コミュニティ活用、ア バター等) 03. メタバース活用・実験 メタバース有識者によるメタバース活用・事業化コンサルオプション 成功・失敗体験・市場動向などの知識や経験をもとに 事業活用のノウハウ を最大限活用 企業にあったそれぞれのビ ジネスを飛躍させる
  25. © REALITY, Inc.
 69
 お問い合わせは「REALITY XR cloud 株式会社」まで 
 我々はメタバースへ挑戦するすべての人をサポートします。


    IT・VR領域で長年積み上げてきたグリーグループの新たなソリューション
 69
 https://reality-xrcloud.inc/
  26. UX開発から生成AIへ メタバース研究開発における ユーザ生成コンテンツとコミュニケーション設計 ✓ 講演者について ✓ グリーグループのメタバース事業 ❏ REALITYのR&D ▪

    世界の最新研究 ▪ 人材育成 ▪ ユーザ生成コンテンツと生成AI ▪ コミュニケーション設計 ▪ UX開発から生成AIへ メタバースR&D ❏ ディスカッション/気づきの共有 画像電子学会 Advanced Image Seminar 2023 (AIS2023) Generated by Akihiko Shirai しらいはかせ/白井暁彦 @o_ob @VRStudioLab REALITY株式会社 REALITY デジタルハリウッド大学 大学院 客員教授
  27. XR

  28. (参考)過去のReal Time Live!での弊ラボ発表 SIGGRAPH ASIA 2018 Tokyo, SIGGRAPH ASIA 2019

    Brisbaneでのリアルタイムデモ 会場のリアクションを分析して オーストラリア←→東京 をライブで踊る
  29. メタバース空間でユーザーが求めていること • 多様なアバターを使いたい ◦ 様々な服やアクセサリー・髪型 ◦ 髪やスカートなどの服が動く ▪ 技術的にはSpringBoneなどの物理演算 •

    いろいろなアイテムを使いたい • 様々なワールドに遊びに行きたい • 沢山のユーザーと同時に交流したい ◦ 沢山の人の賑わいを感じたい ➡ターゲットデバイスとしてQuestで実現できるのは、どのラインかを探る
  30. [next] IEEE MetaCom2023 (6/26-28, Kyoto) Avatar Fusion Karaoke: research on

    multi-user music play VR experience in metaverse Alexandre Berthault, Takuma Kato, Akihiko Shirai (REALITY Inc., Japan) https://www.ieee-metacom.org/2023/accepted-papers.php フルペーパー採択!
  31. UX開発から生成AIへ メタバース研究開発における ユーザ生成コンテンツとコミュニケーション設計 ❏ 講演者について ❏ グリーグループのメタバース事業 ❏ REALITYのR&D ▪

    世界の最新研究 ▪ 人材育成 ▪ ユーザ生成コンテンツと生成AI ▪ コミュニケーション設計 ▪ メタバースR&Dの今後 ❏ ディスカッション/気づきの共有 画像電子学会 Advanced Image Seminar 2023 (AIS2023) Generated by Akihiko Shirai しらいはかせ/白井暁彦 @o_ob @VRStudioLab REALITY株式会社 デジタルハリウッド大学 大学院 客員教授
  32. Alexandre Berthaultさん フランスのデジタルアート系大学ISART Digitalを卒業し、東京工科大学の研究生をやっている UXデザイナー。UXDevシリーズでは、主にUXプロトタイピングとエフェクトデザインを担当し ている。ラーメンが好き。漢字が苦手。 山岡さん 明治大学総合数理学部先端メディアサイエンス学科4年。2022年10月よりGREE VR Studio

    Laboratoryに参加。アバターが現実世界に違和感なく溶け込む技術を研究している。 Meta Quest, Hololens2, Web AR等での制作経験を活かしてアバター周りのR&Dを担当。 最近はQuest等HMDデバイスのアバターベンチマークツールを担当。 白井暁彦 Director GREE VR Studio Laboratoryのディレクター。研究開発と教育、ビジュアルアート、VRエンター テインメント、科学コミュニケーションなどで25年以上の経験を持つ。多様な才能を発揮してグ リーグループの開発文化に多様性を沿えている。 業務外でグリー技術書典部や書籍「AIとコラボして神絵師になる」などを執筆している。 Member in Laboratory
  33. グリー技術書典部・過去のラインナップ 過去の白井の執筆(基本的に業務外!) • VTuberライブエンタメ技術に求められる研究開発 • Virtual Cast と Hapbeat を使った国際双方向アバター触覚ライブの開発

    • Mozilla Hubs を用いたオンラインイベント WebVR 化テクニック https://techbookfest.org/organization/276320001 StableDiffusionの公開(8/26) ↓ 技術書典13(9/25)に向けて、 1か月で「グリー技術書典部誌 2022 年秋号」に寄稿(50p) ↓ 翌日に編集者から商業書籍化の オファーを頂く ↓(100ページ近く加筆…) 10/28に発売開始!
  34. 生成AI市場の今後 米大手VCアンドリーセン・ホロウィッツ(a16z)の最近のブログ 「生成AIプラットフォームは誰のものなのか?」より。 [End-to-End]MidJourney,RunwayML [アプリ]Github Copilot,Jasper [ソース非公開/API経由]GPT-3 [モデルHub]HuggingFace, Replicate [オープンソースモデル]StableDiffusion

    [クラウド]AWS,GCP,Azure,CoreWeave [計算ハードウェア]NVIDIA,Google(TPU) 生成AI市場の多くの資金は最終的にインフラ企業に。大雑把な数 字で、アプリ企業は収益の約2〜4割を推論とチューニングに費や している。これはクラウドのインスタンスに直接支払われるか、 モデル提供者に支払われます。モデル提供者は収益の約半分をク ラウドに費やしている。つまり現在の生成AI総収益の10〜20%は クラウドに流れていると推測するのは合理的な数字といえる。 ★その他のレイヤーでの収益構造構築はまだまだ未知数。 Who Owns the Generative AI Platform? (Andreessen Horowitz) https://a16z.com/2023/01/19/who-owns-the-generative-ai-platform/
  35. 例:みんなで楽曲を演奏する体験 Collaborative Music Play Experience REALITYのアバターで Questだけで メタバース内でスクールバンドのメンバーに なれる体験ができる……! 自由度が高い近未来の「アバターカラオケ」

    GREE VR Studio Laboratory、メタバース時代のア バターを活用したクリエイターエコノミーを刺激~バー チャル演奏技術映像 「AI Fusion」を公開~ PRTIMES 2022/10/19 CGWORLD特集 メタバース開発者の卵が「自分は何 者か」を発見する場所【GREE VR Studio Laboratoryリサーチ系インターンシップ】
  36. UX開発から生成AIへ メタバース研究開発における ユーザ生成コンテンツとコミュニケーション設計 ❏ 講演者について ❏ グリーグループのメタバース事業 ❏ REALITYのR&D ▪

    世界の最新研究 ▪ 人材育成 ▪ ユーザ生成コンテンツと生成AI ▪ コミュニケーション設計 ▪ UX開発から生成AIへ メタバースR&D ❏ ディスカッション/気づきの共有 画像電子学会 Advanced Image Seminar 2023 (AIS2023) Generated by Akihiko Shirai しらいはかせ/白井暁彦 @o_ob @VRStudioLab REALITY株式会社 デジタルハリウッド大学 大学院 客員教授
  37. References: VibeShare and Directional Haptics 1. Yuichiro Kume. 1998. Foot

    interface: fantastic phantom slipper. In ACM SIGGRAPH 98 Conference abstracts and applications (SIGGRAPH '98). Association for Computing Machinery, New York, NY, USA, 114. DOI:https://doi.org/10.1145/280953.284801 2. Yusuke Yamazaki, Shoichi Hasegawa, Hironori Mitake, and Akihiko Shirai. 2019. NeckStrap Haptics: An Algorithm for Non-Visible VR Information Using Haptic Perception on the Neck. InACM SIGGRAPH 2019 Posters(Los Angeles, California)(SIGGRAPH ’19). Association for Computing Machinery, New York, NY, USA, Article 60, 2 pages. https://doi.org/10.1145/3306214.333 3. Yusuke Yamazaki and Akihiko Shirai. 2021. Pseudo Real-Time Live Event: Virtualization for Nonverbal Live Entertainment and Sharing. In2021: Laval Virtual VRIC, ConVRgence Proceedings 2021(Laval, France)(VRIC ’21). https://doi.org/10.20870/IJVR.2021.1.1.479
  38. References: Map and Walking interactions 1. Makiko Suzuki Harada, Hidenori

    Watanave and Shuuichi Endou, : "Tuvalu Visualization Project - Net Art on Digital Globe: Telling the Realities of Remote Places", page 559- 572, 2011. 2. Akihiko Shirai, Kiichi Kobayashi, Masahiro Kawakita, Shoichi Hasegawa, Masayuki Nakajima, and Makoto Sato. 2004. Entertainment applications of human-scale virtual reality systems. In Proceedings of the 5th Pacific Rim conference on Advances in Multimedia Information Processing - Volume Part III (PCM'04). Springer-Verlag, Berlin, Heidelberg, 31–38. DOI:https://doi.org/10.1007/978-3-540-30543-9_5 3. Akihiko Shirai, Yuki Kose, Kumiko Minobe, and Tomoyuki Kimura. 2015. Gamification and construction of virtual field museum by using augmented reality game "Ingress". In Proceedings of the 2015 Virtual Reality International Conference (VRIC '15). Association for Computing Machinery, New York, NY, USA, Article 4, 1–4. DOI:https://doi.org/10.1145/2806173.2806182
  39. References: Avatar and metaverse in Education 1. Rex Hsieh, Akihiko

    Shirai, and Hisashi Sato. 2019. Evaluation of Avatar and Voice Transform in Programming E-Learning Lectures. In Proceedings of the 19th ACM International Conference on Intelligent Virtual Agents (IVA '19). Association for Computing Machinery, New York, NY, USA, 197–199. DOI:https://doi.org/10.1145/3308532.3329430 2. Rex Hsieh, Akihiko Shirai, and Hisashi Sato. 2019. Effectiveness of facial animated avatar and voice transformer in elearning programming course. In ACM SIGGRAPH 2019 Posters (SIGGRAPH '19). Association for Computing Machinery, New York, NY, USA, Article 82, 1–2. DOI:https://doi.org/10.1145/3306214.3338540 3. Liudmila Bredikhina, Toya Sakaguchi, and Akihiko Shirai. 2020. Web3D Distance LiveWorkshop for Children in Mozilla Hubs. In The 25th International Conference on3D Web Technology(Virtual Event, Republic of Korea)(Web3D ’20). Association for Computing Machinery, New York, NY, USA, Article 27, 2 pages. https://doi.org/10.1145/3424616.342472 4. Stewart Culin. 1920. THE JAPANESE GAME OF SUGOROKU.The Brooklyn Museum Quarterly 7, 4 (1920), 213–233. http://www.jstor.org/stable/2645
  40. References: XR Live Entertainment 1. Akihiko Shirai. 2019. REALITY: broadcast

    your virtual beings from everywhere. In ACM SIGGRAPH 2019 Appy Hour (SIGGRAPH '19). Association for Computing Machinery, New York, NY, USA, Article 5, 1–2. DOI:https://doi.org/10.1145/3305365.3329727 2. Bredikhina, Liudmila et al. “Avatar Driven VR Society Trends in Japan.” 2020 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW) (2020): 497-503. 3. Akihiko Shirai, et.al. 2019. Global Bidirectional Remote Haptic Live Entertainment by Virtual Beings. ACM SIGGRAPH ASIA 2019 Real-Time Live! SIGGRAPH ASIA 2018
  41. Collaboration with “Hapbeat” through internship Product Technical Info Hapbeat Introduction

    movie https://www.youtube.com/ watch?v=DAXH5MMpBDY Paper link to origin of Hapbeat Tension-Based Wearable Vibroacoustic Device for Music Appreciation https://bit.ly/3kicJif Hapbeat-Duo is an easy-to-wear necklace typed device which can present powerful and impactive vibration. Hapbeat-Duo has two core-less DC motors linked by a neck strap. The dynamic range of frequency and amplitude is high enough to be perceived the modulation. Vibrations on either side of the neck do not resonate with each other because the connector is not a rigid body but a flexible neck strap, made of satin ribbon. Therefore, the device can render various distinguishable vibration waves on both sides of the neck independently. Hapbeat-Duo