ARコンテンツの考え方 - クリエイターでなくても「おもしろい」ARコンテンツを制作したい！

XR Kaigi 2023（12/19）の登壇内容
https://youtu.be/ocOQjti69cM

クリエイティブに苦手意識があったのですが、著名なクリエイターがおもしろいコンテンツを再現出来ている以上何らかの法則があるのでは？と考えました。
ARに限らず、さまざまなコンテンツを体験/分析した結果から「"おもしろいコンテンツ"と"おもしろくないコンテンツ"は何が違うのか」「ARコンテンツはどんな時に"おもしろい"と感じるのか」を自分なりに整理した内容です。2022年に作成したものを2023年に更新しました。

※SpeakerDeckではGifが動かないので動きありで見たい方はGoogle Slide ( https://bit.ly/3H6EC7p ) 版をご確認ください。

Transcript

1. ARコンテンツの考え方 クリエイターでなくても「おもしろい」 ARコンテンツを制作したい！ 合同会社YELO 多田 努来真
2. © YELO LLC All Rights Reserved. 本セッションの対象層 2 ARコンテンツを作ることがある方 クリエイターが本職ではない方 ARコンテンツの制作基準や注意点を知りたい方
3. © YELO LLC All Rights Reserved. 自己紹介 3 氏名 　多田 努来真 （ただ どらま） 所属 　合同会社YELO 　CEO / Product Manager 金融およびメガベンチャーなどで、開発や事業企画など を経験。 2020年よりARサービスのプロダクトマネージャーを担 当。2023年 合同会社YELOを創業。 @1901drama
4. © YELO LLC All Rights Reserved. 自己紹介：エンジニア／クリエイターとしての業務外活動 4 レトロゲームのAR化 思い出のデジタル化 AR Invader ARKit3 Hackathon 2019 準優勝 インベーダーゲームをモチーフに、 2Dゲームの現実化と ARKit3の持ち味であった多人数 参 加をメインとした最大 5人程で遊べるARゲームを開発し ました。 現実にインベーダーを配置し、相手のインベーダーを倒 すARゲームです。 Time Capsule Yahoo DigitalHackDay 2022 特別賞受賞 思い出のデジタル化をテーマに、 タイムカプセルがモチーフのシステムを開発。 被写体を撮影すると深度を含めた映像がデータとして記 録され、以降その場所をスキャンすると 3Dの被写体と撮影時の天気が AR(≒ホログラム)で復元 表示されます。 ストーリーの可視化 LOOK BACK -SHINJUKU- withAR Hackathon #11 優勝 最寄駅をコンセプトにするというお題に対し、 新宿駅付近で呟かれたツイートを AR化することで 「その場にいた人の気持ちやストーリーから、駅に付随 する人の気持ち（見えない価値）を表現する」というコンテ ンツを制作しました。
5. 5 1. ARについて 2. 「おもしろい」 とは 3. ARサービス / コンテンツの例 4. 「おもしろい」 の外側 5. コンテンツの実装
6. １．ARについて
7. © YELO LLC All Rights Reserved. ARとは 7 参考リンク Pokemon GO 公式サイト Augmented Reality = 拡張現実 ・人間が知覚している現実に電子情報を追加し、 　現実にあるよう錯覚させる技術のこと ・現実との関連性が必要 ・知覚させるのは五感のいずれでも良い 　※今回は視覚型メインで説明
8. © YELO LLC All Rights Reserved. 構成 8 AR的な表現 合成 電子情報 現実情報 AR技術 表現 参考リンク Pokemon GO 公式サイト いわゆる「AR技術」というのは、現実情報を認識する技術 のこと （表現の方ではない）
9. © YELO LLC All Rights Reserved. 「セカイカメラ」登場 ・位置情報ベースのサービスが普及 ・携帯/スマホのカメラが高性能化 これまでのAR 9 1 2 3 4 1990 年頃 2009 年頃 2016 年頃 202x 年現在 「Pokemon GO」流行 ・3年間で10億DLの大ブーム ・顔加工系のアプリが増加 ・2017年にAppleがARKitを発表 ・インターネットと携帯電話の普及 ・GPS機能が一般化 表現技術の発展 (3次元意識) ・映像技術が発展する ・空間演出としてAR的な演出が行われる 1901 年頃 参考リンク note AR100年史 ｜現実を拡張するテクノロジーの誕生と成長を紐解く @とみー(Tommy) / MESON 参考リンク ARGO 「AR」が世の中に広まった背景とは？拡張現実の歴史をたどる 1970 年頃 「AR(拡張現実)」名称化 ・工業/軍事/医療等でAR技術が利用され始める ・映像やゲームにより ARのイメージが一般化
10. © YELO LLC All Rights Reserved. ARで出来ること 10 物体の検出/追跡 拠点の検出/追跡 平面の検出/追跡 人の検出/追跡 表情の検出/追跡 奥行きの合成 空間共有 参考リンク Apple Developer サイト 検出 → 合成 → 共有 が可能 画像の検出/追跡 XR Kaigi 2022
11. © YELO LLC All Rights Reserved. これからのAR（予想） 11 4 1 2 3 2016 年頃 2022 年頃 「Pokemon GO」流行 ・3年間で10億DLの大ブーム ・顔加工系のアプリが増加。 ・2017年にAppleがARKitを発表 「ARCloud」系サービスの普及 ・利便性を追求したARCloudサービスが起点となる ・ビックデータを元にしたワールド系とローカル系に別れる ・検出精度や通信環境が必要 「ウェアラブルARデバイス」普及 ・イヤホン、グラス型など 　AR機能搭載のウェアラブル端末が低価格化する 202x 年頃 2030 年～ ARの導入/利用が一般的に ・多くのARエンジニアの需要は減り 　研究開発系と創造系のみになる？ ・プラットフォームサービスや 　自社デバイスなどが無い AR事業は衰退し始める 参考リンク note AR100年史 ｜現実を拡張するテクノロジーの誕生と成長を紐解く @とみー(Tommy) / MESON 参考リンク ARGO 「AR」が世の中に広まった背景とは？拡張現実の歴史をたどる 2020 年頃 「ARKit & ARCore」 ・技術向上のスピードが一旦鈍化する ・スマホシェアの大半が対応スペックになる ・大手からAR創作ツール/機能が出始める
12. © YELO LLC All Rights Reserved. 12 参考リンク ・ARをビジネスに活用したい企業担当者は必見！市場予測と参考事例から考えるARの将来性 ・国内AR/VR市場 企業ユーザー調査 ・AR、利用経験者は半数を超える／購入プロセスの興味・関心や情報収集、検討に影響【電通グループら調査】 ・AIを仕事に利用：日本10.7％・米国29.5％と約3倍の差！ AIビジネス活用を日米で比較【GMOリサーチ調べ】 +43.8% 8.4% 62.1% ARの普及率 ARコンテンツの体験率 （2022） ARのビジネス利用・利用意向率 （2019） 2021-2028年のAR市場成長率 /年 （2021） 市場は成長しているが、ビジネス利用は十分に普及出来ていない（ 一部企業のみ） ▶サービス／コンテンツ への有効活用 が必要
13. © YELO LLC All Rights Reserved. ARで出来る表現 13 参考リンク ハリーポッター 魔法同盟 アプリ紹介ページ 参考リンク IKEA PLACE アプリ紹介ページ XR Kaigi 2021
14. ２．「おもしろい」 とは
15. © YELO LLC All Rights Reserved. 私が「おもしろい」と感じたもの 15 漫画 お笑い （漫才） スポーツの試合 動物 こども 映画
16. © YELO LLC All Rights Reserved. 感情の遷移 16 ★ 認識 理解 想像 面白くない 面白くない （恐ろしい） 理解出来る 面白い 理解出来ない 例：ミステリー映画を見てた時の感情遷移 イベント発生
17. © YELO LLC All Rights Reserved. 　　　　　　　　　コンテンツ体験 「おもしろい」 とは 17 わかる ココ わからない
18. © YELO LLC All Rights Reserved. 「おもしろい」 とは 18 　　　　　　　　　コンテンツ体験 わかる ココ わからない ＜例＞ ミステリー映画 簡単すぎる 飛躍し過ぎている 気づきにくい 伏線が活かされていた
19. © YELO LLC All Rights Reserved. AR での「おもしろい」 19 　　　　　　　　　コンテンツ体験 現実 ココ 非現実 ・検出する情報 ・シチュエーション（時期や場所など） ・何を出すか（電子コンテンツ） ・どのように出すか（時期や場所など） 現実の延長 かつ 普通に出来ない表現（非現実） が出来ると それが ARでの 「おもしろい」 となる
20. © YELO LLC All Rights Reserved. AR が有効な手段か 20 面白い？ 　　　　　　　　　コンテンツ体験 現実 非現実 ＜例＞ ・とある犬の画像を検出すると ＜例＞ ・炎のエフェクトが出てくる どのような組み合わせでも 面白くなるわけではない ▶どのような組み合わせや要素があると 「おもしろい」 コンテンツになるのか
21. ３．ARサービス / コンテンツの例
22. © YELO LLC All Rights Reserved. 私が「おもしろい」と感じた拡張現実（ある程度有名なもの） 22 らくがきAR 信濃毎日新聞 崩れる横断歩道 車窓の忍者 LEGO AR Pokemon GO 参考リンク Pokemon GO 公式サイト 参考リンク whatever らくがきAR 紹介ページ 参考リンク Twitter きむらえいじゅん[.mov] ( @kuro_40 ) 参考リンク Twitter 佐藤蕗(ふき)_おもちゃ作家「ふきさんのアイデアおもちゃ大百科」発売 ( @fuki_fuki ) 参考リンク LEGO 公式ページ 参考リンク 信濃毎日新聞「実験 ARおうち花火大会」
23. © YELO LLC All Rights Reserved. 例1：紙面 + 花火（コンテンツ） 23 参考リンク 信濃毎日新聞「実験 ARおうち花火大会」 紙面の風景上に花火が上がる ・風景が印刷された紙面を認識 ・認識すると紙面上に花火の動画が再生される ・合わせてみることで花火の風景を連携させる ・中止で花火を見れなかったというシチュエーションに適している 現実の要素 　画像（風景が印刷された紙面）、世間の雰囲気（自粛ムード） 非現実の要素 　花火の動画
24. © YELO LLC All Rights Reserved. 例2：車窓の忍者（コンテンツ） 24 参考リンク Twitter 佐藤蕗(ふき)_おもちゃ作家「ふきさんのアイデアおもちゃ大百科」発売 ( @fuki_fuki ) 窓の奥の風景を忍者が走る ・窓上に忍者のキャラクターを配置 ・窓の奥のモノに乗って動いているように捉える 現実の要素（開発した場合） 　画像（車窓に映る建物や電車）、深度（奥行き）、 　共通の思い出（想像） 非現実の要素（開発した場合） 　走る忍者のキャラクター ※電子コンテンツではありませんが、 　現実を拡張した例として記載しています。
25. © YELO LLC All Rights Reserved. 現実 非現実 「おもしろい」 とは 25 　　　　　　　　　コンテンツ体験 ココ ＜例＞ 紙面 + 花火 紙面の風景 ARで花火を表示 コロナ禍で 花火が見れない
26. © YELO LLC All Rights Reserved. ARコンテンツでの「おもしろい」 26 　　　　　　　　　コンテンツ体験 現実 ココ 非現実 ・検出する情報 ・シチュエーション（時期や場所など） ・何を出すか（電子コンテンツ） ・どのように出すか（時期や場所など） 頭の内側までが拡張させる対象 ・共通の思い出 ・世間の雰囲気 現実（検出する情報）から、非現実（表現）への流れに 適切なストーリーがあると 「おもしろい」 を感じやすい
27. © YELO LLC All Rights Reserved. ストーリーの考え方：点→線→点 パターン 27 参考リンク Pokemon GO 公式サイト 参考リンク Snapchat 事例 A. 現実にある情報を拡張させていく考え方 B. 非現実の要素を現実に適応させていく考え方 ① ② ③ ③ ② ① ＜例＞ ・表情を変える ・モノを動かす ・モノに説明を表示 ＜例＞ ・キャラクターを特定の地点に表示 ・自然界に無い演出をその場に適用 連想する要素を追加 連想する要素に追加 27
28. © YELO LLC All Rights Reserved. ストーリーの考え方：点→点→線 パターン 28 参考リンク たった40分で誰でも必ず小説が書ける超ショートショート講座 参考リンク ストーリーテリングの練習に... C. 現実にある情報と関係ない情報を紐づける考え方 ① ④ ③ ＜例＞ ・眠たい靴 ・走る机 ・地球の走馬灯 ・電動のおばあちゃん ・宇宙人の犬 ・夢を見るパソコン ② 夜 眠たい 28 この考え方の時は、 展開を理解出来るようにするストーリー設計や演出が重要
29. © YELO LLC All Rights Reserved. 強いストーリーを作りやすくするコツ 29 人 時間 キャラクターや人物に 情報の背景を感じやすい 不可逆な流れに 課題意識や思い入れが強い 潜在的に関心が高い要素を組み込む（一例）
30. © YELO LLC All Rights Reserved. 「おもしろい」 とは違うけど 良いパターン 30 ・共感させる 　　　やったことがある体験を彷彿させる、理解を得られやすい問い、 　　　願った通りやお決まりの展開、感情移入出来る体験の再現 など 　　　例：子供の頃の思い出、あるある、悪が負ける、結婚式、卒業式 ・ネガティブな感情の解消に繋がる 　　　わからないことをわかるようにしてくれる、安心や癒しを得られる、 　　　ネガティブからフラット／ポジティブへの大きな感情変化を体験出来る など 　　　例：案内、親しい人からのメッセージ、仮想のホラー体験 これらの場合でもARとして 現実 から、非現実 への適切なストーリーは必要 ▶どういった感情に着地させたいのか は定めておきましょう
31. ４．「おもしろい」 の外側
32. © YELO LLC All Rights Reserved. ユーザーにアクションさせるには 32 動機 行う理由 実行能力 実行しやすい条件 きっかけ やろうと想起する 瞬間 参考リンク フォッグの消費者行動モデル (B=MAT) ・使うと便利になる ・課題を解消してくれる ・欲求を満たしてくれる ・誘惑や生理的欲求 ・広告や話題 ・通知 ・簡単 ・道具がある ・時間がある ・コストが低い コンテンツの面白さ ・興味があるコンテンツか ・予想を上回る体験をさせられるか ・課題や欲求を解消するものか 体験させる場面 / 機会 ・思い出す経路が日常にあるか ・外部からの情報流入は多いか 体験までの障壁 ・わかりやすい使い方か ・すぐに体験出来るか
33. © YELO LLC All Rights Reserved. 利用するハードルが高い 33 ユーザーが体験するまでの障壁が高い ・体験までに時間がかかる ・体験する為の制約が多い ＜例＞ ・ダウンロードサイズが大きい ・設定項目が多い ・タッチすべき箇所や体験の手順が複雑 ・デバイスの装備や設定に時間を要する ・AR体験をし辛いシチュエーション（他人が多い、場所が狭いなど） 実行能力 実行しやすい 条件 467.5
34. © YELO LLC All Rights Reserved. 伝わっていない 34 最も伝えたい事が伝わっておらず 体験のおもしろさ（価値）が不足 ・ユーザーに触れる部分（デザイン等）が理解しにくい ・注目すべき点が定まっていない ・要素を詰め込み過ぎている ＜例＞ ・タッチすべき箇所や体験の手順が複雑 ・使わない機能や表現が多い ・終わりが分かり辛く納得して体験を完了出来ない。 動機 行う理由 実行能力 実行しやすい 条件
35. © YELO LLC All Rights Reserved. 利用場面 / きっかけが少ない 35 体験しようと思う場面が少ない ・体験するシチュエーションが限定的である ・体験結果が同じ ＜例＞ ・イベント会場や特定の地域でのみ体験出来る ・いつ体験しても結果に変化がない きっかけ やろうと 想起する瞬間
36. © YELO LLC All Rights Reserved. 長い体験 コンテンツ体験の時間により、設計方針は異なる 36 長い場合 （数十分〜数時間 以上） ・短い体験を繰り返して長くする ・能動的に考えさせてルール習得させる ・同じ体験にならないよう徐々に体験を拡張する （ルール追加など） 短い場合（数十秒） ・掴みと展開が重要 ・最初のアクションは 10秒以内 ・コンテンツのピークは 30秒以内を推奨 ・長くても2分程度までしか体験は持続出来ない 体験の流れができた後に ルールを少し壊す 参考リンク 「ついやってしまう」体験のつくりかた 体験の終わり ・体験前との差分を明確にする ・現実の体験に戻し、 　自分ごと化させることで成長を感じる 短い体験 短い体験 短い体験 短い体験
37. ５．コンテンツの実装
38. © YELO LLC All Rights Reserved. 38 38 ①物理法則を適用させる 　　自然に用意されている要素 　　対象：材質、光源、サイズ、重力、速度、音量、温度 など ②シチュエーションにあわせる 　　私達が現実に合わせて変化／対応している要素 　　対象：時期、時間帯、地域、服装、習性、流行 など ③応答性を追加する 　　私達が他から影響を受けて行うような要素 　　対象：タッチアクション、会話、視線、汗 など ④複数人から知覚出来るようにする 　　私達が他者との関係で構築している要素 　　対象：起点となる共通の情報 コ ン テ ン ツ の 外 側 の 空 間 　コ 　ン テ ン ツ と 同 じ 空 間 現 実 の 空 間 参考リンク ・UE digital human ・Apple Siri ・Apple ARWorldMap 現実と認識させるレイヤーと表現 XR Kaigi 2022
39. © YELO LLC All Rights Reserved. ARコンテンツでよく使われている演出や表現 実写化 ポータル (別空間に繋がる) 地域を限定する 巨大化 / 超人化 材質変化 （特に 水/ガラス/鏡/金属など） リアルタイム変化 形状変化 メタフィクション (外側を意識/カメラ,操作概念など) 参考リンク ・@cmrr_xxx ・Zeppelin ARaddin ・8thWall Sample, @asagi_tokyo ・Pokemon GO ・テクテクライフ, @1901drama ・@kiyossy0715, @kitasenjudesign ・@1901drama ・Apple Developer WWDC 2017 ARKit 動かす XR Kaigi 2022
40. © YELO LLC All Rights Reserved. ARコンテンツでの「おもしろい」 40 　　　　　　　　　コンテンツ体験 現実 ココ 非現実 ・検出する情報 ・シチュエーション（時期や場所など） ・何を出すか（電子コンテンツ） ・どのように出すか（時期や場所など） • 質感：材質、光沢、硬さ　を似せる • ライト：向き、距離、種類（太陽光 / 白熱灯 / スポット）を似せる • 重さ：重力、反発力　を似せる • パーティクルで、コンテンツや空間の雰囲気を演出 • フィルタ（画像やエフェクト）をカメラに重ねて空気感を演出
41. © YELO LLC All Rights Reserved. 技術的な注意点 ②アクション前に予備動作が必要 ・アクションやアニメーションは、 　余裕を持って見れるタイミングや場所で発生させる。 ・主張したい表現を明示的に誇張する。 41 ③インタラクション性を持たせる 仮想現実の場合、アクション後のフィードバックを明示的に設定する必要があります。 タッチアクション時などには、わかりやすいアニメーションや音声を返答するようにしましょう。 特にiOSの場合は、UIFeedbackGeneratorなどの触覚フィードバックがおすすめです。 参考リンク ・UX 101 for Virtual and Mixed Reality — Part 1: Physicality ①起点を明確にする ・トラッキングできる対象を軸にしないとドリフトが起きます。 ・日時や場所の制約を理解しておきましょう。明るさや体験時間が制約になりがちです。 参考リンク Pokemon GO 公式サイト
42. © YELO LLC All Rights Reserved. 制作までの流れ 42 体験終了 体験中 体験開始 企画 ①AR表示までの 　ストーリー設計を考える ④ 起点や素材ならではの 　表現にこだわる ②体験までのハードルを なるべく低く ⑤体験頻度（累計体験時間）を多くする 参考リンク ・ペーパーマリオ 動機(おもしろい)の観点 ・ユーザーをどのような感情にしたいか ・演出の起点を何にするか ・表示するものを何するか 実行能力の観点 ・トラッキングをしやすく ・コンテンツの視覚誘導 動機(おもしろい)と実行能力の観点 ・企画動線の説明（パンフレットや 2DのUI） ・体験シチュエーションは？（時間や場所） ・お金や準備時間は適切？ 動機(おもしろい)の観点 ・現実レイヤーを深める ・拡張表現の質をあげる 動機(おもしろい)ときっかけの観点 ・感情の起伏を現実に戻す ・体験前との差分(成長)をフィードバック ・リテンションを促す仕組み ③体験時のハードルを なるべく低く
43. © YELO LLC All Rights Reserved. 特に大事と思った観点 43 演出の結末や主題を適切に伝える。 UIやアクション時のフィードバックなど、 ユーザーに届く末端部分は丁寧に作り込んだ方が良いです。 良いコンテンツでも伝えたいことが届かなければ、内容の評価にさえ至りません。 逆に コンテンツの魅力が低くても、コンテンツ周りを底上げし、 適切に伝えることが出来れば、ある程度の体験価値を与えられます。 コンテンツ体験に人の要素を付与する。 例：皆で出来る、人により結果が変わる、人に共有出来る 体験者の背景がコンテンツの魅力に追加されることで、コンテンツ自身ではなくコンテンツを 体験したということ自体に価値が生まれ、体験価値の向上に繋がっていそうです。 この場合、コンテンツ自体に魅力が少なくても、人との話題に出来ることを面白いと感じてき ます。また、面白いという他人の意見が多ければ 自ずと 面白いのではないか？という風に 見方が変わってきます。（共感性によるものと思います） 着地 人の要素
44. まとめ
45. © YELO LLC All Rights Reserved. まとめ：ARコンテンツの構成 45 AR的な表現 合成 電子情報 現実情報 AR技術 表現 参考リンク Pokemon GO 公式サイト いわゆる「AR技術」というのは、現実情報を認識する技術 のこと これからのコンテンツは、 電子情報側（非現実の表現） を考えることが重要
46. © YELO LLC All Rights Reserved. まとめ：ARコンテンツでの「おもしろい」 とは 46 　　　　　　　　　コンテンツ体験 現実 ココ 非現実 ・検出する情報 ・シチュエーション（時期や場所など） ・何を出すか（電子コンテンツ） ・どのように出すか（時期や場所など） 頭の内側までが拡張させる対象 ・共通の思い出 ・世間の雰囲気 現実（検出する情報）から、非現実（表現）への流れに 適切なストーリーがあると 「おもしろい」 を感じやすい
47. © YELO LLC All Rights Reserved. まとめ：ユーザーにアクションさせるには 47 参考リンク フォッグの消費者行動モデル (B=MAT) 「何を伝えるべきか」→「どう伝えるべきか」までを検討 動機 行う理由 実行能力 実行しやすい条件 きっかけ やろうと想起する 瞬間 ・使うと便利になる ・課題を解消してくれる ・欲求を満たしてくれる ・誘惑や生理的欲求 ・広告や話題 ・通知 ・簡単 ・道具がある ・時間がある ・コストが低い コンテンツの面白さ ・興味があるコンテンツか ・予想を上回る体験をさせられるか ・課題や欲求を解消するものか 体験させる場面 / 機会 ・思い出す経路が日常にあるか ・外部からの情報流入は多いか 体験までの障壁 ・わかりやすい使い方か ・すぐに体験出来るか
48. © YELO LLC All Rights Reserved. まとめ：実装手法 48 体験のレイヤーを意識して実装する
49. © YELO LLC All Rights Reserved. 49 参考文献 • ARの教科書 • ハマるしかけ • ARにおけるサービスデザインプロセス完全解説（サービスデザインについて） • 「ついやってしまう」体験のつくりかた • たった40分で誰でも必ず小説が書ける超ショートショート講座 （ストーリーテリング） • AR三兄弟の企画書 • 実践ARKit（開発書） • ARKit超入門（開発書） • Apple Developer • Google Developers (ARCore)
50. ARコンテンツの考え方 クリエイターでなくても「おもしろい」ARコンテンツを制作したい！ 合同会社YELO 多田 努来真 おわり ご静聴ありがとうございました！