Kyoto道案内トレーナー

2025/01/18(土)、19(日)の2日間に渡って開催された「京都デジタルツイン・ラボ【ハッカソン】 KYOTO PLATEAU HACK 2024」の発表スライド資料です。
https://asciistartup.connpass.com/event/328896/

2日間で作成した「Kyoto道案内トレーナー」の詳細は、こちらのサイトをご参照ください。
https://protopedia.net/prototype/6508

Transcript

1. KYOTO PLATEAU HACK 2024 Kyoto道案内トレーナー （Team G）【HideG】
2. KYOTO PLATEAU HACK 2024 チーム紹介 画像 ※必要に応じて携 帯などで撮影して ください 氏名：長田英幸 大阪駆動開発コミュニティ のAIミーティング、 JAWS AI/ML運営メンバー 生成AIに興味があります。
3. KYOTO PLATEAU HACK 2024 外国人観光客の増加によるコミュニケーション課題 （イメージ画像・分析結果の図など） 京都市、観光事業者向けに地域のルールを伝える 英語フレーズ集を発行、観光マナー啓発で https://www.travelvoice.jp/20250115-157017 #オーバーツーリズム #京都 #訪日インバウンド 外国人観光客の増加により、伝えたい事をまとめた英語フレー ズ集を発行するニュース記事です。 京都市の街中の、飲食店や小売店、観光施設などの店員の 方々は、それほど日常的に日本語以外の会話をする必要があ る場面が多いという事だと思われます。 とっさに英語で伝えたい事を言えますか？
4. KYOTO PLATEAU HACK 2024 京都市の観光の道案内を練習する機会の創出 自動車教習所のように、実際の観光情報をシナリオに取り込んだ 道案内を練習できるアプリを開発する事です。 そこで提案するのは、 制作物の概要： VRゴーグルをかぶって、外国人観光客から突然、 観光名所への道案内を聞かれた際のシチュエー ションを仮想空間で練習できるアプリです。 京都市が公開されたPLATEAUの 3D都市モデルを仮想空間で体験し、 実際の道案内を何度も練習できるようにします。 I'm lost. Where is the Pokémon Center Kyoto ?
5. KYOTO PLATEAU HACK 2024 事前に何度も練習できる事の大切さ 事前に何度も練習する事で、とっさの対応が出来るようになります。 引用元：JR西日本グループの技術情報発信サイト https://media.jrw-ip.jp/blog/8604/ VRは実際に体験する機会がないか少ない状況で 安全に対応するための訓練アプリで活用されて います。 ↓ 京都市が公開されたPLATEAUの3D都市モデル を用いて、実際の街並みの中で、外国人観光客 の方へ道案内が出来る練習を事前に出来るよう にすれば、とっさの機会に十分なおもてなしが 出来るようになると考えました。 道案内をする側である従業員の方の 心理的安全に寄与するものと考えます。 また、人手不足の昨今、従業員教育にも使える と思います。
6. KYOTO PLATEAU HACK 2024 Kyoto道案内トレーナー① 従業員の方が、店舗の位置に応じた観光情報で道案内の練習ができる 本日のハッカソン会場である、「KOIN（Kyoto Open Innovation Network）」の 建物に、ポケモンセンターキョウトが入居しています。 こんな店舗ごとのシチュエーションで英語で道案内の練習ができるようにします。
7. KYOTO PLATEAU HACK 2024 Kyoto道案内トレーナー② PLATEAUの仮想空間上で、道案内のシチュエーションを体験できます。 紫の星の位置から黄色の星の位置への道案内は、 「北にまっすぐ進んでください。道路に面したら、右手の角を曲がってください。」となります。
8. KYOTO PLATEAU HACK 2024 Kyoto道案内トレーナー③ 完成版で想定するアーキテクチャ図 「Kyoto道案内トレーナー」 アプリ AWS Cloud Amazon Bedrock Amazon Simple Storage Service (Amazon S3) 京都市の観光情報を アップロード 外国人観光客や正解の会話文章を、生成AIで作成 検索拡張生成（RAG、Retrieval-Augmented Generation） 音声 入力 Amazon Transcribe Amazon Polly
9. KYOTO PLATEAU HACK 2024 使用方法・デモ解説① 道案内を会話選択形式で体験できます。 道案内をしてください。2択です。 ⇒①まっすぐ北に進んでください。その後、角を右に曲がります。 ②まっすぐ南に進んでください。 I'm lost. Where is the Pokémon Center Kyoto ? デモ版では、Unity上で本アプリのコンセプトである、 京都市の街内で道案内の会話選択を体験できます。 「道に迷いました。 ポケモンセンターキョウトはどこですか」と 聞かれます。 選択肢を選ぶと、 その道順に沿ってPLATEAUの京都市を街並みを 移動して、正解か不正解かを確認できます。
10. KYOTO PLATEAU HACK 2024 使用方法・デモ解説② 画面遷移 Kyoto 道案内 トレーナー 正解です 不正解です 道案内の選択をする 画面 正解を表示 不正解を表示 選択したルートを表示する 画面
11. KYOTO PLATEAU HACK 2024 システム構成・技術スタックなど Unityのタイムラインでカメラ移動を実現しています。
12. KYOTO PLATEAU HACK 2024 その他工夫した点、アピールポイント追加 Unityは、初挑戦です！ 最後にデモ実演をさせていただいて、 この発表を終了させていただきます。