SSII2026 [OS3-1] 視覚障害者のMap-less Navigation System 実現のための協調インタラクション

Transcript

1. 視覚障害者のMap-less Navigation System 実現のための協調インタラクション 2026.6.12 栗林雅希（早稲田大学） 1
2. Masaki Kuribayashi / 栗林雅希 経歴 • 2026.4-Current. • 2026.5-Current. • 2024.8-2026.3 • 2023.4-2026.3 @Woven by Toyota @早稲田大学 @日本科学未来館 @早稲田大学 専門 • HCI - アクセシビリティ（視覚障害者支援） テーマ • 視覚障害者案内システム（ロボット・スマホ・VR） • Vision and Language Navigation HCI Researcher 招聘研究員 非常勤研究員 博士課程学生 2 Web: https://www.masakikuribayashi.com/
3. 視覚障害者が単独歩行時に直面する課題 モビリティ • 白杖を用いても衝突は発生する • 当事者および環境へのダメージ 3 オリエンテーション • 慣れている場所でも自己位置の 定位は困難かつ高認知不可 • 曲がり角を逃し迷子になる事も ? Destination 空間把握 • メンタルマップ構築やその場を 楽しむために必要 • オリエンテーションの補強になる ? ?
4. 4 https://www.youtube.com/watch?v=gY9eELNAefI より引用 Video
5. 5 多くの案内システムは特定の場所でしか使えない 経路地図 LiDAR地図 インフラ
6. Map-less Navigation System Smartphone System Robotic System 様々な場所で使用可能な システムを実現するために 事前準備した地図やインフラなし という条件の元システムを開発 6 VLN Agent Today‘s Presentation Today‘s Presentation
7. 人の判断力とセンシングの相互活用が必要である 7 課題：地図なしという設定ではシステムは方向の判断等ができない 盲導犬を模倣した協調インタラクション 盲導犬がモビリティを担い ユーザを指示・判断をする[1] 人の意思決定を支えるセンシング どんな情報をセンシングし、 どう伝えるべきなのか？ [1] Hwang et al., “Towards Robotic Companions: Understanding Handler-Guide Dog Interactions for Informed Guide Dog Robot Design,” CHI2024 Go straight. Turn right. Can go right and forward! There is a sign saying...
8. 8 PathFinder: Designing a Map-less Navigation System for Blind People in Unfamiliar Buildings Masaki Kuribayashi1, Tatsuya Ishihara2, Daisuke Sato3, Jayakorn Vonkulhbisal2, Karnik Ram3, Seita Kayukawa1, Hironobu Takagi2, Shigeo Morishima1, Chieko Asakawa3,4 1Waseda University, 2IBM Research - Tokyo, 3Carnegie Mellon University, 4IBM Research 8
9. ユーザにとって不慣れな建物において、晴眼者の説明した 経路を元に目的地までの到達を補助するシステム 9 PathFinder Video
10. PathFinderの機能とインタフェース 看板の読み上げ[2] 後ろボタンを押すと看板に 書かれていることを読み上げる 交差点検出[1] 前ボタンを押して次の交差点まで行き， 左右のボタンで曲がる方向を指定する [1] Yang et al., “Graph-based topological exploration planning in large-scale 3d environment” [2] Kuribayashi et al., “Textual and Directional Sign Recognition Algorithm for People with Visual Impairment by Linking Texts and Arrows” 10 Video Video
11. 5名の当事者とのデザインを通した人間中心的な工夫点 建物の入り口まで戻る機能 交差点で曲がる時に 看板の情報も紐付ける カフェテリアの方向に 曲がります． 入り口まで戻って. 建物の入り口 建物の入り口 11
12. 7名の視覚障害者を対象にToplineと提案手法の比較実験 Topline System: AIスーツケース 事前準備した地図ありのシステム 提案手法: PathFinder 事前準備した地図なしのシステム 12 Video Video
13. 13 PathFinderのタスク成功率は71% 前に進むべきな 気がする． Correct path Chosen path 失敗: 実験者が、参加者が道に迷うなどのそぶりを示して実験に介入した 4回曲がり角で間違った 方向に曲がってしまった
14. Confidence & Cognitive Load 14 More Confidence Regular aids (Canes and dogs) PathFinder p < 0.05* AI Suitcase p < 0.05* *Used Wilcoxon Signed Rank test for statical analysis 「どこでも使える」という特性は全員から評価された一方で PathFinderのユーザビリティにはまだ改善の余地がある Less Cognitive Load 1 2 3 4 5 6 7 Regular aids (Canes and dogs) PathFinder Strongly Agree Strongly Disagree p < 0.05* AI Suitcase p < 0.05* Neutral
15. PathFinder使用シナリオにおけるシステムによる進路の判断 15 VLNモデルは視覚障害者の代わりにいくべき方向の判断をするために使用可能では? まずはここをまっすぐ 行って，突き当たりを… どうやって食堂まで行くの？ 案内します！
16. 16 Memory-Maze: Scenario Driven Visual Language Navigation Benchmark for Guiding Blind People Masaki Kuribayashi*1, Kohei Uehara*2, Allan Wang2, Daisuke Sato3, Renato Ribero2, Simon Chu3, Shigeo Morishima1 *Equal Contribution 1Waseda University, 2Miraikan - The National Museum of Emerging Science and Innovation 3Canegie Mellon University *RA-L paper presented at ICRA2026
17. 既存のVLNベンチマークをそのまま適用するのは困難 環境の違い 指示方法の違い 既存シナリオ[1] R2Rの豪邸など 目的シナリオ 公共空間 既存シナリオ[1] AMT等を用いた アノテーション 目的シナリオ 実地で説明 17 [1] Anderson et al, “Vision-and-language Navigation: Interpreting Visually-grounded Navigation Instructions in Real Environments,” CVPR2018
18. Memory-Maze Benchmark 18 公共空間の仮想環境と実地でユーザ実験を通じて取得され た記憶ベースの経路案内を含むベンチマーク Video
19. 実地とオンライン実験を通じた経路指示の収集 19 実地実験 Memory-based Instructions 記憶を基に目的地までの行き方を収集 合計で252の経路説明を取得 オンライン実験 Observation-based Instructions 経路を動画見ながら行き方を説明 合計で312の経路説明を取得 First, turn left and go… Describe the route to the destination. まずはここをまっすぐ 行って，突き当たりを… どうやって食堂まで行くの？
20. 実地とオンライン実験で得た経路説明の違い@CMU 20 “So go straight for 20 meters and turn left. And then turn left. There will be a hall connecting Scott Hall and this is... Wait, this is... Newell Simon Hall.[…] If you turn right, there is a small... You can cross it, but it's probably like one to two meters opening there. […] And then cross that hall. And then I think you can just go straight downstairs, probably like 10 steps, and then you will be there, the cafe.” Memory-based Instructions 92.17 Words (x1.15) 33.76% Errors (x4.19) 30.17% Alt. Routes “Go a little way down this road, then continue straight after turning left. Along the way, you will pass through a path lined with glass on both sides. After that, turn right at the dead end and follow the road, then turn right again before the stairs. Continue straight to reach your destination.” Observation-based Instructions 80.35 Words 8.06% Errors
21. LLM-Based VLN Model 21 追加学習をしない 様々な場所で使ってもらう事を目的として特定環境に特化させず基盤モデルを用いる 低Latency 逐次的な推論だと動的な障害物に対処できない可能性がある レイテンシを抑えるめOpen-loopな機構を採用し、ロボットの既存APIを使用
22. 人・システムの意思決定の相互補助のためのセンシングの必要性 22 Methods Success Rate (↑) Coverage weighted by Length Score (↑) NavGPT[1] 0% 5% NaVid[2] 0% 2% Proposed 8% 44% [3] Chi et al, “Just Ask: An Interactive Learning Framework for Vision and Language Navigation,” AAAI2020 Correct path 確かに ここは右では ないでしょうか Future Work: 相互補助的な意思決定 • モデルがユーザの判断を確認 • ユーザがモデルを補助[1] VLNモデル評価結果 (当時のVLNモデルが)記憶に基づいた 経路説明に対処するのは困難 [1] Zhou et al, “Navgpt: Explicit Reasoning in Vision-and-language Navigation with Large Language Models,” AAAI2024 [2] Zhang et al,“NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation,” RSS2024
23. AIの台頭により案内から探索への拡張が可能に • 探索は案内しながら周囲を説明することを同時にする必要がある • 探索のための「楽しむ」ためのセンシングの必要性 • 探索を支えるためのセンシング/伝達方法は何か? PathFinder/Memory-Maze 案内システム 23 WanderGuide 探索システム
24. WanderGuide: Indoor Map-less Robotic Guide for Exploration by Blind People Masaki Kuribayashi1,2, Kohei Uehara2, Allan Wang2, Shigeo Morishima1, Chieko Asakawa2 1 : Waseda University 2: Miraikan - The National Museum of Emerging Science and Innovation 24
25. 25 Video
26. 一度行った場所まで再度連れて行く機能 26 Video
27. 10名の当事者とのデザインを通した人間中心的な工夫点 27 様々な詳細度での情報伝達 全盲歴・目的に応じて簡潔、中間、詳細 の三種類の好みが見られた 好みに基づいた情報選択 目的・個性/場所によって必要 とする情報は異なる 景色まで楽しみたいユーザ 壁の模様、光の差し込みなど 場所による差異 科学館: 触れる展示かどうか 商業施設: お店の系統・盲導犬の座る場所 目的を達成したいユーザ 文字情報を中心とした情報 日本科学未来館および虎ノ門ヒルズにおいてデザインセッションを実施
28. 5名の当事者を対象とした本実験を通じて有効性を確認 28 “[...] もうまさに欲しいのはこれなんですよ。なんか行きたいところにしか 行けないんじなくて[...] 、（このシステムを使って）例えばショッピングモー ルに今日は行って、なんか全部回ってみたいなみたいなとか、その時気 分で気ままに動けることが自由だと思ってるんです。” Video
29. 探索体験向上のためのセンシングの必要性 29 音情報も含めたセンシング 科学館では非日常的な 音が聞こえてくる 3D情報を考慮した情報伝達 対象物について最も良く説明できる 時を検出し情報を伝達する System Usability Scale (SUS) は平均80.5であり良好だが，改善の余地がある ケ パ 〜 https://www.miraikan.jst.go.jp/exhibitions/future/hellorobots/keparan/ より引用
30. 視覚障害者案内ロボットのためのセンシング Map-less Navigation System • ユーザとシステムが協調する事で地図がない場所での移動・探索を支援 • デザインプロセスを通じてユーザのためのセンシング/インタラクションを検討 人のためのセンシングの課題 • エンドユーザの特性・ニーズや支援シナリオを理解できているか？ • 必要な情報をセンシングして必要な形式で伝達できるか？ • 主体感(Agency) のバランスを検討できているか？ • どうユーザ/システムの間違いを修正するか？ 30