Share
Embed
Transcript
30 slides
-
3 モチベーション ・何かを学ぶ時、よく教科書を使って勉強する → 電子書籍は便利、検索したり写真を簡単に撮ったりできる → 古い書籍では電子化されていないものもある → 紙の質感が好ましい ・紙の質感が好ましいとは?
→ ページを進める(= 学習を進める)ことが触覚的に伝わり モチベーションを維持しやすい → 直接本に書き込んだり付箋を貼り付けたりすることができる → 本を実際に手に取ることで学習意欲を高めることができる -
5 先行研究 ・これまでにはGrassetらによりARによって本にアニメーションを加える試み [1] がされている。また、Rajaram らによりプリントに動画やシミュレーショ ンを付与し、タブレットを通してその内容を確認する試み[2]もされている。 [1]: R. Grasset,
A. Duenser, H. Seichter and M. Billinghurst, ``The mixed reality book: a new multimedia reading experience", CHI '07 Extended Abstracts on Human Factors in Computing Systems, pp.1953–1958, 2007 [2]: S. Rajaram and M. Nebeling, ``Paper Trail: An Immersive Authoring System for Augmented Reality Instructional Experiences", Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems, no.382, pp.16, 2022 -
6 先行研究 ・これまでにはGrassetらによりARによって本にアニメーションを加える試み [1] がされている。また、Rajaram らによりプリントに動画やシミュレーショ ンを付与し、タブレットを通してその内容を確認する試み[2]もされている。 ・これらは予め作成したコンテンツを表示させるものであり、読書中にユーザが 情報を入力して、システムがさらに関連情報を提示するようなインタラクティブ 性を持つものではない。
[1]: R. Grasset, A. Duenser, H. Seichter and M. Billinghurst, ``The mixed reality book: a new multimedia reading experience", CHI '07 Extended Abstracts on Human Factors in Computing Systems, pp.1953–1958, 2007 [2]: S. Rajaram and M. Nebeling, ``Paper Trail: An Immersive Authoring System for Augmented Reality Instructional Experiences", Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems, no.382, pp.16, 2022 -
8 実験機材 ・ロジクール Webカメラ C922n ・普通のカメラ ・解像度: 1920x1080 ・30FPS ・これを頭にバンドを使って装着する
Amazonで買ったバンド カメラを取り付けて 頭に装着する -
9 技術構成 クライアント XReal Air (ARグラス) Websocketサーバを 公開する トンネリング Realsense
(深度カメラ) YOLO v8 本の検出 ファインチューニング ページ識別 ジェスチャ認識 サーバー Python (実装言語) クライアントが リクエストを送る -
17 ページ識別の課題 ・特徴点のみを信頼してページ識別をしているので 同一の書籍では偶然上手く区別できただけかもしれない → ページごとの特徴の差がない本の場合は? → 古典的な画像処理では限界があるかもしれない、文字認識を導入したり 画像鮮明化によって画像を比較すると良いのかも ・深度に一定の閾値を設けて画像を抽出しているだけ
→ 後述するように本の座標をリアルタイムに追跡できるようになったので それと組み合わせて抽出する深度を決定すれば良いかも -
25 テキスト追従の課題 ・認識精度はまだ完璧ではない → データ拡張によって精度を向上させられるかも? ・座標しか認識できない → できれば同じモデルで本の種類も区別できると良い ・本ではない物を本であると認識しやすい →
破局的忘却が起こっている? → 継続学習を利用してみる -
28 感想 ・物体認識型のAR開発はかなりお金が掛かる → 廉価なデバイスを利用するとかなり制約がある → 一方十分な機能を備えたデバイスは40〜50万する ・バージョン管理は絶対やった方がいい → アイディアを思いついて実装して取りやめてのサイクルが何度も回って
ソースコードや実験結果をかなり消失してしまった → 特に実験結果が追跡から外していたので全滅 記録を残す -
29 展望 ・XRealユーザが利用可能な形でアプリケーションを公開する → 現状では深度カメラなどを要求するため異なるデバイス(Quest3, XReal Air2 Ultraなど?)を試していきたい ・来年のWISSに出す →
引き続き実装を継続して、クライアントで問題なく表示できるようにする → 先述した被験者実験を行う -
30 まとめ ・XReal Airにカメラを組み合わせて連携させるための実装を行った ・背景除去と総当たりマッチングによってページ識別を実装した ・今後はより妥当な判定方法がないかどうかを検討して比較したい ・YOLOのファインチューニングによってテキストの追従を実装した ・今後はデータ拡張や継続学習の導入によって精度を向上させたい ・ジェスチャー認識によってメモの切り替えやマーカーなどの、電子書籍機能の プロトタイプを作成した
・被験者実験の検討・計画を行った ・謝辞 ・本研究を進めるにあたり、 アドバイザ教員の志築文太郎先生にご指導いただきました ・ARE予算でIntel Realsenseを購入させていただきました