Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MGDSS:慣性式モーションキャプチャを用いたジェスチャによるドローンの操作 / ec75-y...
Search
yumulab
March 18, 2025
Research
0
56
MGDSS:慣性式モーションキャプチャを用いたジェスチャによるドローンの操作 / ec75-yamauchi
2025年3月18日(火)の情報処理学会エンタテインメントコンピューティング(EC)研究発表会 発表スライド
yumulab
March 18, 2025
Tweet
Share
More Decks by yumulab
See All by yumulab
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
140
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
1
160
チャッドローン:LLMによる画像認識を用いた自律型ドローンシステムの開発と実験 / ec75-morisaki
yumulab
1
160
NOVVS:北海道情報大学図書館における滞在人数可視化システムの開発と検証 / i2025-minami
yumulab
0
31
CHaserWeb:ブラウザ上で動作する対戦型プログラミング学習環境の提案と評価 / i2025-inoue
yumulab
0
68
CARMUI-NET:自動運転車遠隔監視のためのバーチャル都市プラットフォームにおける通信品質変動機能の開発と評価 / UBI85
yumulab
0
160
待機電力を削減したネットワーク更新型電子ペーパーサイネージの研究開発 / UBISympo2025
yumulab
0
66
デジタルファブリケーションの未来を北海道・札幌から考える / SIAF School 2025
yumulab
0
70
入浴時に映像が投影される一人用足湯システムの開発と運用 / ipsjhokkaido2024
yumulab
0
99
Other Decks in Research
See All in Research
請求書仕分け自動化での物体検知モデル活用 / Utilization of Object Detection Models in Automated Invoice Sorting
sansan_randd
0
160
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
haraduka
0
570
定性データ、どう活かす? 〜定性データのための分析基盤、はじめました〜 / How to utilize qualitative data? ~We have launched an analysis platform for qualitative data~
kaminashi
6
840
SI-D案内資料_京都文教大学
ryojitakeuchi1116
0
1.1k
コーパスを丸呑みしたモデルから言語の何がわかるか
eumesy
PRO
11
3.5k
GeoCLIP: Clip-Inspired Alignment between Locations and Images for Effective Worldwide Geo-localization
satai
3
120
A Segment Anything Model based weakly supervised learning method for crop mapping using Sentinel-2 time series images
satai
3
290
LLM-as-a-Judge: 文章をLLMで評価する@教育機関DXシンポ
k141303
3
670
Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications
satai
3
330
VAGeo: View-specific Attention for Cross-View Object Geo-Localization
satai
3
210
Self-supervised audiovisual representation learning for remote sensing data
satai
3
120
90 分で学ぶ P 対 NP 問題
e869120
15
6.6k
Featured
See All Featured
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
178
53k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
670
It's Worth the Effort
3n
184
28k
Rails Girls Zürich Keynote
gr2m
94
13k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Facilitating Awesome Meetings
lara
54
6.3k
Raft: Consensus for Rubyists
vanstee
137
6.9k
Scaling GitHub
holman
459
140k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
12k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.6k
GitHub's CSS Performance
jonrohan
1030
460k
Transcript
MGDSS:慣性式モーションキャプチャを用いた ジェスチャによるドローンの操作 山内 瀬智,湯村 翼 北海道情報大学 第75回情報処理学会エンタテインメントコンピューティング研究会 2025.03.18 @京都大学
はじめに | 背景 ・近年、エンタメ・ビジネスでドローンが使用 ・エンタメ:音楽PV、ライトアップショー ・ビジネス:配達業、農業、災害救助 ・ドローン操縦の際、コントローラを持つことによって 手がふさがってしまう ・両手を塞がずにドローンを操作できれば、作業効率向 上や活用の幅が広がる
2 農業用ドローン https://agri.mynavi.jp/2022_09_29 _203417/ ドローンによるライトアップショー https://agri.mynavi.jp/2022_09_29_2 03417/
はじめに | 関連研究 ・吉田ら(2012),ジェスチャ操作型飛行ロボットによる身体性の拡張[1] ・ Kinectと呼ばれる設置型センサを用いて全身の骨格情報を取得 ・上田(2022),装着型センサによるドローン操作システム[2] ・microbitやマイコンボードを手の甲に装着 ・フィンガーサインでドローンを操縦してみた![3] ・
カメラからMediaPipeを使用して手の動きを取得 [1] https://www.interaction-ipsj.org/archives/paper2012/data/Interaction2012/interactive/data/pdf/1EXB-45.pdf [2] https://koara.lib.keio.ac.jp/xoonips/modules/xoonips/download.php/KO40002001-00002021-0025.pdf?file_id=166119 [3] https://drone.hachi-suke.com/2022/09/30/key-88/ 3 [1] [2] [3]
はじめに | 目的 ・ジェスチャによってドローンを操作する先行研究はあるが ・設置型センサ → 操縦者の移動範囲に制限がある ・自作の装着型機器 → 不意の破損時に交換不可
・カメラ → 強い環境光下や暗闇で使用が困難 4 汎用的な慣性式モーションキャプチャ装置でドローンを 操作するシステム MGDSS を開発
MGDSS 5
MGDSS ・慣性センサにmocopiを使用 ・mocopiとドローンの接続 →unityを介して接続 ・unity内でジェスチャを判定してドローンへ命令 →Pythonへの変換が必要 モーションデータ送信 Pythonに変換 命令を送信 特定のモーションを判定
6
mocopi ・SONY社製 ・6つの慣性センサを装着することで モーションキャプチャを行える機材 ・専用アプリを使用してスマホに接続 (アプリ経由で他媒体での接続も可能) https://www.sony.jp/mocopi/ 7
Tello ・Ryze Tech社製 ・遠隔で操作できる小型の無人航空機 ・研究では「Tello(テロー)」を使用 ・ WebAPIでの操作 ・小型 ・カメラ撮影が可能 https://www.ryzerobotics.com/jp/tello
8
設計 9 ・mocopi センサー 身体に装着 ・mocopi モバイルアプリ データを元にキャラを表示 Bluetooth OSC
・Unity ジェスチャの判定 PC ・Python ドローンの制御用 OSC HTTP ・TELLO Pythonからの命令で動作
ジェスチャの判定 ・mocopiの動作と連動する、Unity内の3Dモデルからマッスル値を計測 ・マッスル値:3Dモデルの腕や足などの位置を数値化したもの ・特定のジェスチャからあらかじめマッスル値を計測 同じマッスル値=同じジェスチャの時に判定 10 離陸のジェスチャ マッスル値 肩の上下:0.6~1.2 腕の前後:-0.8~0
mocopiの装着位置 ・全身をトラッキングする場合、肘、膝のトラッキング精度が低い。 ・トラッキングとマッスル値の精度を考慮し、足のセンサを上腕につける、 「上半身集中」を使用。 11 全身トラッキング 上半身集中
ジェスチャ操作 ・7種類のジェスチャを実装 12 離陸 着陸 前進 右回転 左回転 右移動 左移動
評価実験 13
評価実験 概要 ・MGDSSシステムの有用性を調べるために コントローラ操作との比較実験を行った ・被験者:6人 ・場所:北海道情報大学 Gスタジオ ・被験者には、ジェスチャ操作とコントローラで同様の目的地まで ドローンを操作してもらい、アンケートを実施 14
評価実験 概要 15 アンケート Q1 ドローンの制御とジェスチャの対応は自然だったか。 Q2 操作方法の理解は容易だったか。 Q3 繰り返し操作することで、操作が簡単に感じらたか。
Q4 動かしたい方向にドローンを動かせたか。 Q5 動かしたい位置にドローンを動かせたか。 Q6 動かしたいタイミングでドローンを動かせたか。 Q7 安心してドローンを操作できたか。 Q8 コントローラ操作と比べて、ジェスチャ操作は簡単だったか。 Q9 改善点 Q10 気づいたこと
アンケート結果 16 ・ジェスチャでの操作性 ・「そう思う」、「ややそう思う」が66%以上で概ね好評
アンケート結果 17 ・ジェスチャ操作での安心感 ・ジェスチャが反応しずらいことがあったため、「そう思わない」と 回答があったと考えられる
アンケート結果 18 ・コントローラ操作との比較 ・それぞれの操作に別々の欠点があり、「そう思う」「ややそう思う」と 「どちらとも言えない」「あまりそう思わない」に分かれた。
アンケート結果 ・改善点 ・ジェスチャーの許容範囲が狭いと感じた。 ・ジェスチャーを行っても反応せず、腕の向きを微調整して 反応する場面があり、ストレスに感じた。 ・正面がどっちなのかわからない時があった。 ・腕が疲れる ・手の伸ばし具合などでスピードが変わると、より直感的だと 感じた。 19
アンケート結果 ・気づいたこと ・機械操作に慣れているので、コントローラーの方が若干操作しやす かった。 ・ジェスチャはコントローラーより微調整がしやすかった。 ・コントローラー操作では予期せぬ動きをしてしまったりしてしまい、 危険とも感じてしまった。 ・ジェスチャー操作では直感的な操作が可能であり、操作のしやすさ を感じた。 ・ジェスチャー操作では一度の移動量が少なく、操作のしやすさを
手助けしていると同時に遅さを感じた。 ・センサの接続設定に煩わしさを感じた。 20
実験結果 ・判定する腕の向き設定と、センサの精度によってジェスチャが 判定されずらいことがあり、操作感にブレが生じた。 ・操作性を考慮し、ドローンを低速に設定した結果、微調整を しやすくなった。しかし、移動操作中は鈍さを感じ、 操作時間が伸びることで腕が疲労することが分かった。 ・mocopiやドローンの接続設定に時間がかかり、被験者に 煩わしさを感じさせてしまった。 21
課題 ・ジェスチャの判定精度を向上させる必要がある。 ・ドローンの移動速度を、ジェスチャ操作に適した速度に設定する 必要がある。 ・機器が多く、接続にも時間がかかるため、屋外での使用が難しい。 そのため、接続機器を絞る必要がある。 22
まとめ ・慣性式モーションキャプチャを用いてドローンのジェス チャ操作を行うシステムMGDSSを提案 ・mocopiとTelloを用いてシステムを実装 ・評価実験 ・ジェスチャでの操作感は概ね好評 ・ジェスチャの判定がされずらい場合があった ・操作時間や機器の接続時間に煩わしさがあった ・課題 ・ジェスチャの判定精度の向上
・屋外使用、設定時間短縮のための使用機器削減 23