Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MGDSS:慣性式モーションキャプチャを用いたジェスチャによるドローンの操作 / ec75-y...
Search
yumulab
March 18, 2025
Research
0
37
MGDSS:慣性式モーションキャプチャを用いたジェスチャによるドローンの操作 / ec75-yamauchi
2025年3月18日(火)の情報処理学会エンタテインメントコンピューティング(EC)研究発表会 発表スライド
yumulab
March 18, 2025
Tweet
Share
More Decks by yumulab
See All by yumulab
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
44
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
0
72
チャッドローン:LLMによる画像認識を用いた自律型ドローンシステムの開発と実験 / ec75-morisaki
yumulab
1
41
NOVVS:北海道情報大学図書館における滞在人数可視化システムの開発と検証 / i2025-minami
yumulab
0
15
CHaserWeb:ブラウザ上で動作する対戦型プログラミング学習環境の提案と評価 / i2025-inoue
yumulab
0
53
CARMUI-NET:自動運転車遠隔監視のためのバーチャル都市プラットフォームにおける通信品質変動機能の開発と評価 / UBI85
yumulab
0
110
待機電力を削減したネットワーク更新型電子ペーパーサイネージの研究開発 / UBISympo2025
yumulab
0
62
デジタルファブリケーションの未来を北海道・札幌から考える / SIAF School 2025
yumulab
0
69
入浴時に映像が投影される一人用足湯システムの開発と運用 / ipsjhokkaido2024
yumulab
0
88
Other Decks in Research
See All in Research
リモートワークにおけるパッシブ疲労
matsumoto_r
PRO
6
5k
言語モデルの内部機序:解析と解釈
eumesy
PRO
32
13k
Segment Any Change
satai
3
270
DeepSeek を利用する上でのリスクと安全性の考え方
schroneko
3
1.2k
Collaborative Development of Foundation Models at Japanese Academia
odashi
2
470
AWS 音声基盤モデル トーク解析AI MiiTelの音声処理について
ken57
0
170
Weekly AI Agents News! 11月号 プロダクト/ニュースのアーカイブ
masatoto
0
320
資産間の相関関係を頑健に評価する指標を用いたファクターアローケーション戦略の構築
nomamist
0
170
BtoB プロダクトにおけるインサイトマネジメントの必要性 現場ドリブンなカミナシがインサイトマネジメントに取り組むワケ / Why field-driven Kaminashi is working on insight management
kaminashi
1
360
Poster: Feasibility of Runtime-Neutral Wasm Instrumentation for Edge-Cloud Workload Handover
chikuwait
0
430
Pix2Poly: A Sequence Prediction Method for End-to-end Polygonal Building Footprint Extraction from Remote Sensing Imagery
satai
3
120
JSAI NeurIPS 2024 参加報告会(AI アライメント)
akifumi_wachi
5
920
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Documentation Writing (for coders)
carmenintech
69
4.7k
Into the Great Unknown - MozCon
thekraken
35
1.7k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.3k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
102
18k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Facilitating Awesome Meetings
lara
53
6.3k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
366
25k
4 Signs Your Business is Dying
shpigford
183
22k
Code Reviewing Like a Champion
maltzj
521
39k
Transcript
MGDSS:慣性式モーションキャプチャを用いた ジェスチャによるドローンの操作 山内 瀬智,湯村 翼 北海道情報大学 第75回情報処理学会エンタテインメントコンピューティング研究会 2025.03.18 @京都大学
はじめに | 背景 ・近年、エンタメ・ビジネスでドローンが使用 ・エンタメ:音楽PV、ライトアップショー ・ビジネス:配達業、農業、災害救助 ・ドローン操縦の際、コントローラを持つことによって 手がふさがってしまう ・両手を塞がずにドローンを操作できれば、作業効率向 上や活用の幅が広がる
2 農業用ドローン https://agri.mynavi.jp/2022_09_29 _203417/ ドローンによるライトアップショー https://agri.mynavi.jp/2022_09_29_2 03417/
はじめに | 関連研究 ・吉田ら(2012),ジェスチャ操作型飛行ロボットによる身体性の拡張[1] ・ Kinectと呼ばれる設置型センサを用いて全身の骨格情報を取得 ・上田(2022),装着型センサによるドローン操作システム[2] ・microbitやマイコンボードを手の甲に装着 ・フィンガーサインでドローンを操縦してみた![3] ・
カメラからMediaPipeを使用して手の動きを取得 [1] https://www.interaction-ipsj.org/archives/paper2012/data/Interaction2012/interactive/data/pdf/1EXB-45.pdf [2] https://koara.lib.keio.ac.jp/xoonips/modules/xoonips/download.php/KO40002001-00002021-0025.pdf?file_id=166119 [3] https://drone.hachi-suke.com/2022/09/30/key-88/ 3 [1] [2] [3]
はじめに | 目的 ・ジェスチャによってドローンを操作する先行研究はあるが ・設置型センサ → 操縦者の移動範囲に制限がある ・自作の装着型機器 → 不意の破損時に交換不可
・カメラ → 強い環境光下や暗闇で使用が困難 4 汎用的な慣性式モーションキャプチャ装置でドローンを 操作するシステム MGDSS を開発
MGDSS 5
MGDSS ・慣性センサにmocopiを使用 ・mocopiとドローンの接続 →unityを介して接続 ・unity内でジェスチャを判定してドローンへ命令 →Pythonへの変換が必要 モーションデータ送信 Pythonに変換 命令を送信 特定のモーションを判定
6
mocopi ・SONY社製 ・6つの慣性センサを装着することで モーションキャプチャを行える機材 ・専用アプリを使用してスマホに接続 (アプリ経由で他媒体での接続も可能) https://www.sony.jp/mocopi/ 7
Tello ・Ryze Tech社製 ・遠隔で操作できる小型の無人航空機 ・研究では「Tello(テロー)」を使用 ・ WebAPIでの操作 ・小型 ・カメラ撮影が可能 https://www.ryzerobotics.com/jp/tello
8
設計 9 ・mocopi センサー 身体に装着 ・mocopi モバイルアプリ データを元にキャラを表示 Bluetooth OSC
・Unity ジェスチャの判定 PC ・Python ドローンの制御用 OSC HTTP ・TELLO Pythonからの命令で動作
ジェスチャの判定 ・mocopiの動作と連動する、Unity内の3Dモデルからマッスル値を計測 ・マッスル値:3Dモデルの腕や足などの位置を数値化したもの ・特定のジェスチャからあらかじめマッスル値を計測 同じマッスル値=同じジェスチャの時に判定 10 離陸のジェスチャ マッスル値 肩の上下:0.6~1.2 腕の前後:-0.8~0
mocopiの装着位置 ・全身をトラッキングする場合、肘、膝のトラッキング精度が低い。 ・トラッキングとマッスル値の精度を考慮し、足のセンサを上腕につける、 「上半身集中」を使用。 11 全身トラッキング 上半身集中
ジェスチャ操作 ・7種類のジェスチャを実装 12 離陸 着陸 前進 右回転 左回転 右移動 左移動
評価実験 13
評価実験 概要 ・MGDSSシステムの有用性を調べるために コントローラ操作との比較実験を行った ・被験者:6人 ・場所:北海道情報大学 Gスタジオ ・被験者には、ジェスチャ操作とコントローラで同様の目的地まで ドローンを操作してもらい、アンケートを実施 14
評価実験 概要 15 アンケート Q1 ドローンの制御とジェスチャの対応は自然だったか。 Q2 操作方法の理解は容易だったか。 Q3 繰り返し操作することで、操作が簡単に感じらたか。
Q4 動かしたい方向にドローンを動かせたか。 Q5 動かしたい位置にドローンを動かせたか。 Q6 動かしたいタイミングでドローンを動かせたか。 Q7 安心してドローンを操作できたか。 Q8 コントローラ操作と比べて、ジェスチャ操作は簡単だったか。 Q9 改善点 Q10 気づいたこと
アンケート結果 16 ・ジェスチャでの操作性 ・「そう思う」、「ややそう思う」が66%以上で概ね好評
アンケート結果 17 ・ジェスチャ操作での安心感 ・ジェスチャが反応しずらいことがあったため、「そう思わない」と 回答があったと考えられる
アンケート結果 18 ・コントローラ操作との比較 ・それぞれの操作に別々の欠点があり、「そう思う」「ややそう思う」と 「どちらとも言えない」「あまりそう思わない」に分かれた。
アンケート結果 ・改善点 ・ジェスチャーの許容範囲が狭いと感じた。 ・ジェスチャーを行っても反応せず、腕の向きを微調整して 反応する場面があり、ストレスに感じた。 ・正面がどっちなのかわからない時があった。 ・腕が疲れる ・手の伸ばし具合などでスピードが変わると、より直感的だと 感じた。 19
アンケート結果 ・気づいたこと ・機械操作に慣れているので、コントローラーの方が若干操作しやす かった。 ・ジェスチャはコントローラーより微調整がしやすかった。 ・コントローラー操作では予期せぬ動きをしてしまったりしてしまい、 危険とも感じてしまった。 ・ジェスチャー操作では直感的な操作が可能であり、操作のしやすさ を感じた。 ・ジェスチャー操作では一度の移動量が少なく、操作のしやすさを
手助けしていると同時に遅さを感じた。 ・センサの接続設定に煩わしさを感じた。 20
実験結果 ・判定する腕の向き設定と、センサの精度によってジェスチャが 判定されずらいことがあり、操作感にブレが生じた。 ・操作性を考慮し、ドローンを低速に設定した結果、微調整を しやすくなった。しかし、移動操作中は鈍さを感じ、 操作時間が伸びることで腕が疲労することが分かった。 ・mocopiやドローンの接続設定に時間がかかり、被験者に 煩わしさを感じさせてしまった。 21
課題 ・ジェスチャの判定精度を向上させる必要がある。 ・ドローンの移動速度を、ジェスチャ操作に適した速度に設定する 必要がある。 ・機器が多く、接続にも時間がかかるため、屋外での使用が難しい。 そのため、接続機器を絞る必要がある。 22
まとめ ・慣性式モーションキャプチャを用いてドローンのジェス チャ操作を行うシステムMGDSSを提案 ・mocopiとTelloを用いてシステムを実装 ・評価実験 ・ジェスチャでの操作感は概ね好評 ・ジェスチャの判定がされずらい場合があった ・操作時間や機器の接続時間に煩わしさがあった ・課題 ・ジェスチャの判定精度の向上
・屋外使用、設定時間短縮のための使用機器削減 23