Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MGDSS:慣性式モーションキャプチャを用いたジェスチャによるドローンの操作 / ec75-y...
Search
yumulab
March 18, 2025
Research
0
56
MGDSS:慣性式モーションキャプチャを用いたジェスチャによるドローンの操作 / ec75-yamauchi
2025年3月18日(火)の情報処理学会エンタテインメントコンピューティング(EC)研究発表会 発表スライド
yumulab
March 18, 2025
Tweet
Share
More Decks by yumulab
See All by yumulab
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
100
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
1
150
チャッドローン:LLMによる画像認識を用いた自律型ドローンシステムの開発と実験 / ec75-morisaki
yumulab
1
140
NOVVS:北海道情報大学図書館における滞在人数可視化システムの開発と検証 / i2025-minami
yumulab
0
30
CHaserWeb:ブラウザ上で動作する対戦型プログラミング学習環境の提案と評価 / i2025-inoue
yumulab
0
68
CARMUI-NET:自動運転車遠隔監視のためのバーチャル都市プラットフォームにおける通信品質変動機能の開発と評価 / UBI85
yumulab
0
120
待機電力を削減したネットワーク更新型電子ペーパーサイネージの研究開発 / UBISympo2025
yumulab
0
64
デジタルファブリケーションの未来を北海道・札幌から考える / SIAF School 2025
yumulab
0
70
入浴時に映像が投影される一人用足湯システムの開発と運用 / ipsjhokkaido2024
yumulab
0
98
Other Decks in Research
See All in Research
言語モデルの内部機序:解析と解釈
eumesy
PRO
35
15k
rtrec@dbem6
myui
6
720
Sosiaalisen median katsaus 03/2025 + tekoäly
hponka
0
690
ナレッジプロデューサーとしてのミドルマネージャー支援 - MIMIGURI「知識創造室」の事例の考察 -
chiemitaki
0
270
インドネシアのQA事情を紹介するの
yujijs
0
180
RapidPen: AIエージェントによるペネトレーションテスト 初期侵入全自動化の研究
laysakura
0
320
IM2024
mamoruk
0
260
言語モデルによるAI創薬の進展 / Advancements in AI-Driven Drug Discovery Using Language Models
tsurubee
2
290
DPUを用いたマルチタスクDNN表情認識システムのFPGA実装
takuto_andtt
0
140
The Economics of Platforms 輪読会 第1章
tomonatu8
0
160
ラムダ計算の拡張に基づく 音楽プログラミング言語mimium とそのVMの実装
tomoyanonymous
0
440
한국어 오픈소스 거대 언어 모델의 가능성: 새로운 시대의 언어 이해와 생성
inureyes
PRO
0
300
Featured
See All Featured
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
47
2.5k
Embracing the Ebb and Flow
colly
85
4.6k
Automating Front-end Workflow
addyosmani
1369
200k
4 Signs Your Business is Dying
shpigford
183
22k
RailsConf 2023
tenderlove
30
1.1k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
The Cost Of JavaScript in 2023
addyosmani
49
7.7k
For a Future-Friendly Web
brad_frost
176
9.7k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
KATA
mclloyd
29
14k
Making Projects Easy
brettharned
116
6.1k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Transcript
MGDSS:慣性式モーションキャプチャを用いた ジェスチャによるドローンの操作 山内 瀬智,湯村 翼 北海道情報大学 第75回情報処理学会エンタテインメントコンピューティング研究会 2025.03.18 @京都大学
はじめに | 背景 ・近年、エンタメ・ビジネスでドローンが使用 ・エンタメ:音楽PV、ライトアップショー ・ビジネス:配達業、農業、災害救助 ・ドローン操縦の際、コントローラを持つことによって 手がふさがってしまう ・両手を塞がずにドローンを操作できれば、作業効率向 上や活用の幅が広がる
2 農業用ドローン https://agri.mynavi.jp/2022_09_29 _203417/ ドローンによるライトアップショー https://agri.mynavi.jp/2022_09_29_2 03417/
はじめに | 関連研究 ・吉田ら(2012),ジェスチャ操作型飛行ロボットによる身体性の拡張[1] ・ Kinectと呼ばれる設置型センサを用いて全身の骨格情報を取得 ・上田(2022),装着型センサによるドローン操作システム[2] ・microbitやマイコンボードを手の甲に装着 ・フィンガーサインでドローンを操縦してみた![3] ・
カメラからMediaPipeを使用して手の動きを取得 [1] https://www.interaction-ipsj.org/archives/paper2012/data/Interaction2012/interactive/data/pdf/1EXB-45.pdf [2] https://koara.lib.keio.ac.jp/xoonips/modules/xoonips/download.php/KO40002001-00002021-0025.pdf?file_id=166119 [3] https://drone.hachi-suke.com/2022/09/30/key-88/ 3 [1] [2] [3]
はじめに | 目的 ・ジェスチャによってドローンを操作する先行研究はあるが ・設置型センサ → 操縦者の移動範囲に制限がある ・自作の装着型機器 → 不意の破損時に交換不可
・カメラ → 強い環境光下や暗闇で使用が困難 4 汎用的な慣性式モーションキャプチャ装置でドローンを 操作するシステム MGDSS を開発
MGDSS 5
MGDSS ・慣性センサにmocopiを使用 ・mocopiとドローンの接続 →unityを介して接続 ・unity内でジェスチャを判定してドローンへ命令 →Pythonへの変換が必要 モーションデータ送信 Pythonに変換 命令を送信 特定のモーションを判定
6
mocopi ・SONY社製 ・6つの慣性センサを装着することで モーションキャプチャを行える機材 ・専用アプリを使用してスマホに接続 (アプリ経由で他媒体での接続も可能) https://www.sony.jp/mocopi/ 7
Tello ・Ryze Tech社製 ・遠隔で操作できる小型の無人航空機 ・研究では「Tello(テロー)」を使用 ・ WebAPIでの操作 ・小型 ・カメラ撮影が可能 https://www.ryzerobotics.com/jp/tello
8
設計 9 ・mocopi センサー 身体に装着 ・mocopi モバイルアプリ データを元にキャラを表示 Bluetooth OSC
・Unity ジェスチャの判定 PC ・Python ドローンの制御用 OSC HTTP ・TELLO Pythonからの命令で動作
ジェスチャの判定 ・mocopiの動作と連動する、Unity内の3Dモデルからマッスル値を計測 ・マッスル値:3Dモデルの腕や足などの位置を数値化したもの ・特定のジェスチャからあらかじめマッスル値を計測 同じマッスル値=同じジェスチャの時に判定 10 離陸のジェスチャ マッスル値 肩の上下:0.6~1.2 腕の前後:-0.8~0
mocopiの装着位置 ・全身をトラッキングする場合、肘、膝のトラッキング精度が低い。 ・トラッキングとマッスル値の精度を考慮し、足のセンサを上腕につける、 「上半身集中」を使用。 11 全身トラッキング 上半身集中
ジェスチャ操作 ・7種類のジェスチャを実装 12 離陸 着陸 前進 右回転 左回転 右移動 左移動
評価実験 13
評価実験 概要 ・MGDSSシステムの有用性を調べるために コントローラ操作との比較実験を行った ・被験者:6人 ・場所:北海道情報大学 Gスタジオ ・被験者には、ジェスチャ操作とコントローラで同様の目的地まで ドローンを操作してもらい、アンケートを実施 14
評価実験 概要 15 アンケート Q1 ドローンの制御とジェスチャの対応は自然だったか。 Q2 操作方法の理解は容易だったか。 Q3 繰り返し操作することで、操作が簡単に感じらたか。
Q4 動かしたい方向にドローンを動かせたか。 Q5 動かしたい位置にドローンを動かせたか。 Q6 動かしたいタイミングでドローンを動かせたか。 Q7 安心してドローンを操作できたか。 Q8 コントローラ操作と比べて、ジェスチャ操作は簡単だったか。 Q9 改善点 Q10 気づいたこと
アンケート結果 16 ・ジェスチャでの操作性 ・「そう思う」、「ややそう思う」が66%以上で概ね好評
アンケート結果 17 ・ジェスチャ操作での安心感 ・ジェスチャが反応しずらいことがあったため、「そう思わない」と 回答があったと考えられる
アンケート結果 18 ・コントローラ操作との比較 ・それぞれの操作に別々の欠点があり、「そう思う」「ややそう思う」と 「どちらとも言えない」「あまりそう思わない」に分かれた。
アンケート結果 ・改善点 ・ジェスチャーの許容範囲が狭いと感じた。 ・ジェスチャーを行っても反応せず、腕の向きを微調整して 反応する場面があり、ストレスに感じた。 ・正面がどっちなのかわからない時があった。 ・腕が疲れる ・手の伸ばし具合などでスピードが変わると、より直感的だと 感じた。 19
アンケート結果 ・気づいたこと ・機械操作に慣れているので、コントローラーの方が若干操作しやす かった。 ・ジェスチャはコントローラーより微調整がしやすかった。 ・コントローラー操作では予期せぬ動きをしてしまったりしてしまい、 危険とも感じてしまった。 ・ジェスチャー操作では直感的な操作が可能であり、操作のしやすさ を感じた。 ・ジェスチャー操作では一度の移動量が少なく、操作のしやすさを
手助けしていると同時に遅さを感じた。 ・センサの接続設定に煩わしさを感じた。 20
実験結果 ・判定する腕の向き設定と、センサの精度によってジェスチャが 判定されずらいことがあり、操作感にブレが生じた。 ・操作性を考慮し、ドローンを低速に設定した結果、微調整を しやすくなった。しかし、移動操作中は鈍さを感じ、 操作時間が伸びることで腕が疲労することが分かった。 ・mocopiやドローンの接続設定に時間がかかり、被験者に 煩わしさを感じさせてしまった。 21
課題 ・ジェスチャの判定精度を向上させる必要がある。 ・ドローンの移動速度を、ジェスチャ操作に適した速度に設定する 必要がある。 ・機器が多く、接続にも時間がかかるため、屋外での使用が難しい。 そのため、接続機器を絞る必要がある。 22
まとめ ・慣性式モーションキャプチャを用いてドローンのジェス チャ操作を行うシステムMGDSSを提案 ・mocopiとTelloを用いてシステムを実装 ・評価実験 ・ジェスチャでの操作感は概ね好評 ・ジェスチャの判定がされずらい場合があった ・操作時間や機器の接続時間に煩わしさがあった ・課題 ・ジェスチャの判定精度の向上
・屋外使用、設定時間短縮のための使用機器削減 23