Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
チャッドローン:LLMによる画像認識を用いた自律型ドローンシステムの開発と実験 / ec75-...
Search
北海道情報大学 湯村研究室
PRO
March 18, 2025
Research
1.7k
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
チャッドローン:LLMによる画像認識を用いた自律型ドローンシステムの開発と実験 / ec75-morisaki
2025年3月18日(火)の情報処理学会エンタテインメントコンピューティング(EC)研究発表会 発表スライド
北海道情報大学 湯村研究室
PRO
March 18, 2025
Transcript
15 slides
チャッドローン LLMによる画像認識を用いた 自律型ドローンシステムの開発と実験 森崎 一歩,湯村 翼 北海道情報大学
研究背景 2 • 災害、物流、エンタテインメントなどの様々な 分野でドローンが活用 • ドローンの有効活用には熟練した操縦士が必要 • 自律飛行に注目
研究背景 3 • 既存の自律飛行技術 • GNSS(GPS) → 屋内で使えない • 画像処理
→ 場所に応じた学習モデルが必要 大規模言語モデル(LLM)を用いたドローン自律飛行
関連研究 4 • 池山安杜里, 山内翔,鈴木恵二: 大規模言語モデルによるドローンの 広域景観撮影システムの提案 (2023) [1] •
自律飛行のウェイポイント(通過点)の設定にLLMを活用 • 屋内を対象としていない • Vemprala, S. H., Bonatti, R., Bucker, A. and Kapoor, A.: Chatgpt for robotics: Design principles and model abilities (2024) [2] • ロボティクス制御へのLLM適用に関する設計原則を提示 • 対話的な制御を想定
チャッドローン 5 • ドローンからLLMに画像+プロンプトを送信 • LLMからドローンに制御コマンドを送信 • これらの処理は、中継するコアプログラムが担う ドローン PC
LLM コアプログラム (Python) 撮影画像 撮影画像+プロンプト あなたには送ら れる画像を読み 取りある部屋内 を一周するのを サポートしても らいます. 以下の指示の TL 左に旋回 レスポンス 制御コマンド
チャッドローン 6 • RyzeTech社製のTelloを使用 • WebAPIで制御・画像取得が可能 • LLMにChatGPTを使用 • OpenAI
APIでアクセス • 画像認識が可能なGPT-4Vを利用 • コアプログラムをPythonで実装
プロンプト 7 • 矩形の部屋内の壁沿いを巡回するプロンプトを作成 • 以下のルールのもとでプロンプトを作成 • 冒頭に概要を記述 • 画像を読み取り,当てはまる状況を選択肢から選択して
返答する旨を記述 • 状況の選択肢を記述 • どの選択肢も当てはまらない場合の指示を記述 (Ver.2 に追加)
プロンプト 8 あなたには送られる画像を読み取りある部屋内を一周するのをサポートしてもらいます。 以下の指示の内画像の状況にあてはめ、丁度当てはまるものを選び答えを出力して下さ い 指示一:右側に壁や壁のようなもの(窓やドアでも可)がある状態で前方に 二メートル以上の空間がある場合はMと出力して下さい。 指示二:右側に壁や壁のようなもの(窓やドアでも可)がある状態で前方に 二メートル以上の空間がない場合はTLと出力して下さい プロンプト
Ver.1
プロンプト 9 あなたには送られる画像を読み取りある部屋内を一周するのをサポートしてもらいます。なので 以下の指示を画像の状況にあてはめ、丁度あてはあるものを選び答えを出力してください。 指示一:右側に壁や壁のようなもの(窓やカーテンやドアでも可)がある状態で前方に二メート ル以上の空間がある場合はMと出力してください。 指示二:右側に壁や壁のようなもの(窓やカーテンやドアでも可)がある状態で前方に三メート ル以上の空間がある場合はMMMと出力してください。 指示三:右側に壁や壁のようなもの(窓やカーテンやドアでも可)がある状態で前方に五メート ル以上の空間がある場合はMMと出力してください。
指示四:右側に壁や壁のようなもの(窓やカーテンやドアでも可)がある状態で前方に二メート ル以上の空間がない場合はTLと出力してください。 指示五:左右に壁や壁のようなもの(窓やカーテンやドアでも可)がなく前方に二メートル以上 の空間がある場合はMと出力してください。 指示六:左右に壁や壁のようなもの(窓やカーテンやドアでも可)がなく前方に五メートル以上 の空間がある場合はMMと出力してください。 指示七:左右に壁や壁のようなもの(窓やカーテンやドアでも可)がなく前方に二メートル以上 の空間がない場合はTLと出力してください。 また画像から判断できない場合はTLと出力してください プロンプト Ver.2
実証実験 10 • 予備実験および本実験を実施 • 本実験:大学内の小教室 • 4.7m × 10.1m
• 確認項目 1. ChatGPT が意図通りのレスポンスを作成するか 2. LLM によってドローンを自律飛行させることが可能か 3. ドローンを意図通りに動かすことが可能か 4. プロンプトの内容を変更することでふるまいがどのよう に変化するか
← 実行内容 ↑ドローンカメラ映像 11
実証実験 | 結果 12 1. ChatGPT が意図通りのレスポンスを作成するか → 2. LLM
によってドローンを自律飛行させることが可能か → 3. ドローンを意図通りに動かすことが可能か → 4. プロンプトの内容を変更することでふるまいがどのように変化 するか → 自律飛行にユーザの意図を反映
実証実験 | 結果 13 • Ver2では、より壁際を飛行するようにした • プロンプトを変えることにより、飛行の振る舞いが変化 • ユーザの意向を反映させた自律飛行が可能
課題 14 • 割り込み制御の仕組みの必要性 • 本研究では、撮影と制御コマンドを周期的に実行 • 急激な環境変化に対応できない • プロンプトの詳細化にともなう応答の遅延
• Ver.1と比べてVer.2のプロンプトでは応答時間が3倍以 上となる場合もあった • 飛行精度とのトレードオフ
おわりに 15 • LLMによるドローンの自律飛行システムチャッドローンを提案 • プロトタイプを実装し、動作を確認 • 専門知識がないユーザも、プロンプトの書き換えによって自律飛行の デザインが可能 コアプログラム
(Python) あなたには送ら れる画像を読み 取りある部屋内 を一周するのを サポートしても らいます. 以下の指示の TL 左に旋回
More Decks by 北海道情報大学 湯村研究室
See All by 北海道情報大学 湯村研究室
湯村研究室の紹介2026 / yumulab2026
yumulab
PRO
0
230
オープンキャンパス模擬講義 Webカメラを使ったインタラクティブWebアプリの開発 / oc2026
yumulab
PRO
0
85
非試合日の野球場を楽しむためのARホームランボールキャッチ体験システムの開発 / EC79-miyazaki
yumulab
PRO
0
540
MR流体を用いたセルフセンシング可能な触覚デバイスの提案 / haptics36-kamimura
yumulab
PRO
0
240
ASMR耳かき動画のための音と触覚の同時提示システムにおけるパラメトリックスピーカーの配置検討 / haptics36-shimizu
yumulab
PRO
0
5
足位置の視覚的提示による電子オルガンのペダル鍵盤演奏学習支援システムの開発と評価 / ec79-hokin
yumulab
PRO
0
7
ノア:メタバース空間で対話相手に向かって自律移動するAIアバターの開発と評価 / ec79-oyamada
yumulab
PRO
0
3
リン酸二水素アンモニウム結晶のコンピュテーショナルデザインの検討 / ec79-tamahori
yumulab
PRO
0
4
推しみん:推しとの疑似会話体験を活用した睡眠管理アプリの提案 / ec79-oota
yumulab
PRO
0
3
Other Decks in Research
See All in Research
視覚若手の会LENSって何??
mickey_0226
0
420
Développer des solutions de réduction des émissions de méthane entérique : 1ers résultats Méthane 2030
institutdelelevage
PRO
0
290
Pesée et pointage par imagerie 3D : PHENO3D entre en phase de test terrains
institutdelelevage
PRO
0
120
論文紹介:Doc-to-LoRA: Learning to Instantly Internalize Contexts
yukako_nakano
0
240
山中市政が招いた組織崩壊:よこはま安心ボックスを例に
sishi
0
370
Karkada さんの論文 × 2 の紹介: (1) Closed-Form Training Dynamics Reveal Learned Features and Linear Structure in Word2Vec-like Models, (2) Symmetry in language statistics shapes the geometry of model representations
eumesy
PRO
1
1k
HAKARI-Bench - 実運用視点での情報検索モデル評価ベンチマーク
hotchpotch
1
870
GeoAgent勉強会 論文紹介と強い推論モデルが与えるインパクト
satai
5
490
Être éleveur dans un monde en transition : Comprendre les changements pour mieux les accompagner
institutdelelevage
PRO
0
160
Hitting the buffers
beale
0
410
オンライン凸最適化の基礎とゲーム理論への応用 (IBIS 2026 チュートリアル)
taira_tsuchiya
2
1.4k
Détection des lésions podales par thermographie infrarouge chez les bovins et les ovins
institutdelelevage
PRO
0
130
Featured
See All Featured
Tips & Tricks on How to Get Your First Job In Tech
honzajavorek
1
850
KATA
mclloyd
PRO
35
16k
Large-scale JavaScript Application Architecture
addyosmani
516
110k
sira's awesome portfolio website redesign presentation
elsirapls
0
510
Leveraging LLMs for student feedback in introductory data science courses - posit::conf(2025)
minecr
1
480
Avoiding the “Bad Training, Faster” Trap in the Age of AI
tmiket
1
310
First, design no harm
axbom
PRO
2
1.4k
The State of eCommerce SEO: How to Win in Today's Products SERPs - #SEOweek
aleyda
2
12k
HDC tutorial
michielstock
2
1k
jQuery: Nuts, Bolts and Bling
dougneiner
66
8.7k
4 Signs Your Business is Dying
shpigford
187
23k
30 Presentation Tips
portentint
PRO
1
470