Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
カチャカLLM連携
Search
Takafumi Watanabe
December 22, 2023
Technology
1
370
カチャカLLM連携
Takafumi Watanabe
December 22, 2023
Tweet
Share
Other Decks in Technology
See All in Technology
AIプロダクトのプロンプト実践テクニック / Practical Techniques for AI Product Prompts
saka2jp
0
120
How Fast Is Fast Enough? [PerfNow 2025]
tammyeverts
2
130
ソースを読む時の思考プロセスの例-MkDocs
sat
PRO
1
320
だいたい分かった気になる 『SREの知識地図』 / introduction-to-sre-knowledge-map-book
katsuhisa91
PRO
3
1.5k
様々なファイルシステム
sat
PRO
0
260
20251027_findyさん_音声エージェントLT
almondo_event
2
490
AI時代、“平均値”ではいられない
uhyo
8
2.7k
個人でデジタル庁の デザインシステムをVue.jsで 作っている話
nishiharatsubasa
3
5.2k
Zero Trust DNS でより安全なインターネット アクセス
murachiakira
0
110
AIでデータ活用を加速させる取り組み / Leveraging AI to accelerate data utilization
okiyuki99
6
1.4k
Okta Identity Governanceで実現する最小権限の原則
demaecan
0
200
猫でもわかるAmazon Q Developer CLI 解体新書
kentapapa
1
140
Featured
See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
KATA
mclloyd
PRO
32
15k
A Modern Web Designer's Workflow
chriscoyier
697
190k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
55
3k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
The Illustrated Children's Guide to Kubernetes
chrisshort
49
51k
Building Better People: How to give real-time feedback that sticks.
wjessup
370
20k
Docker and Python
trallard
46
3.6k
Transcript
カチャカ LLM連携 2023-12-20 Microsoft AI for Startup Day 株式会社Preferred Robotics
渡辺貴史
⾃⼰紹介 渡辺 貴史 (わたなべ たかふみ) 1998年⽣まれ。千葉県⽴千葉⾼校出⾝。 NHK/ABUロボコンに出場 (東京⼤学RoboTech) 2023年 東⼤稲⾒研を修⼠号を取得
今年春からPreferred Roboticsに⼊社
Preferred Robotics 会社紹介 AI技術に強いPreferred Networksから 2021年11⽉にカーブアウト 独⾃モデルの学習やモデル最適化、 エッジデバイスでの推論⾼速化など 様々なAI技術を ⾃律移動ロボットに応⽤
Preferred Robotics 会社紹介 家庭⽤ロボット カチャカ ⼩型床洗浄ロボット HAPiiBOT 4 基盤ソフトを共通化しつつB2C, B2B両輪のロボットを開発
「すべての⼈に、ロボットを」を掲げています
今⽇の話: カチャカのLLM連携 ⼤規模⾔語モデルの⼒でもっと「誰でも使える」ロボットを カチャカのLLM連携機能を開発中 カチャカは毎⽉ソフトウェアを更新 LLM連携が来春リリース予定 ⾔葉での指⽰ ⾃分を動かすプログラムを ⾃動で⽣成‧実⾏
カチャカって何だ? 6
カチャカは、 専⽤のシェルフと… カチャカとは? 場所Aから場所Bへモノを運ぶロボット ★
カチャカは、 専⽤のシェルフと カチャっと⼀体化して カチャカとは? 場所Aから場所Bへモノを運ぶロボット ★
カチャカは、 専⽤のシェルフと カチャっと⼀体化して 指定した場所に運ぶ ロボットです。 カチャカとは? 場所Aから場所Bへモノを運ぶロボット
全域を⾃動⾛⾏し、独⾃のSLAMで地図作成 指定した⽬的地の間を棚を持って移動する カチャカとは? 場所Aから場所Bへモノを運ぶロボット
おうちでの使い⽅: 配膳‧下げ膳に ⼦育てで⼿が離せない… 何往復もするのが⼤変… → 棚に置いて声をかけると ⾃動で⾷卓へ
おうちでの使い⽅: 動く収納家具 ✔ 「⽚付けに⾏く」から「収納が来る」に ✔ ものを探さない⽚付いたおうちに!
ヘルスケア領域(クリニック‧薬局)での事例 スタッフの運搬を肩代わり ✔ 重要な業務に専念 (患者さんと話す時間‧治療) ✔ 連携のミスを軽減 ロボットに渡す‧ ロボットから受け取る、という シンプルなルール
オフィスでの事例 お茶‧お菓⼦配り ⾃席で使う備品 共有備品の運搬 ゴミ箱 ✔ ものを探さない⽚付いたオフィスに ✔ 集中を切らさず業務に集中
検査での事例 (電波強度分布の計測) スタッフが⾏っていた検査業務を代替 ✔ 業務の負担を⼤幅に軽減 ✔ 深夜でも検査を⾏えるようになり品質向上にも
カチャカ スマホアプリから簡単に操作 今年2023年の5⽉に発売 カチャカ本体:¥228,000 誰でも簡単に触れる⾼性能ロボ
今⽇の話: カチャカのLLM連携 ⼤規模⾔語モデルの⼒でもっと「誰でも使える」ロボットを カチャカのLLM連携機能を開発中 カチャカは毎⽉ソフトウェアを更新 LLM連携が来春リリース予定 ⾔葉での指⽰ ⾃分を動かすプログラムを ⾃動で⽣成‧実⾏
⾃由な⾃然⾔語⼊⼒による指⽰ みんなの席を回って 集荷の荷物集めてきて locations = get_location_list() for i = 1,
#locations do move_shelf(“S01”, locations[i]) speak(“集荷物があれば載せて下さい ”) sleep(3) end 指⽰通りのプログラムを ⾃分で⽣成して実⾏ ⽂脈‧部屋のレイアウトなど 様々な情報を考慮
コード⽣成の枠組み ⽣成コードにはLuaを採⽤ • インジェクション耐性が強い • LLMが⽣成しやすい⾔語であること • ストリーミング実⾏がしやすいこと APIを組み込み関数としてLLMに渡す ストリーミング実⾏
• 実⾏可能⽚が来たら即座に実⾏ • レスポンスを良くするための⼯夫 move_to_location(“L02”) for i = 1, 3 do speak(tostring(i)) end speak(“起きてください”) move_shelf(“S01”, “L02”) speak(“歯磨きしましょう”)
コード⽣成の枠組み Role 間取り API Reference Coding Rules Format Basic Examples
Negative Examples RAG based Examples Histories Kachaka Codegen Server (クラウド) GPT-4 (Function Calling) CoT (指⽰ → ⾏動 → コード) ‧jsonをストリーム処理 ‧ロボット体内の情報とexampleの RAGを合わせてプロンプト⽣成 Luaを体内で実⾏ System Prompt
他にも⾊々: 「なんで⽌まった?」が分かる これは、⾞輪で移動するロボットの⼀⼈称視点での画像です。 いま、何らかの障害物があるせいで前に進めない状況になって います。 どうして進めないのか、「◦◦があるため進めません」という 形で説明してください。
API機能を公開しています ⾃由に弄り倒せる出来のいいロボットが⾃宅に…! gRPCでAPI提供 Python / ROS2 ラッパも対応
API機能を公開しています ⾃由に弄り倒せる出来のいいロボットが⾃宅に…! 実は発売前の3⽉時点で LLM連携デモが存在しました 最新技術×ロボットが⼿軽に
⼤規模⾔語モデルで実際に「モノを動かす」の最先端 来春リリース予定…!
宣伝
None
None