Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
カチャカLLM連携
Search
Takafumi Watanabe
December 22, 2023
Technology
1
370
カチャカLLM連携
Takafumi Watanabe
December 22, 2023
Tweet
Share
Other Decks in Technology
See All in Technology
Where will it converge?
ibknadedeji
0
170
英語は話せません!それでも海外チームと信頼関係を作るため、対話を重ねた2ヶ月間のまなび
niioka_97
0
110
関係性が駆動するアジャイル──GPTに人格を与えたら、対話を通してふりかえりを習慣化できた話
mhlyc
0
130
Trust as Infrastructure
bcantrill
0
310
いま注目しているデータエンジニアリングの論点
ikkimiyazaki
0
590
How to achieve interoperable digital identity across Asian countries
fujie
0
110
実装で解き明かす並行処理の歴史
zozotech
PRO
1
310
Access-what? why and how, A11Y for All - Nordic.js 2025
gdomiciano
1
110
それでも私はContextに値を詰めたい | Go Conference 2025 / go conference 2025 fill context
budougumi0617
4
1.2k
Modern_Data_Stack最新動向クイズ_買収_AI_激動の2025年_.pdf
sagara
0
200
ACA でMAGI システムを社内で展開しようとした話
mappie_kochi
0
240
コンテキストエンジニアリングとは? 考え方と応用方法
findy_eventslides
4
890
Featured
See All Featured
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
54
3k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
GitHub's CSS Performance
jonrohan
1032
460k
How to train your dragon (web standard)
notwaldorf
96
6.3k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
61k
Build your cross-platform service in a week with App Engine
jlugia
232
18k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
53k
A Tale of Four Properties
chriscoyier
160
23k
Docker and Python
trallard
46
3.6k
Agile that works and the tools we love
rasmusluckow
331
21k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Transcript
カチャカ LLM連携 2023-12-20 Microsoft AI for Startup Day 株式会社Preferred Robotics
渡辺貴史
⾃⼰紹介 渡辺 貴史 (わたなべ たかふみ) 1998年⽣まれ。千葉県⽴千葉⾼校出⾝。 NHK/ABUロボコンに出場 (東京⼤学RoboTech) 2023年 東⼤稲⾒研を修⼠号を取得
今年春からPreferred Roboticsに⼊社
Preferred Robotics 会社紹介 AI技術に強いPreferred Networksから 2021年11⽉にカーブアウト 独⾃モデルの学習やモデル最適化、 エッジデバイスでの推論⾼速化など 様々なAI技術を ⾃律移動ロボットに応⽤
Preferred Robotics 会社紹介 家庭⽤ロボット カチャカ ⼩型床洗浄ロボット HAPiiBOT 4 基盤ソフトを共通化しつつB2C, B2B両輪のロボットを開発
「すべての⼈に、ロボットを」を掲げています
今⽇の話: カチャカのLLM連携 ⼤規模⾔語モデルの⼒でもっと「誰でも使える」ロボットを カチャカのLLM連携機能を開発中 カチャカは毎⽉ソフトウェアを更新 LLM連携が来春リリース予定 ⾔葉での指⽰ ⾃分を動かすプログラムを ⾃動で⽣成‧実⾏
カチャカって何だ? 6
カチャカは、 専⽤のシェルフと… カチャカとは? 場所Aから場所Bへモノを運ぶロボット ★
カチャカは、 専⽤のシェルフと カチャっと⼀体化して カチャカとは? 場所Aから場所Bへモノを運ぶロボット ★
カチャカは、 専⽤のシェルフと カチャっと⼀体化して 指定した場所に運ぶ ロボットです。 カチャカとは? 場所Aから場所Bへモノを運ぶロボット
全域を⾃動⾛⾏し、独⾃のSLAMで地図作成 指定した⽬的地の間を棚を持って移動する カチャカとは? 場所Aから場所Bへモノを運ぶロボット
おうちでの使い⽅: 配膳‧下げ膳に ⼦育てで⼿が離せない… 何往復もするのが⼤変… → 棚に置いて声をかけると ⾃動で⾷卓へ
おうちでの使い⽅: 動く収納家具 ✔ 「⽚付けに⾏く」から「収納が来る」に ✔ ものを探さない⽚付いたおうちに!
ヘルスケア領域(クリニック‧薬局)での事例 スタッフの運搬を肩代わり ✔ 重要な業務に専念 (患者さんと話す時間‧治療) ✔ 連携のミスを軽減 ロボットに渡す‧ ロボットから受け取る、という シンプルなルール
オフィスでの事例 お茶‧お菓⼦配り ⾃席で使う備品 共有備品の運搬 ゴミ箱 ✔ ものを探さない⽚付いたオフィスに ✔ 集中を切らさず業務に集中
検査での事例 (電波強度分布の計測) スタッフが⾏っていた検査業務を代替 ✔ 業務の負担を⼤幅に軽減 ✔ 深夜でも検査を⾏えるようになり品質向上にも
カチャカ スマホアプリから簡単に操作 今年2023年の5⽉に発売 カチャカ本体:¥228,000 誰でも簡単に触れる⾼性能ロボ
今⽇の話: カチャカのLLM連携 ⼤規模⾔語モデルの⼒でもっと「誰でも使える」ロボットを カチャカのLLM連携機能を開発中 カチャカは毎⽉ソフトウェアを更新 LLM連携が来春リリース予定 ⾔葉での指⽰ ⾃分を動かすプログラムを ⾃動で⽣成‧実⾏
⾃由な⾃然⾔語⼊⼒による指⽰ みんなの席を回って 集荷の荷物集めてきて locations = get_location_list() for i = 1,
#locations do move_shelf(“S01”, locations[i]) speak(“集荷物があれば載せて下さい ”) sleep(3) end 指⽰通りのプログラムを ⾃分で⽣成して実⾏ ⽂脈‧部屋のレイアウトなど 様々な情報を考慮
コード⽣成の枠組み ⽣成コードにはLuaを採⽤ • インジェクション耐性が強い • LLMが⽣成しやすい⾔語であること • ストリーミング実⾏がしやすいこと APIを組み込み関数としてLLMに渡す ストリーミング実⾏
• 実⾏可能⽚が来たら即座に実⾏ • レスポンスを良くするための⼯夫 move_to_location(“L02”) for i = 1, 3 do speak(tostring(i)) end speak(“起きてください”) move_shelf(“S01”, “L02”) speak(“歯磨きしましょう”)
コード⽣成の枠組み Role 間取り API Reference Coding Rules Format Basic Examples
Negative Examples RAG based Examples Histories Kachaka Codegen Server (クラウド) GPT-4 (Function Calling) CoT (指⽰ → ⾏動 → コード) ‧jsonをストリーム処理 ‧ロボット体内の情報とexampleの RAGを合わせてプロンプト⽣成 Luaを体内で実⾏ System Prompt
他にも⾊々: 「なんで⽌まった?」が分かる これは、⾞輪で移動するロボットの⼀⼈称視点での画像です。 いま、何らかの障害物があるせいで前に進めない状況になって います。 どうして進めないのか、「◦◦があるため進めません」という 形で説明してください。
API機能を公開しています ⾃由に弄り倒せる出来のいいロボットが⾃宅に…! gRPCでAPI提供 Python / ROS2 ラッパも対応
API機能を公開しています ⾃由に弄り倒せる出来のいいロボットが⾃宅に…! 実は発売前の3⽉時点で LLM連携デモが存在しました 最新技術×ロボットが⼿軽に
⼤規模⾔語モデルで実際に「モノを動かす」の最先端 来春リリース予定…!
宣伝
None
None