Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
カチャカLLM連携
Search
Takafumi Watanabe
December 22, 2023
Technology
1
170
カチャカLLM連携
Takafumi Watanabe
December 22, 2023
Tweet
Share
Other Decks in Technology
See All in Technology
Developer Experienceを向上させる基盤づくりの取り組み事例集
coconala_engineer
0
120
社内の学びの場・コミュニティ形成とエンジニア同士のリレーションシップ構築/devreljapan2024
nishiuma
3
240
LLVM/ASMを使った有限体の高速実装
herumi
0
120
たった1人からはじめる【Agile Community of Practice】~ソース原理とFearless Changeを添えて~
ktc_corporate_it
1
200
Functional TypeScript
naoya
11
4.6k
Oracle Exadata Database Service(Dedicated Infrastructure):サービス概要のご紹介
oracle4engineer
PRO
0
9.5k
「家族アルバム みてね」における運用管理・ オブザーバビリティの全貌 / Overview of Operation Management and Observability in FamilyAlbum
isaoshimizu
4
150
エンジニア向け会社紹介資料
caddi_eng
15
250k
Jetpack Compose Modifier 徹底解説 / Jetpack Compose Modifier
wiroha
0
140
LINEヤフーのフロントエンド組織・体制の紹介
lycorp_recruit_jp
0
330
スーパーマリオRPGのリメイク版の変更点からみるUX
nishiharatsubasa
1
330
「認証認可」という体験をデザインする ~Nekko Cloud認証認可基盤計画
logica0419
2
250
Featured
See All Featured
A Tale of Four Properties
chriscoyier
155
22k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.4k
Music & Morning Musume
bryan
46
6k
Infographics Made Easy
chrislema
239
18k
VelocityConf: Rendering Performance Case Studies
addyosmani
322
23k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
8.9k
Building Better People: How to give real-time feedback that sticks.
wjessup
359
18k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
What's new in Ruby 2.0
geeforr
340
31k
Adopting Sorbet at Scale
ufuk
73
8.9k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
123
18k
Six Lessons from altMBA
skipperchong
26
3.3k
Transcript
カチャカ LLM連携 2023-12-20 Microsoft AI for Startup Day 株式会社Preferred Robotics
渡辺貴史
⾃⼰紹介 渡辺 貴史 (わたなべ たかふみ) 1998年⽣まれ。千葉県⽴千葉⾼校出⾝。 NHK/ABUロボコンに出場 (東京⼤学RoboTech) 2023年 東⼤稲⾒研を修⼠号を取得
今年春からPreferred Roboticsに⼊社
Preferred Robotics 会社紹介 AI技術に強いPreferred Networksから 2021年11⽉にカーブアウト 独⾃モデルの学習やモデル最適化、 エッジデバイスでの推論⾼速化など 様々なAI技術を ⾃律移動ロボットに応⽤
Preferred Robotics 会社紹介 家庭⽤ロボット カチャカ ⼩型床洗浄ロボット HAPiiBOT 4 基盤ソフトを共通化しつつB2C, B2B両輪のロボットを開発
「すべての⼈に、ロボットを」を掲げています
今⽇の話: カチャカのLLM連携 ⼤規模⾔語モデルの⼒でもっと「誰でも使える」ロボットを カチャカのLLM連携機能を開発中 カチャカは毎⽉ソフトウェアを更新 LLM連携が来春リリース予定 ⾔葉での指⽰ ⾃分を動かすプログラムを ⾃動で⽣成‧実⾏
カチャカって何だ? 6
カチャカは、 専⽤のシェルフと… カチャカとは? 場所Aから場所Bへモノを運ぶロボット ★
カチャカは、 専⽤のシェルフと カチャっと⼀体化して カチャカとは? 場所Aから場所Bへモノを運ぶロボット ★
カチャカは、 専⽤のシェルフと カチャっと⼀体化して 指定した場所に運ぶ ロボットです。 カチャカとは? 場所Aから場所Bへモノを運ぶロボット
全域を⾃動⾛⾏し、独⾃のSLAMで地図作成 指定した⽬的地の間を棚を持って移動する カチャカとは? 場所Aから場所Bへモノを運ぶロボット
おうちでの使い⽅: 配膳‧下げ膳に ⼦育てで⼿が離せない… 何往復もするのが⼤変… → 棚に置いて声をかけると ⾃動で⾷卓へ
おうちでの使い⽅: 動く収納家具 ✔ 「⽚付けに⾏く」から「収納が来る」に ✔ ものを探さない⽚付いたおうちに!
ヘルスケア領域(クリニック‧薬局)での事例 スタッフの運搬を肩代わり ✔ 重要な業務に専念 (患者さんと話す時間‧治療) ✔ 連携のミスを軽減 ロボットに渡す‧ ロボットから受け取る、という シンプルなルール
オフィスでの事例 お茶‧お菓⼦配り ⾃席で使う備品 共有備品の運搬 ゴミ箱 ✔ ものを探さない⽚付いたオフィスに ✔ 集中を切らさず業務に集中
検査での事例 (電波強度分布の計測) スタッフが⾏っていた検査業務を代替 ✔ 業務の負担を⼤幅に軽減 ✔ 深夜でも検査を⾏えるようになり品質向上にも
カチャカ スマホアプリから簡単に操作 今年2023年の5⽉に発売 カチャカ本体:¥228,000 誰でも簡単に触れる⾼性能ロボ
今⽇の話: カチャカのLLM連携 ⼤規模⾔語モデルの⼒でもっと「誰でも使える」ロボットを カチャカのLLM連携機能を開発中 カチャカは毎⽉ソフトウェアを更新 LLM連携が来春リリース予定 ⾔葉での指⽰ ⾃分を動かすプログラムを ⾃動で⽣成‧実⾏
⾃由な⾃然⾔語⼊⼒による指⽰ みんなの席を回って 集荷の荷物集めてきて locations = get_location_list() for i = 1,
#locations do move_shelf(“S01”, locations[i]) speak(“集荷物があれば載せて下さい ”) sleep(3) end 指⽰通りのプログラムを ⾃分で⽣成して実⾏ ⽂脈‧部屋のレイアウトなど 様々な情報を考慮
コード⽣成の枠組み ⽣成コードにはLuaを採⽤ • インジェクション耐性が強い • LLMが⽣成しやすい⾔語であること • ストリーミング実⾏がしやすいこと APIを組み込み関数としてLLMに渡す ストリーミング実⾏
• 実⾏可能⽚が来たら即座に実⾏ • レスポンスを良くするための⼯夫 move_to_location(“L02”) for i = 1, 3 do speak(tostring(i)) end speak(“起きてください”) move_shelf(“S01”, “L02”) speak(“歯磨きしましょう”)
コード⽣成の枠組み Role 間取り API Reference Coding Rules Format Basic Examples
Negative Examples RAG based Examples Histories Kachaka Codegen Server (クラウド) GPT-4 (Function Calling) CoT (指⽰ → ⾏動 → コード) ‧jsonをストリーム処理 ‧ロボット体内の情報とexampleの RAGを合わせてプロンプト⽣成 Luaを体内で実⾏ System Prompt
他にも⾊々: 「なんで⽌まった?」が分かる これは、⾞輪で移動するロボットの⼀⼈称視点での画像です。 いま、何らかの障害物があるせいで前に進めない状況になって います。 どうして進めないのか、「◦◦があるため進めません」という 形で説明してください。
API機能を公開しています ⾃由に弄り倒せる出来のいいロボットが⾃宅に…! gRPCでAPI提供 Python / ROS2 ラッパも対応
API機能を公開しています ⾃由に弄り倒せる出来のいいロボットが⾃宅に…! 実は発売前の3⽉時点で LLM連携デモが存在しました 最新技術×ロボットが⼿軽に
⼤規模⾔語モデルで実際に「モノを動かす」の最先端 来春リリース予定…!
宣伝
None
None