Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
KARTE CraftにおけるLLM活用~Craft Functions Copilot~
Search
tik-son
October 02, 2023
Technology
1
1.9k
KARTE CraftにおけるLLM活用~Craft Functions Copilot~
Microsoftと語る LLM実装の最前線 でお話した KARTE CraftにおけるLLM活用 について
https://cto-a.connpass.com/event/292450/
tik-son
October 02, 2023
Tweet
Share
More Decks by tik-son
See All by tik-son
Microsoft の AI 技術 をベースに構成される Craft Copilot
tikson
0
520
AWS とKARTE で作る User State Driven System / user-state-driven-system-with-aws-and-karte
tikson
0
2.4k
User State Driven System with Amazon EventBridge & KARTE
tikson
1
3.8k
PLAID’s Journey with multi cloud
tikson
1
3.8k
マルチクラウドで構築する大規模解析サービス/戦略とポイントについて/
tikson
9
27k
KARTEを支えるAutoScaling~SpotInstance編
tikson
0
1.7k
Other Decks in Technology
See All in Technology
イオン店舗一覧ページのパフォーマンスチューニング事例 / Performance tuning example for AEON store list page
aeonpeople
2
290
Figma + Storybook + PlaywrightのMCPを使ったフロントエンド開発
yug1224
9
2.6k
マイクロモビリティシェアサービスを支える プラットフォームアーキテクチャ
grimoh
1
240
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
8.6k
AIドリブンのソフトウェア開発 - うまいやり方とまずいやり方
okdt
PRO
9
630
新卒(ほぼ)専業Kagglerという選択肢
nocchi1
1
2.3k
つくって納得、つかって実感! 大規模言語モデルことはじめ
recruitengineers
PRO
24
6.1k
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
30k
アジャイルテストで高品質のスプリントレビューを
takesection
0
120
Yahoo!広告ビジネス基盤におけるバックエンド開発
lycorptech_jp
PRO
1
280
AIエージェントの開発に必須な「コンテキスト・エンジニアリング」とは何か──プロンプト・エンジニアリングとの違いを手がかりに考える
masayamoriofficial
0
390
そのコンポーネント、サーバー?クライアント?App Router開発のモヤモヤを可視化する補助輪
makotot
4
560
Featured
See All Featured
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
820
Making Projects Easy
brettharned
117
6.3k
We Have a Design System, Now What?
morganepeng
53
7.7k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.4k
Facilitating Awesome Meetings
lara
55
6.5k
Speed Design
sergeychernyshev
32
1.1k
Building Applications with DynamoDB
mza
96
6.6k
Being A Developer After 40
akosma
90
590k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Transcript
© PLAID, Incɹ KARTE Craft LLM Craft Functions Copilot 2
023 . 0 9 . 2 8 Microsoft LLM
© PLAID, Incɹ VP of Engineering & Product, Ecosystem
2014 KARTE KARTE API Ecosystem Team 20 22 APN AWS Top Engineers 2
© PLAID, Incɹ ࠓͷ͓ Craft Functions Copilot KARTEΛ֦ு͢Δ Javascript ͷίʔυΛ
LLMΛͬͯੜΈग़ͤΔػೳ (ઈࢍ։ൃத) 3
© PLAID, Incɹ KARTE 4 CX( ) ϝΠϯϢʔβʔϚʔέλʔ 4
© PLAID, Incɹ KARTE Craft KARTE Craft KARTE ͷػೳΛ֦ு͢ΔͨΊͷ։ൃϓϥοτϑΥʔϜɻಛʹ Craft
FunctionsΛར༻͢Δͱɺ ಠࣗαʔόʔΛཱͯͳͯ͘֎෦αʔϏεͱͷϦΞϧλΠϜ࿈ܞΛ࣮ݱͰ͖Δɻ KARTEͰൃੜ͢ΔϢʔβʔͷঢ়ଶͷมԽ ɺಛఆͷεέδϡʔϧΛτϦΨʔʹɺ Craft FunctionsΛ௨ͯ͡൚༻ͳϓϩάϥϜΛ࣮ߦɻ ࣾ֎ͷ༷ʑͳγεςϜͱKARTEͷ࿈ܞΛεϜʔζʹ࣮ݱɻ 5
© PLAID, Incɹ 6
© PLAID, Incɹ 7
© PLAID, Incɹ 8
© PLAID, Incɹ 9
© PLAID, Incɹ GPT 4 ? 10
© PLAID, Incɹ 11 Craft Functions Copilot KARTEΛ֦ு͢Δ Javascript ͷίʔυΛ
LLMΛͬͯੜΈग़ͤΔػೳ (ઈࢍ։ൃத)
© PLAID, Incɹ 12 KARTE ར༻ऀ Azure OpenAI GPT4 ίʔυੜ
Λࢦࣔ Craft Functions Copilot (v 0 . 0 . 1 ) 12 GPT4Λར༻͢ΔϓϩϯϓτΛෳ༻ҙ͠ɺ Πϯϓοτࣗવݴޠೖྗͷ νϟοτΠϯλʔϑΣʔεͰ࡞
© PLAID, Incɹ KARTE API Craft - - - 13
© PLAID, Incɹ Ϧιʔε্ݶ 14 ຊ൪ఏڙʹ͓͚Δ੍ ϨΠςϯγʔ GPT-3.5 and GPT-4
API response time measurements - FYI Azure OpenAI Service ͷΫΥʔλͱ੍ݶ ίετ Azure OpenAI Service ͷՁ֨
© PLAID, Incɹ • ͯ͢ΛGPT4 + ϓϩϯϓτΤϯδχΞϦϯάͷྗٕͰղ͜͏ͱ͠ͳ͍ • λεΫΛదͳཻʹׂ͢Δ •
ׂͨ͠λεΫ͝ͱʹUIΛͨͤΔ • LLMΛ͍ͬͯΔ͔Βͱݴͬͯɺશͯࣗવݴޠೖྗ+ LLMʹ͢ߏ ͱ͠ͳ͍ ◦ ηϨΫτϘοΫεɺݕࡧɺݻఆʹର͢ΔબϘλϯͳͲɺదࡐదॴͳΠ ϯϓοτํࣜΛ༻ҙ͢Δ ຊ൪ఏڙʹ͓͚Δ੍ Λ౿·͑ͨ ઃܭͷϙΠϯτ 15
© PLAID, Incɹ 16 εςοϓΛׂ ༷ʑͳΠϯϓοτํࣜ
© PLAID, Incɹ KARTE ར༻ऀ Azure OpenAI GPT4 εςοϓ 2
Azure OpenAI Embeddings/ GPT3.5 Azure Cognitive Search Vector Search - KARTE API Metadata - Craft Functions Metadata - etc… DB - KARTE API Metadata - Craft Functions Metadata - etc… Azure OpenAI Embeddings/ GPT3.5 Azure Cognitive Search Vector Search - KARTE API Metadata - Craft Functions Metadata - etc… DB - KARTE API Metadata - Craft Functions Metadata - etc… Azure OpenAI Embeddings Azure Cognitive Search Vector Search - Craft Functions Trigger Metadata DB - Craft Functions Trigger Metadata 2. σʔλऔಘεςοϓʹ͓͚Δ ࣭/ઃఆ 1.τϦΨʔεςοϓʹ͓͚Δ ࣭/ઃఆ 3.σʔλग़ྗεςοϓʹ͓͚Δ ࣭/ઃఆ τϦΨʔεςοϓʹ͓͚Δ ઃఆσʔλ 4.ίʔυੜ Λࢦࣔ σʔλऔಘεςοϓʹ͓͚Δ ઃఆσʔλ σʔλग़ྗεςοϓʹ͓͚Δ ઃఆσʔλ ֤εςοϓͷઃఆσʔλΛར༻ͯ͠ίʔυੜ Craft Functions Copilot (v 0 . 1 . 0 ) 17
© PLAID, Incɹ • GPT4Λ༗ޮతʹར༻ͨ͠UIʹΑΓ ◦ τʔΫϯ͕60%ݮ ◦ ϨΠςϯγʔ͕65%վળ ◦
ੜ͞ΕΔίʔυͷਫ਼ ◦ Ϣʔβମݧ্ ݁Ռ / ·ͱΊ • Craft Function Copilotv0.1.0ɻײతͰͳ͍෦͕͋Δ • LLMपΓͷϓϩμΫτΛ͏·͘Έ߹ΘͤΕɺ UI/UXͬͱվળग़དྷΔ༨͋Γͦ͏ 18