Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SORACOM Support Bot の開発秘話
Search
SORACOM
PRO
February 16, 2024
Technology
0
1.6k
SORACOM Support Bot の開発秘話
2024年2月16日開催『
サポートエンジニアNight vol. 5
』で、ソラコム三國(mick)が発表した資料です。
SORACOM
PRO
February 16, 2024
Tweet
Share
More Decks by SORACOM
See All by SORACOM
【基調講演】変える、今ここから ― IoTとAIで紡ぐ未来
soracom
PRO
0
320
【基調講演】IoTとAIテクノロジーが織りなす、データ中心の世界へ
soracom
PRO
0
94
SIM? LTE-M? SORACOM?セルラーLPWA通信 まるわかり!
soracom
PRO
3
1.4k
生成 AI で社内ナレッジ共有が変わる!Q&A ボットは質問に答える時間を削減するだけじゃない!
soracom
PRO
1
430
【SORACOM UG 四国】今だからこそ学ぶ!IoTの全体像と最新事例、生成AIの基礎
soracom
PRO
2
1.1k
【SORACOM UG 四国】IoTプラットフォーム「SORACOM」の位置づけと始め方
soracom
PRO
1
800
【SORACOM UG 東海】あらゆるモノがつながる社会へ、IoT と SORACOM
soracom
PRO
1
790
【SORACOM UG 広島】つながる社会へ!IoT プラットフォーム「SORACOM」
soracom
PRO
0
600
【SORACOM UG】SIM Deep Dive セキュアエレメント編
soracom
PRO
0
500
Other Decks in Technology
See All in Technology
DDDにおける認可の扱いとKotlinにおける実装パターン / authorization-for-ddd-and-kotlin-implement-pattern
urmot
4
390
ACRiルーム最新情報とAMD GPUサーバーのご紹介
anjn
0
150
フルリモートワークはエンジニアの夢を叶えたか? #cm_odyssey
mamohacy
2
600
成長期に歩みを止めないための創業期の開発文化形成
mayah
6
420
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
2
160
大規模ドラレコデータ収集・機械学習基盤を支える AWS CDK 〜導入・運用事例紹介〜
pemugi
0
110
Git 研修 Advanced【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
200
クラウド利用者の「責任」をどう果たす?AWSセキュリティ対策のススメ #AWSSummit
hiashisan
0
270
DevIO2024_レガシー運用からの脱却 -クラウド活用の実践事例とベストプラクティス-
jun2882
0
210
簡単に始めるSnowflakeの機械学習
nayuts
1
190
Matterport を使ってクラスメソッド各拠点のバーチャルオフィスツアーを作成してみた
wakatsuki
0
160
20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI Service Dev Day
nrryuya
3
1.1k
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
124
16k
GitHub's CSS Performance
jonrohan
1026
450k
Fantastic passwords and where to find them - at NoRuKo
philnash
42
2.7k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
248
20k
The MySQL Ecosystem @ GitHub 2015
samlambert
248
12k
Infographics Made Easy
chrislema
238
18k
The Language of Interfaces
destraynor
151
23k
StorybookのUI Testing Handbookを読んだ
zakiyama
15
4.9k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
245
1.2M
We Have a Design System, Now What?
morganepeng
46
7k
Build your cross-platform service in a week with App Engine
jlugia
227
17k
Designing on Purpose - Digital PM Summit 2013
jponch
113
6.6k
Transcript
SORACOM Support Bot の開発秘話 サポートエンジニアNight vol.5 - サポートにLLMを添えて - Feb.
16, 2024 株式会社ソラコム | SORACOM, INC. Customer Reliability Engineer 三國直樹 | Naoki “Mick” Mikuni (@n_mikuni)
このプレゼンテーションで話すこと • ソラコムで提供した SORACOM Support Bot の全体像 • 提供するまでに工夫したこと •
提供してみてわかったこと • 今後やりたいこと
自己紹介 三國直樹 (mick) Customer Reliability Engineer SORACOM のサポートやドキュメント等を担当。 Playing Manager
やっています。 Zendesk community champion 2021 (Tokyo)
会社紹介 株式会社ソラコム|SORACOM, INC. 代表取締役社長 玉川憲|Ken Tamagawa サービス開始 2015年9月30日 拠点 日本、アメリカ、イギリス
サポートの範囲 IoT デバイス クラウドサービス ✓ 遠隔操作 ✓ メンテナンス ✓ 蓄積・見える化
✓ アラート通知 通信 デバイス センサ キット IoT 通信 IoT SIM LPWA パートナー デバイス パートナークラウド (AWS / Microsoft / Google) Wi-Fi / 有線 3G / LTE / 5G LTE-M
SORACOM Support Bot とは LLM を使って生成した回答 お客様からの質問 関連ドキュメントのリンク
なぜ SORACOM Support Bot を開発したのか? お客様のセルフサービスを促進できると考えた 素早い回答 (数分以内) (人間と比べると) 安価なコスト
自然言語での回答 + 参考ドキュメント付き
SORACOM Support Bot のコンポーネント ドキュメント インターフェース RAG のコアシステム
AWS Cloud SORACOM Support Bot のコアのアーキテクチャ Amazon API Gateway (REST)
AWS Lambda (Authorizer) Amazon SQS AWS Lambda (Handler) AWS Lambda (soracom-bot) Azure OpenAI Send request Authorize Enqueue Trigger Query Query Add comments Amazon DynamoDB Store conversation
SORACOM Support Bot を提供するための工夫 特に以下のような工夫がありました 提供する情報の コントロール コストの コントロール 品質への期待値の
コントロール
• 間違っても他のお客様の情報や機密情報を回答へ含めてはいけない • サポートの履歴は使わず、公開ドキュメントのみ使って回答を作成 するようにしている 提供する情報のコントロール
コストのコントロール • 誰でも bot を使えるようにすると、予期せぬ濫用によるコスト増大 が危惧される • 現フェーズでは、ログインしたお客様からの問い合わせのみで使え るようにしている
品質への期待値のコントロール • 生成 AI の回答精度はまだまだ伸びしろがある • トラブルシューティングや課金で誤った回答をするのはお客様にも 迷惑がかかるので、現時点では仕様確認・手順確認に絞って提供し ている
提供してみてわかったこと • LLM へのお客様の関心は高く、多くのお客様に使っていただけた • しかし回答精度は (思ったよりも) 十分ではなかった • お客様は一問一答で質問してくれるとは限らない
• ドキュメントに載っていないことも LLM は自信満々に回答して しまう
今後やりたいこと • 仕様・手順の質問について5%程度は bot で解決できるようにする • 仕様・手順以外の質問へも回答できるようにする (トラブルシュー ティングや課金など) •
インターフェースの拡大 (コンソールやドキュメントページから使 えるように) • ドキュメント・コアの継続的な改善
まとめ • LLM / RAG がカスタマーサポートにとってブレークスルーになる ことは間違いない • 乗るしかない、このビッグウェーブに •
作るのも提供するのも大変だが、ナレッジを共有しつつ、一緒に 乗り越えていきましょう
IoT の「つなぐ」を簡単に You Create. We Connect.