SORACOM Support Bot の開発秘話

SORACOM Support Bot の開発秘話サポートエンジニアNight vol.5 - サポートにLLMを添えて - Feb.
16, 2024 株式会社ソラコム | SORACOM, INC. Customer Reliability Engineer 三國直樹 | Naoki “Mick” Mikuni (@n_mikuni)

このプレゼンテーションで話すこと • ソラコムで提供した SORACOM Support Bot の全体像 • 提供するまでに工夫したこと •
提供してみてわかったこと • 今後やりたいこと

自己紹介三國直樹 (mick) Customer Reliability Engineer SORACOM のサポートやドキュメント等を担当。 Playing Manager
やっています。 Zendesk community champion 2021 (Tokyo)

会社紹介株式会社ソラコム｜SORACOM, INC. 代表取締役社長玉川憲｜Ken Tamagawa サービス開始 2015年9月30日拠点日本、アメリカ、イギリス

サポートの範囲 IoT デバイスクラウドサービス ✓ 遠隔操作 ✓ メンテナンス ✓ 蓄積・見える化
✓ アラート通知通信デバイスセンサキット IoT 通信 IoT SIM LPWA パートナーデバイスパートナークラウド (AWS / Microsoft / Google) Wi-Fi / 有線 3G / LTE / 5G LTE-M

SORACOM Support Bot とは LLM を使って生成した回答お客様からの質問関連ドキュメントのリンク

なぜ SORACOM Support Bot を開発したのか？お客様のセルフサービスを促進できると考えた素早い回答 (数分以内) (人間と比べると) 安価なコスト
自然言語での回答 + 参考ドキュメント付き

SORACOM Support Bot のコンポーネントドキュメントインターフェース RAG のコアシステム

AWS Cloud SORACOM Support Bot のコアのアーキテクチャ Amazon API Gateway (REST)
AWS Lambda (Authorizer) Amazon SQS AWS Lambda (Handler) AWS Lambda (soracom-bot) Azure OpenAI Send request Authorize Enqueue Trigger Query Query Add comments Amazon DynamoDB Store conversation

SORACOM Support Bot を提供するための工夫特に以下のような工夫がありました提供する情報のコントロールコストのコントロール品質への期待値の
コントロール

• 間違っても他のお客様の情報や機密情報を回答へ含めてはいけない • サポートの履歴は使わず、公開ドキュメントのみ使って回答を作成するようにしている提供する情報のコントロール

コストのコントロール • 誰でも bot を使えるようにすると、予期せぬ濫用によるコスト増大が危惧される • 現フェーズでは、ログインしたお客様からの問い合わせのみで使えるようにしている

品質への期待値のコントロール • 生成 AI の回答精度はまだまだ伸びしろがある • トラブルシューティングや課金で誤った回答をするのはお客様にも迷惑がかかるので、現時点では仕様確認・手順確認に絞って提供している

提供してみてわかったこと • LLM へのお客様の関心は高く、多くのお客様に使っていただけた • しかし回答精度は (思ったよりも) 十分ではなかった • お客様は一問一答で質問してくれるとは限らない
• ドキュメントに載っていないことも LLM は自信満々に回答してしまう

今後やりたいこと • 仕様・手順の質問について5％程度は bot で解決できるようにする • 仕様・手順以外の質問へも回答できるようにする (トラブルシューティングや課金など) •
インターフェースの拡大 (コンソールやドキュメントページから使えるように) • ドキュメント・コアの継続的な改善

まとめ • LLM / RAG がカスタマーサポートにとってブレークスルーになることは間違いない • 乗るしかない、このビッグウェーブに •
作るのも提供するのも大変だが、ナレッジを共有しつつ、一緒に乗り越えていきましょう

IoT の「つなぐ」を簡単に You Create. We Connect.

SORACOM Support Bot の開発秘話

SORACOM Support Bot の開発秘話

SORACOM（ソラコム） PRO

More Decks by SORACOM（ソラコム）

Other Decks in Technology

Featured

Transcript