生成AIでサポートチームをサポート 〜 チャットボットで業務効率化へ 〜

Geeks Who Drink in Fukuoka - 私の業務効率化editon - ( https://nulab.connpass.com/event/315567/ )の登壇資料｡

Transcript

1. 生成AIでサポートチームをサポート でサポートチームをサポート 〜 チャットボットで業務効率化へ〜 Geeks Who Drink in Fukuoka - 私の業務効率化editon -
2. Tsuyoshi Yamasaki 山崎 毅 株式会社ヌーラボ Product SREs for Backlog @revsystem
3. 目次 ・どのようなものを作ったか ・導入してみた結果 ・チャットボットを業務効率化に結びつけるには ・まとめ ・なぜサポートチーム向けチャットボットを作ったのか
4. その前に... 今回のチャットボットは、"まだ まだ"業務効率化には結びついていません。 業務効率化の種まきをし、いろいろと壁にぶつかりながら試行錯誤しています。 開発に着手してみたものの... AIに読み込ませるデータ量が思ったより少ない 元データに書かれていないこと 書かれていないことが回答に含まれる 導入してみたものの... 回答の精度が利用者の期待値より低い 通常業務で使用するチャットトピックにボットを導入したため、精度の低い回答がノイズになる
5. なぜサポートチーム向けチャットボットを作ったのか チャットボット試作のきっかけ Backlogの利用者や潜在顧客からのお問い合わせに回答するチャットボットがあれば、サポートチームの業務 負担を減らせるのでは?
6. なぜサポートチーム向けチャットボットを作ったのか アイデアは良さそうだけど、不正確な情報を回答した場合のリスクが高い
7. なぜサポートチーム向けチャットボットを作ったのか なぜサポートチーム向けチャットボットを作ったのか "お客様からの問い合わせに対する回答文章"と"関連するヘルプ ページのリンク"を生成できれば、サポートチームの業務負荷 を減らせるのでは?? 文章を考える時間や関連ページを探す手間が省けて、業務効率 化につながりそう。 そこで、違う視点で仮説をたててみた そこで、違う視点で仮説をたててみた
8. 開発中に出会った本 開発中に出会った本 "カスタマーサポート分野は現時点で生成AIが最も威力を発揮 するとされている分野" (今井翔太, 2024年,『生成AIで世界はこう変わる』,SBクリエイティブ) "サービスの質を落とさず、場合によっては高い顧客満足度と 高速化を達成しつつ、顧客とのやりとりを半自動化できる" "生成AIの導入によりカスタマーサポートの質・生産性・満足 度が向上する" "不適切な出力を顧客に返すリスクを回避しつつ、エージェン トの作業を効率化できる"
9. Backlogヘルプセンターの全ページをスクレイ ピングし、赤枠以外のブロックを除去した HTMLファイルを作成しAWS S3に保存 HTMLデータをKnowledge Base for AWS Bedrockを利用しOpenSearch Serverlessに登 録 TypetalkからAWS Lambdaを経由してAPIでAI に問い合わせて、回答を得る。 １． ２． ３． どのようなものをつくったのか どのようなものをつくったのか ここは不要
10. API Gateway Typetalk Lambda S3 Bedrock OpenSearch Serverless (HTMLデータ) どのようなものをつくったのか どのようなものをつくったのか
11. 間違った回答ばかり でてくる... ヘルプセンターの情報量 に偏りがありすぎる プロンプトやBedrock の調整が思うように いかない 思ってたのと違う 思ってたのと違う... 回答と関連リンクが 一致しない 精度が悪くて、 チャットボットがノ イズになる 導入したものの 導入したものの...
12. そのままユーザーへの回答に使えそうな文章が生成された そのままユーザーへの回答に使えそうな文章が生成された https://support-ja.backlog.com/hc/ja/articles/360035646434.html 改善してみた結果 改善してみた結果
13. そのままユーザーへの回答に使えそうな文章が生成された そのままユーザーへの回答に使えそうな文章が生成された https://support-ja.backlog.com/hc/ja/articles/360036147373​.html​​ 改善してみた結果 改善してみた結果
14. そのままユーザーへの回答に使えそうな文章が生成された そのままユーザーへの回答に使えそうな文章が生成された https://support-ja.backlog.com/hc/ja/articles/360038329474.html​ 改善してみた結果 改善してみた結果
15. 実務に使えそうなくらいの回答が得られるようになった！ 実務に使えそうなくらいの回答が得られるようになった！ 改善してみた結果 改善してみた結果
16. Backlogヘルプセンターの情報量が ヘルプセンターの情報量が(AIに読ませるには に読ませるには)少ない 少ない 誤った回答内容が出力される 誤った回答内容が出力される 正解データを読み込ませているので誤回答はまれだろうと考えていたが、そんなことはな かった。 人間には読みやすいが、画像内の情報は(今回の仕組みでは)生成AIの解析対象にならない。 元データに含まれない内容には回答しないようプロンプトを定めても、AIはもっともらしい 嘘をつく。 約300ページあるが、スクリーンショットや図が中心でテキストが少ないページがある。 考察 考察
17. Backlogヘルプセンターの情報量が ヘルプセンターの情報量が(AIに読ませるには に読ませるには)少ない 少ない 誤った回答内容が出力される 誤った回答内容が出力される 完全に回避することは不可能なので、可能な限りの対策を行う 画像内の情報はサイト内検索でもヒットしないので、一般ユーザーも必要な情報にたどり着け ない。その結果、お問い合わせが増えているかもしれない ・サイト内検索でページがヒットするように、ヘルプセンターのテキスト情報量を増やす ・画像情報を認識できるようチャットボットの実装を変える ・事前にAIに与えるシステムプロンプトの工夫 ・類似度の高いドキュメントを複数件抽出し、推論につなげる ・ドキュメントの定期的なメンテナンス チャットボットを業務効率化に結びつけるためには チャットボットを業務効率化に結びつけるためには
18. 生成 生成AIと連携したチャットボットはカスタマーサポートの業務効率化と相性が良い と連携したチャットボットはカスタマーサポートの業務効率化と相性が良い ドキュメントの継続的なメンテナンスが大事。ドキュメントが古かったり誤ってい ドキュメントの継続的なメンテナンスが大事。ドキュメントが古かったり誤ってい ると、 ると、AIは正しい回答を出力できない。 は正しい回答を出力できない。 ・開発者だけでは解決できないので、社内の協力が必要。 ・想定した回答が得られなかった場合にドキュメントを工夫する習慣ができるとより良い。 ・ドキュメントのメンテナンスは、AIにもサイト内検索にも優しい ・問い合わせに対する回答文章を簡単に生成できる ・生産性の向上や、サポート担当者や顧客の満足度向上につながる まとめ まとめ
19. Qiitaに生成 に生成AI関連の記事を投稿しています。 関連の記事を投稿しています。 https://qiita.com/revsystem​ 宣伝 宣伝