第179回 雲勉 AI を活用したサポートデスク業務の改善

下記、勉強会での資料です。
https://youtu.be/_JeXcZ41r08

Transcript

1. 第179回 雲勉 AIを活用したサポートデスク業務の改善
2. 講師自己紹介 2 ◼ 名前：伊藤 大輝 • クラウドインテグレーション事業部 MSPセクション • アイレット入社歴：3年 • インフラエンジニアとしてAWS、Google Cloudのサポート デスク業務に従事 ご質問は YouTubeのコメント欄で受け付けております。 後日回答させていただきます！
3. アジェンダ 3 1. サポートデスク業務のAI導入前の課題 2. Vertex AIを用いた生成AIシステムの導入 3. 生成AIの自動評価システムRagasの導入 4. Datadog LLM Observabilityを用いた生成AIの分析 5. AI技術を用いたさらなる業務改善の展望 6. 最後に
4. アジェンダ 4 1. サポートデスク業務のAI導入前の課題 2. Vertex AIを用いた生成AIシステムの導入 3. 生成AIの自動評価システムRagasの導入 4. Datadog LLM Observabilityを用いた生成AIの分析 5. AI技術を用いたさらなる業務改善の展望 6. 最後に
5. 1．サポートデスク業務のAI導入前の課題 5 理想 現状 サポートデスク業務の現状 問い合わせ： ・トラブルシューティング ・仕様調査 ・契約・料金関連 等 全ての問い合わせに対して、オペレーター(人)が1件1件調査し対応
6. 6 ・全ての問い合わせに人力で対応 課題 ・回答品質が均一化されていない ・社内ナレッジを活用できていない ・専門的な質問の回答に集中 あるべき姿 ・回答品質が均一で安定 ・社内ナレッジをフル活用 1．サポートデスク業務のAI導入前の課題 サポート業務にAIを導入 対策 課題とあるべき姿
7. 1．サポートデスク業務のAI導入前の課題 7 理想 現状 社内向け 生成AIシステムの導入 Datadog LLM Observability導入 自動評価システム Ragasの導入 AI チャットボット 導入 AI エージェント導入 導入完了 展望 AIを活用したサポートデスク業務改善のロードマップ
8. アジェンダ 8 1. サポートデスク業務のAI導入前の課題 2. Vertex AIを用いた生成AIシステムの導入 3. 生成AIの自動評価システムRagasの導入 4. Datadog LLM Observabilityを用いた生成AIの分析 5. AI技術を用いたさらなる業務改善の展望 6. 最後に
9. 9 理想 現状 社内向け 生成AIシステムの導入 Datadog LLM Observability導入 自動評価システム Ragasの導入 AI チャットボット 導入 AI エージェント導入 導入完了 展望 2．Vertex AIを用いた生成AIシステムの導入
10. 2．Vertex AIを用いた生成AIシステムの導入 10 サポートデスク業務へ社内向け生成AIシステムの導入 お客様からの問い合わせに対して、生成AIが対応者へ3つの援助を行う「サポートデータ検索システム」を開発 質問内容を要約 関連公式ドキュメントの提示 過去対応ナレッジの検索 Before After
11. 11 2．Vertex AIを用いた生成AIシステムの導入 サポートデータ検索システムの活用動画
12. 12 2．Vertex AIを用いた生成AIシステムの導入 システム構成図
13. 13 2．Vertex AIを用いた生成AIシステムの導入 導入効果 新たな課題 1件あたりの問い合わせ解決までにかかっていた時間 8日 → 5日 約 40％/件 の工数削減 生成AIシステムの精度を継続向上させるために、各対応者が<手動評価>を実施している 評価に時間がかかる 自動評価システムの構築 ・独自評価基準,関連度 に基づき自動判定 LLM Observability ・LLMアプリの観測 ・自動評価精度の可視化 生成AIのパフォーマンスが不明瞭 評価者によって判定基準がばらつく
14. アジェンダ 14 1. サポートデスク業務のAI導入前の課題 2. Vertex AIを用いた生成AIシステムの導入 3. 生成AIの自動評価システムRagasの導入 4. Datadog LLM Observabilityを用いた生成AIの分析 5. AI技術を用いたさらなる業務改善の展望 6. 最後に
15. 15 理想 現状 社内向け 生成AIシステムの導入 Datadog LLM Observability導入 自動評価システム Ragasの導入 AI チャットボット 導入 AI エージェント導入 導入完了 展望 AIを活用したサポートデスク業務改善のロードマップ 3．生成AIの自動評価システムRagasの導入
16. 3．生成AIの自動評価システムRagasの導入 16 評価に時間がかかる 評価者によって判定基準がばらつく 課題 自動評価システムの実装 評価基準の統一化 Ragasの導入
17. 17 Ragasの評価指標 プロンプトのチューニング 3．生成AIの自動評価システムRagasの導入 ・Context Relevance 概要：検索されたコンテキスト（情報源）と質問の関連性を評価します。 目的：質問に対して見当違いの情報を参照していないかを確認します。 ・Aspect Critique 概要：独自の評価基準（Aspect）をプロンプトで定義し、それに基づいて評価します。 目的：単なる関連性だけでなく、より現場の観点に沿った多角的な評価を実現します。 評価の軸を複数設定し2つの軸を設けて評価するように設定 解決性: 問い合わせの根本的な課題解決に繋がるか 有用性: 直接的な解決策でなくとも、解決のヒントになるか 評価の幅を広げ、正確な精度判定 を実現
18. 18 導入効果 3．生成AIの自動評価システムRagasの導入 ・生成AIの回答評価にかかっていた時間 導入前：2.6人日/月 導入後：0人日/月 (100%自動化) 評価に時間がかかる 評価者によって判定基準がばらつく 自動評価システムの実装 評価基準の統一化 達成 課題 理
19. アジェンダ 19 1. サポートデスク業務のAI導入前の課題 2. Vertex AIを用いた生成AIシステムの導入 3. 生成AIの自動評価システムRagasの導入 4. Datadog LLM Observabilityを用いた生成AIの分析 5. AI技術を用いたさらなる業務改善の展望 6. 最後に
20. 20 理想 現状 社内向け 生成AIシステムの導入 Datadog LLM Observability導入 自動評価システム Ragasの導入 AI チャットボット 導入 AI エージェント導入 導入完了 展望 AIを活用したサポートデスク業務改善のロードマップ 4．Datadog LLM Observabilityを用いた生成AIの分析
21. 4．Datadog LLM Observabilityを用いた生成AIの分析 21 生成AIのパフォーマンスが不明瞭 課題 パフォーマンスの可視化 Datadog LLM Observability の導入 自動評価システムの可視化
22. 22 導入前 導入後 生成AI 生成AI 人による手動評価 Ragasによる自動評価 NG OK OK AI出力結果 Aspect Critique Context Relevance 独自カスタム評価 関連性評価 自動評価の可視化 手動でリスト化 NG プロンプトチューニング 4．Datadog LLM Observabilityを用いた生成AIの分析
23. 23 導入効果 ・分析頻度 導入前：週次 導入後：ニアリアルタイムでいつでも可能 ・分析内容 導入前：回答の成否のみ 導入後：回答成否+指標毎の評価 LLM評価による自動評価ダッシュボード 生成AIのパフォーマンスを可視化 4．Datadog LLM Observabilityを用いた生成AIの分析
24. 24 達成 課題 生成AIのパフォーマンスが不明瞭 パフォーマンスの可視化 自動評価システムの可視化 4． Datadog LLM Observabilityを用いた生成AIの分析
25. アジェンダ 25 1. サポートデスク業務のAI導入前の課題 2. Vertex AIを用いた生成AIシステムの導入 3. 生成AIの自動評価システムRagasの導入 4. Datadog LLM Observabilityを用いた生成AIの分析 5. AI技術を用いたさらなる業務改善の展望 6. 最後に
26. 26 理想 現状 社内向け 生成AIシステムの導入 Datadog LLM Observability導入 自動評価システム Ragasの導入 AI チャットボット 導入 AI エージェント導入 導入完了 展望 5．AI技術を用いたさらなる業務改善の展望
27. 5．AI技術を用いたさらなる業務改善の展望 27
28. アジェンダ 28 1. サポートデスク業務のAI導入前の課題 2. Vertex AIを用いた生成AIシステムの導入 3. 生成AIの自動評価システムRagasの導入 4. Datadog LLM Observabilityを用いた生成AIの分析 5. AI技術を用いたさらなる業務改善の展望 6. 最後に
29. 6.最後に 29 技術ブログ 1. 生成系AIを用いた社内サポートデータの効率化検証 2. 「Ragas」を活用した生成AIシステム自動評価の実現と軌跡 弊社事例紹介 1. 生成 AI 導入でサポートデスク対応の工数を約9人日削減！Google Cloud を活用した問い合わせ要約・検索機能の開発 2. プロンプトエンジニアリングで精度を大幅に向上！生成 AI を活用したナレッジ検索システムの全社展開を実現 3. 生成 AI の回答精度の判定を自動化・可視化し、サポートデスク業務の工数を大幅に削減！Ragas と LLM Observability を導入 サポートデスクへのAI導入に関する記事まとめ
30. 6.最後に 30 ・ gaipack → AI 新規開発からモダナイゼーション、内製化、 戦略設計まで。 AI 導入を加速させるためのソリューション群を提供。 ・生成 AI 導入・活用支援サービス → 企業が抱える課題やテーマに関するヒアリングを実施 し、生成 AI 活用の方向性をご提案 その後、本番導入に向けた開発・検証を実施。本番導入 のための教育支援までワンストップでサポートします。 弊社AIサービスのご紹介
31. ご清聴ありがとうございました 31