Amazon BedrockとAmazon Kendraで専門知識から回答できる生成系AIサービスを構築！～業務効率化につなげている話～

Transcript

1. Amazon BedrockとAmazon Kendraで 専門知識から回答できる生成系AIサービスを構築！ ～業務効率化につなげている話～ セゾン情報システムズ 石原直樹 2023年10月23日第5回クラウドLT大会 1
2. 自己紹介 ⚫ 石原 直樹（いしはら なおき） ⚫ セゾン情報システムズ 2年目 • お客様先にてCCoE • 社内LLM研究会 ⚫ 好きなAWSのサービス ・ Amazon Kendra 2
3. 今日話すこと ・Amazon Bedrock / KendraのRAGアプリ ・使ってもらった方からのフィードバック 3
4. 今日話さないこと ・具体的な実装方法の話 ・ChatGPT、Azure Open AIの話 4
5. Amazon Bedrock / Kendraの説明 5
6. https://www.itmedia.co.jp/news/articles/2310/04/news143.html Amazon Bedrockとは 6
7. https://it.impress.co.jp/articles/-/25424 Amazon Bedrockとは 7
8. Amazon Kendraとは https://pages.awscloud.com/rs/112-TZM-766/images/20230330_28th_ISV_DiveDeepSeminar_Kendra.pdf 8
9. Amazon Kendraとは https://pages.awscloud.com/rs/112-TZM-766/images/20230330_28th_ISV_DiveDeepSeminar_Kendra.pdf 9
10. Amazon Bedrock / KendraのRAGアプリ ※RAGとは・・外部のDBから情報を取得して、LLMが回答を生成する仕組み 10
11. 製品サポート部門 Kendraによるセマンティック検索と Bedrockによる基盤モデルを活用して業務効率化を図る！ 背景 数万件の製品FAQからキーワード検索 目的のドキュメントを 見つけるのに時間が かかる、、、 https://faq2.hulft.com/category/show/2?site_domain=open_jp 11
12. ※動画内の情報は全て一般公開されているものです。 動画をお見せします！ 12
13. 回答生成までの流れ User ① Amazon Bedrock Claude 2 ③ ④ ⑤ ② ⑦ ⑥ Amazon Kendra AWS Secrets Manager ① 一般公開されていないFAQ 13
14. ⑤ ⑥ Claude 2 ⑦ ②質問 事前のデータ同期 User ①同期 Amazon Bedrock ③ ④ Amazon Kendra AWS Secrets Manager ①認証情報を参照 一般公開されていないFAQ 14
15. ⑤ ⑥ Claude 2 質問~Kendraの結果表示 User ①同期 Amazon Bedrock ⑦ Amazon Kendra AWS Secrets Manager ①認証情報を参照 一般公開されていないFAQ ②質問 ③検索クエリ ④結果表示 15
16. ②質問 Kendraの結果取得~回答生成 User ①同期 Amazon Bedrock Amazon Kendra AWS Secrets Manager ①認証情報を参照 一般公開されていないFAQ ③検索クエリ ④結果表示 ⑤結果を取得 ⑥回答 生成 ⑦ 16 Claude 2
17. ⑤結果を取得 ⑥回答 生成 Claude 2 Kendraの結果取得&Bedrockの回答確認 User ①同期 Amazon Bedrock Amazon Kendra AWS Secrets Manager ①認証情報を参照 一般公開されていないFAQ ②質問 ③検索クエリ ④結果表示 ⑦結果& 回答確認 17
18. 参考にしたGitHubリポジトリ https://github.com/aws-samples/jp-rag-sample ・2時間で構築可能 ・Amazon Bedrock対応! 18
19. いいところ • 回答の質が高い • 待ち時間が気にならない • データソースの追加が容易 19
20. 回答の質が高い RAGアプリの回答 素のモデルの回答 資料[0]によると、HULFTの設定を異 なるOS間で直接引き継ぐ機能は用 意されていないようです。 代替手段として、HULFTの管理情報 をパラメータファイルに書き出して移 行する方法が提案されています。 はい、HULFTの設定を異なる OS間で引き継ぐことは可能で す。 主に以下の2つの方法が あります。～～～～～ 質問：異なるOS間でHULFTの設定を引き継ぐことは可能でしょうか。 もっともらしい嘘の回答 （ハルシネーション） 正確な回答 20
21. 待ち時間が気にならない Amazon Kendra Amazon Bedrock 約10~20秒 約2秒 Kendraの検索結果 AIの回答 21
22. データソースの追加が容易 Amazon Kendra 数回クリック 追加 豊富な対応コネクタ •Amazon S3 •Amazon RDS for MySQL/PostgreSQL •Amazon Aurora MySQL/PostgreSQL •Amazon FSx for Windows File Server •Amazon WorkDocs •Adobe Experience Manager •Alfresco •Box Enterprise •Atlassian Confluence •Dropbox •GitHub (オンプレミス & SaaS) •Google Drive •Google Gmail •Jira Cloud •Microsoft Exchange(E-mail) •Microsoft OneDrive •Microsoft Teams •Microsoft SharePoint (Online&On-P) •Microsoft Yammar •Perficient •Quip •Salesforce •Slack •ServiceNow •Zendesk ※CFn、CLI等でも可 22
23. 使ってもらった方からのフィードバック 23
24. もっと色んなドキュメントを一括で検索できるようにするとよ り有効活用できると思います。 AIの回答や検索結果に目的と異なる情報が含まれている （特定の条件でフィルタリングしたい） 24 多かった意見 ※文言は多少変更しています。 トレードオフ
25. 25 改善策の例 ・Amazon KendraをEnterprise Editionにアップグレードする ・Amazon KendraのAttributeFilter機能を用いる https://aws.amazon.com/jp/kendra/pricing/ Amazon Kendraにおける各Editionの違い Developer Edition Enterprise Edition ドキュメントのストレージ 最大10,000ドキュメント 最大100,000ドキュメント データソース 5 50 月額料金 810 USD 1008 USD
26. 他企業の事例 ・クラスメソッド、社内ヘルプデスクに生成AIを活用、 Amazon Bedrock/Kendraを組み合わせて構築 https://it.impress.co.jp/articles/-/25430 ・竹中工務店、建設業ナレッジ検索「デジタル棟梁」を生成AI 「Amazon Bedrock」で構築 https://it.impress.co.jp/articles/-/25424 ・富士ソフトが生成系AIサービス「Amazon Bedrock」の活用をサポート https://romptn.com/article/17450 26
27. さいごに伝えたいこと 27
28. Kendraの記事、、少なすぎ？ https://qiita.com/tags/bedrock https://qiita.com/tags/kendra 28 ・https://qiita.com/ における記事数（2023/10/23時点）
29. https://qiita.com/tags/bedrock https://qiita.com/tags/kendra 29 「Amazon」つけ忘れてた？ GAは3年以上前のはず、、、
30. みんなでナレッジを溜めていこう！ 記事投稿はやはり重要 →最初に手を動かすきっかけになる →ユーザーが増える →よりナレッジが溜まる 30
31. ご清聴ありがとうございました！ 31