Amazon BedrockでAgentic RAGを構築し、 Slack連携して学習曲線を〇〇にした件

Transcript

1. Amazon BedrockでAgentic RAGを構築し、 Slack連携して学習曲線を〇〇にした件 2024/2/6 【AWS活用 徹底Amazon Bedrock #2】Knowledge Bases 編 KINTOテクノロジーズ株式会社 IT/IS部 生成AI活用PJT
2. ©KINTO Corporation. All rights reserved. 2 プロフィール メイン業務として、社内の生成AI活用を推進中 • 生成AI研修 • 生成AIユースケース開発 • 生成AIプロジェクトの技術支援 KINTOテクノロジーズ株式会社 IT/IS部 生成AI活用PJT Generative AI Engineer 須田詩織 / Shiori Suda @shor_t8q
3. ©KINTO Corporation. All rights reserved. 3 KINTOテクノロジーズとは？ 1
4. トヨタグループのWebサービスの先駆者として、 モビリティサービスを支える プロダクトを作り、育て、 世界のお客様にご利用いただくことを 目指しています https://speakerdeck.com/ktc_creative/ktc-introduction?slide=10
5. ©KINTO Corporation. All rights reserved. 5 KINTOテクノロジーズ株式会社について（グループ組織） トヨタ自動車株式会社 トヨタファイナンシャルサービス株式会社 海外販売金融 現地事業会社 世界40以上の国と地域で サービスを展開 KINTOテクノロジーズ 株式会社 株式会社KINTO トヨタファイナンス 株式会社 販売金融・クレジット カードなど
6. ©KINTO Corporation. All rights reserved. 6 KINTOテクノロジーズが関わっているプロダクト
7. ©KINTO Corporation. All rights reserved. 7 当社における生成AI取り組み状況 2
8. だれもが当たり前に生成AI を活用していくために、 生成AI活用PJTは何をしてい るのか？
9. ©KINTO Corporation. All rights reserved. 9 教育・研修 全社員の生成AIリテラシー向上 ユースケース発掘へ繋げる ① 良いアイデアを 生み出す ② 実現の 目処をつける ④ 事例展開 ③ 実装して デリバリーする ユースケース開発 開発/事務生産性向上 新たなシステム企画の創出 技術調査 ユースケース開発における 手段を調査、目処付けする 生成AI活用PJTの役割は？
10. ©KINTO Corporation. All rights reserved. 10 ぜひXでご感想いただけると嬉しいです！ #BLUEISH_Bedrock
11. ©KINTO Corporation. All rights reserved. 11 プロローグ 3
12. ©KINTO Corporation. All rights reserved. 12 クリエイティブ生成AIツールのニーズが社内で高まる
13. 時は生成AIツール乱世・・ 企業で生成AIツールの活用 を推進するにはどうすれば いいのか・・？
14. ©KINTO Corporation. All rights reserved. 14 クリエイティブ生成AIツール検証プロジェクト始動！ https://runwayml.com/ https://www.midjourney.com/ https://openai.com/sora/
15. ©KINTO Corporation. All rights reserved. 15 各ツールの慣れやプロンプト精度向上が必要だと認識 ツール別に公式ドキュメントを読み込み、マルチパラメーターを調整して精度の高い アウトプットをするのは、かなりの情報収集、実験、職人技術が必要そう。。 https://academy.runwayml.com/gen2/prompting-for-text-to-video https://academy.runwayml.com/gen3-alpha/character-videos-in-actone https://docs.midjourney.com/docs/parameter-list
16. 属人化によらない、一定の品質で生 成AIのアウトプット精度を向上させ る仕組みはないだろうか？
17. ©KINTO Corporation. All rights reserved. 17 Amazon Bedrockを活用し、 Agentic RAGｘSlackで壁打ちBotを構築 4
18. ©KINTO Corporation. All rights reserved. 18 解決策：利用イメージ ①“プロンプト作成して！” というプロンプトを送信 ⑤Bedrockから の回答を受信 ②AIエージェント が各ツールのナ レッジベースから 情報を検索する ④取得した情報を基 にAIエージェントが 回答を生成する ③AIエージェント が最適な情報を取 得する(RAG) ⑥生成されたプロン プトで画像を生成 Midjourney x Discord Server (画像生成UI)
19. ©KINTO Corporation. All rights reserved. 19 ナレッジベースはサイトの記事なので、クローリングを選択
20. ©KINTO Corporation. All rights reserved. 20 サイト構造を見極めて最適なクローリングオプションを選択
21. ©KINTO Corporation. All rights reserved. 21 デフォルトのチャンキング戦略は？ 300≒日本語600文字程度（1トークンあたり2文字として計算） https://docs.aws.amazon.com/ja_jp/bedrock/latest/userguide/kb-chunking.html
22. ©KINTO Corporation. All rights reserved. 22 チャンキングはユースケース別にベストプラクティスがある 今回は社内向け、高い精度は必要なし、各ツールのドキュメントページの文字数は少ない、な どの理由でチャンキングなしを選択。最近は、LLMの処理トークン数が増えており、チャン クング戦略なしも有効、もしろチャンキングなしの方が精度が高いこともあると言われている。
23. ©KINTO Corporation. All rights reserved. 23 エンベディングモデルはデフォルトのTitanを利用
24. ©KINTO Corporation. All rights reserved. 24 LLMは、AnthropicのClaude 3.5 Sonnetを採用
25. ナレッジベース作成完了！
26. ©KINTO Corporation. All rights reserved. 26 ナレッジベース作成後、テストを実施し上手く動いていることを確認
27. ©KINTO Corporation. All rights reserved. 27 エージェントとの連携 6
28. ©KINTO Corporation. All rights reserved. 28 AIエージェント編集画面でナレッジベースと連携する ※AIエージェント作成の詳細は割愛
29. ©KINTO Corporation. All rights reserved. 29 Slackとの連携 7
30. ©KINTO Corporation. All rights reserved. 30 AWSとSlackを連携 ※Slack連携の詳細は割愛
31. ©KINTO Corporation. All rights reserved. 31 結果は・・？ 8
32. ©KINTO Corporation. All rights reserved. 32 Slackで壁打ちBotに質問すると・・・？ “UIUX用のアイコンセットを生成した いです。アイコンに必要なプロンプト の要素を挙げ、その要素に沿って、プ ロンプトを作成し、適宜最適なアイコ ンを作成するマルチパラメーターをプ ロンプトに追加してください。” と送信するとプロンプトを作成してく れる！
33. ©KINTO Corporation. All rights reserved. 33 作成されたプロンプトをMidjourneyで実行すると・・・？ 左上のバリエーションオ プションから一括でアイ コンセットが作成され た！！
34. ©KINTO Corporation. All rights reserved. 34 ナレッジベース作成時、気を付けたほうが いいことは・・・？ 9
35. ©KINTO Corporation. All rights reserved. 35 気をつけた方がいいことは・・？ • ナレッジベースの作成が失敗したら・・？リージョン、時刻、参 照データの量を減らしてみる（クローリング対象のページを絞っ たり、クローリングオプションを変更するなど） • ナレッジベースをアクティベーションするには、データソースの 同期が必要 • クローリングできないサイトは、データソース同期に失敗する
36. ©KINTO Corporation. All rights reserved. 36 考察 10
37. ©KINTO Corporation. All rights reserved. 37 Agentic RAGでキャッチアップの学習曲線を緩やかにする効果を期待できる 学習曲線を緩やかに することができる！ 0→1のキャッチアップはエネル ギーや学習量がかなり必要。挫折 してしまう原因に。 ドキュメントやヘルプなどの学習 教材を参照させたRAGで、学習補 助をするのは0→1に有効 *The Graph has been made by GPT-4o *The Graph has been made by GPT-4o
38. ©KINTO Corporation. All rights reserved. 38 Agentic RAGで学習/キャッチアップ支援をするのは有効か？ • 沢山の生成AIツールを同時にキャッチアップするのは多くの工数 を要するため、ドキュメントセンターやヘルプセンターの記事を 参照させたRAGは0→1の支援としては有効。 • 1→100の専門性、職人技が必要とされる部分では、検証メンバー と地道なトライ＆エラーを繰り返し、社内でユースケースをナ レッジ化する必要がある。 • 生成AIツールの全社展開の場面では、検証メンバーがナレッジ化 したドキュメントライブラリでRAGを実装し、学習支援ツールと するのが最適なのでは？と考えている。
39. ©KINTO Corporation. All rights reserved. 39 利用イメージ（※前のスライドと同じ） ①“プロンプト作成して！” というプロンプトを送信 ⑤Bedrockから の回答を受信 ②AIエージェント が各ツールのナ レッジベースから 情報を検索する ④取得した情報を基 にAIエージェントが 回答を生成する ③AIエージェント が最適な情報を取 得する(RAG) ⑥生成されたプロン プトで画像を生成 Midjourney x Discord Server (画像生成UI)
40. ©KINTO Corporation. All rights reserved. 40 今後はMulti-Agentic RAGへ ⭐️スーパバイザー エージェント 画像に対応するエージェ ント振り分け Midjourney エージェント Runway エージェント 〇〇ツールの エージェント 動画に対応するエージェ ント振り分け 〇〇に対応するエージェ ント 各エージェントへの振り 分けと回答のまとめを行 い、ユーザーに回答する 動画に関する回答 画像に関する回答 〇〇に関する回答 画像に関する情報検索 画像に関する情報取得 動画に関する情報検索 動画に関する情報取得 今回のスコープ
41. Appendix
42. ©KINTO Corporation. All rights reserved. 42 ベストとされているチャンキング戦略は？ https://techcommunity.microsoft.com/blog/azure-ai-services-blog/azure-ai-search-outperforming-vector-search-with-hybrid-retrieval-and-reranking/3929167#toc-hId-1949807241 Microsoftによると、512トークン、 25%のオーバラップが最適とされる ※1トークン≒日本語約2文字（※モデルによる大きく異なる） ※ベクトル検索のみ (セマンティックランキングなし)
43. ©KINTO Corporation. All rights reserved. 43 トークンを調べるには？ https://platform.openai.com/tokenizer Open AIのTokenizerが便利！ 日本語を入力すると、モデルごとに 何トークン＆何文字消費するかわか るツールです！ 「こんにちは」5文字で すが、1トークン、 「お昼ごはん」も5文字 ですが、5トークン
44. KINTOテクノロジーズと 生成AIイベントを協同開催しませんか？ イベントconnpassページはこちら LT、勉強会、活用事例紹介など まずは、お気軽にお問い合わせください！ ml-team-genai@kinto-technologies.com
45. ©KINTO Corporation. All rights reserved. 45 生成AIの情報を発信中！ https://x.com/shor_t8q https://www.linkedin.com/in/shiori-suda/ Follow me!
46. ©KINTO Corporation. All rights reserved. 46 Thank you！