Bedrock Knowledge baseを使って今年の上半期のニュースを聞いてみた (リベンジ編)

2024/8/27 「製造業でも生成AI活用したい！名古屋LLM MeetUp#2」
https://kinto-technologies.connpass.com/event/325725/

Transcript

1. Bedrock Knowledge baseを使って今年 の上半期のニュースを聞いてみた (リベンジ編) KMiura(@k_miura_io)
2. 自己紹介 • 三浦 耕生(こうき) • Acallのバックエンドエンジニア • JAWS UG名古屋＆神戸 運営 • Cloudflare Meetup名古屋 運営 • 鯱.py 運営 @k_miura_io koki.miura05
3. このイベントでやったLT覚えてますか？
4. LTについて今北産業 • Step FunctionsでNews APIを使ってその日のヘッ ドラインニュースをSlackのAPIで投稿するワークフ ロー作った • Slackで投稿するだけではなくAPIのレスポンスログ をS3に溜め込むETL的な機能も用意 • S3に溜め込んだデータをそのままBedrockに使うと いう話
5. S3のデータをKnowledgebaseにできる 仕組みがあるらしい • Amazon BedrockのKnowledgebaseを使うとS3をソースにフルマネージドなRAGを実現 できそう • 調べてみると外部のベクトルデータベースを使う方法があるが、わざわざ用意しなくても OpenSearch Serverlessを使うことができる(むしろ今のところそれが推奨っぽい)
6. 実際にデモチャットで確認 • 答えは帰って来るがなんか微妙… • 日付周りが結構弱い
7. どうすれば精度上がりそう？ • 読み込ませたソースになっているファイルがAPIのレスポンスをそのまま保存して いるだけなのでCSVとかで整形したほうがいいかも • ソースごとにメタデータ情報を記載したjsonファイルをバケットに足すことで応答精 度が上がるそう 今回はこれを試してリベンジする話
8. データ生成のフロー • すでに存在するAPIのレスポンスログを溜め込むバケットにデータが保存されたこ とをトリガーでKnowledge Base用のデータを整形 • SQSに流し込んでLambdaでCSVとmetadataのjsonの生成を自動化 • ベクトルデータベースにはPineconeを使用(OpenSearchは高すぎるｗ)
9. 生成したデータフォーマット
10. metadata { "metadataAttributes":{ ”year":”2024" } }
11. それっぽい返答が 出るようになった
12. 上半期のニュースも 抽出できた
13. DEMO
14. まとめ • BedrockのKnowledge Baseに対応したデータフォーマットに変換するこ とでAWS上で手軽にRAGを実現できる • metadataを活用することでより適切なデータを取得できた • 多少コードが書けるとデータ整形の自動化がだいぶ楽になる
15. 宣伝 https://bit.ly/4dBnLIf
16. END