Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWSでRAGを実現する上で感じた3つの大事なこと
Search
y-mae
February 06, 2025
Technology
3
1.5k
AWSでRAGを実現する上で感じた3つの大事なこと
ARI TechSummit ~AI・生成AI~(2025/02/06実施)LT登壇資料
y-mae
February 06, 2025
Tweet
Share
More Decks by y-mae
See All by y-mae
3/26 クラウド食堂LT #2 GenU案件を通して学んだ教訓 登壇資料
ymae
1
300
「genai-quickstart-pocs」を使ってお手軽に生成AIのPoCを始めよう!
ymae
3
230
生成AIとAWS CDKで実現! 自社ブログレビューの効率化
ymae
4
1k
Other Decks in Technology
See All in Technology
Claude Code Actionを使ったコード品質改善の取り組み
potix2
PRO
3
1.4k
(非公式) AWS Summit Japan と 海浜幕張 の歩き方 2025年版
coosuke
PRO
1
330
Azure AI Foundryでマルチエージェントワークフロー
seosoft
0
150
Definition of Done
kawaguti
PRO
6
460
kubellが挑むBPaaSにおける、人とAIエージェントによるサービス開発の最前線と技術展望
kubell_hr
1
390
Snowflake Summit 2025全体振り返り / Snowflake Summit 2025 Overall Review
mtpooh
2
190
LinkX_GitHubを基点にした_AI時代のプロジェクトマネジメント.pdf
iotcomjpadmin
0
160
A2Aのクライアントを自作する
rynsuke
1
150
Amazon ECS & AWS Fargate 運用アーキテクチャ2025 / Amazon ECS and AWS Fargate Ops Architecture 2025
iselegant
13
4.3k
Кто отправит outbox? Валентин Удальцов, автор канала Пых
lamodatech
0
270
本当に使える?AutoUpgrade の新機能を実践検証してみた
oracle4engineer
PRO
1
120
生成AIでwebアプリケーションを作ってみた
tajimon
2
120
Featured
See All Featured
Designing for Performance
lara
609
69k
Bash Introduction
62gerente
614
210k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
16
940
KATA
mclloyd
29
14k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Balancing Empowerment & Direction
lara
1
340
Fireside Chat
paigeccino
37
3.5k
Building Applications with DynamoDB
mza
95
6.5k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.5k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
20
1.3k
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
Transcript
前野 佑宜 アイレット株式会社 DX開発事業部 モダンエンジニアリングセクション ビジネスデザインG AWSでRAGを実現する上で 感じた3つの大事なこと ARI TechSummit
~AI・生成AI~
はじめに〜 LTの要点〜 本LTでお伝えしないこと • RAGの基本的な概念の解説 • 具体的な実装→Qiitaブログで解説しております • AWSでRAGを実現する上で学んだ教訓 ◦
RAGを実現する上で直面した課題、解決策 本LTでお伝えすること
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
前野 佑宜 2023年新卒入社/入社2年目 2024 Japan AWS Jr. Champions選出 アイレット株式会社 ま え の
ゆ う き 経歴 DX開発事業部/モダンエンジニアリングS/ビジネスデザインG 担当業務 Python/Laravelを使ったバックエンド開発を主に担当 現在はAWSの生成AIサービス/RAGを組み合わせたPoC(概 念実証)に従事 関心のある領域 AWS× AI/MLの領域(Amazon Bedrock/ Amazon SageMakerなど)
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
02.AWSでRAGを実現する手段を整理 AWSにおけるRAG構成パターン(代表例) Kendra+Bedrock Knowledge Base
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
03.実際に直面した課題 /解決策 「RAG」実現にあたって直面した課題 ①Kendraで同期できないデータがある ②検索性の問題 ③精度をどうやって評価する?
03.実際に直面した課題 /解決策 ①Kendraで同期できないデータがある 同期に失敗 したファイル Document cannot be indexed since
it contains no text to index and search on. Document must contain some text 文字情報が 存在しないと index化不可
03.実際に直面した課題 /解決策 ①Kendraで同期できないデータがある →Amazon Bedrock(Claude Haiku 3)によるテキスト化であ る程度解決 ※書き起こし精度は 元々のドキュメントに
依存 「可能な限りテキスト化して」
03.実際に直面した課題 /解決策 ②検索性の問題 データソースのファイル数増 →「ユーザーが本当に必要としている情報」⇔「実際表示される検索結果」 検証期間は残り 2週間。 なんとか結果を出さねば・・
03.実際に直面した課題 /解決策 ②検索性の問題 →メタデータによるフィルタリングで解決! RAG の精度を向上させる Advanced RAG on AWS
の道標 (AWS Blog)より引用 短い期間でも 改善可能と判断
03.実際に直面した課題 /解決策 ②検索性の問題 メタデータによるフィルタリングのイメージ
03.実際に直面した課題 /解決策 ③精度をどう評価する? RAGのパフォーマンスをどのように評価するか?が課題だった ・検証フェーズは約 1ヶ月。 ・RAG評価ツールに関する知見もあまりない (RAGAS やRAGChecker はちょっと聞いたことある、程度)
03.実際に直面した課題 /解決策 ③精度をどう評価する? →評価項目を定義し、 RAGの結果を定量化 「どんな質問をすることを想定?」 「どんな回答が返ってきたら満足度高い?」 「RAGにおいて何を重視している?」 お客様 「質問内容に近いドキュメントが返却される」
ことが大事
03.実際に直面した課題 /解決策 ③精度をどう評価する? →事前のすり合わせに基づいて、評価スコアを定義・評価 →可視化 最終評価するのはお客様。 →事前にすり合わせを行うことで 最終評価の参考にできる
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
04.RAGを実現する上で学んだ教訓 AWSのRAGにおいて大事だと思ったこと ①データソースの質を担保する重要性 ②前段の”検索”の仕組みの改善 ③精度評価 →「お客様と対話し、現場のニーズを把握」
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
RAG=「銀の弾丸」ではない! 地道な改善 /ニーズの把握 こそが成果につながる!
ご清聴ありがとうございました
参照文献 • 関連ブログ ◦ AWSでRAGを実装する上で感じた3つの大事なこと (Qiitaブログ) ◦ RAG の精度を向上させる Advanced
RAG on AWS の道標 (AWS)