Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
AWSでRAGを実現する上で感じた3つの大事なこと
Search
y-mae
February 06, 2025
Technology
2k
3
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
AWSでRAGを実現する上で感じた3つの大事なこと
ARI TechSummit ~AI・生成AI~(2025/02/06実施)LT登壇資料
y-mae
February 06, 2025
Transcript
23 slides
前野 佑宜 アイレット株式会社 DX開発事業部 モダンエンジニアリングセクション ビジネスデザインG AWSでRAGを実現する上で 感じた3つの大事なこと ARI TechSummit
~AI・生成AI~
はじめに〜 LTの要点〜 本LTでお伝えしないこと • RAGの基本的な概念の解説 • 具体的な実装→Qiitaブログで解説しております • AWSでRAGを実現する上で学んだ教訓 ◦
RAGを実現する上で直面した課題、解決策 本LTでお伝えすること
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
前野 佑宜 2023年新卒入社/入社2年目 2024 Japan AWS Jr. Champions選出 アイレット株式会社 ま え の
ゆ う き 経歴 DX開発事業部/モダンエンジニアリングS/ビジネスデザインG 担当業務 Python/Laravelを使ったバックエンド開発を主に担当 現在はAWSの生成AIサービス/RAGを組み合わせたPoC(概 念実証)に従事 関心のある領域 AWS× AI/MLの領域(Amazon Bedrock/ Amazon SageMakerなど)
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
02.AWSでRAGを実現する手段を整理 AWSにおけるRAG構成パターン(代表例) Kendra+Bedrock Knowledge Base
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
03.実際に直面した課題 /解決策 「RAG」実現にあたって直面した課題 ①Kendraで同期できないデータがある ②検索性の問題 ③精度をどうやって評価する?
03.実際に直面した課題 /解決策 ①Kendraで同期できないデータがある 同期に失敗 したファイル Document cannot be indexed since
it contains no text to index and search on. Document must contain some text 文字情報が 存在しないと index化不可
03.実際に直面した課題 /解決策 ①Kendraで同期できないデータがある →Amazon Bedrock(Claude Haiku 3)によるテキスト化であ る程度解決 ※書き起こし精度は 元々のドキュメントに
依存 「可能な限りテキスト化して」
03.実際に直面した課題 /解決策 ②検索性の問題 データソースのファイル数増 →「ユーザーが本当に必要としている情報」⇔「実際表示される検索結果」 検証期間は残り 2週間。 なんとか結果を出さねば・・
03.実際に直面した課題 /解決策 ②検索性の問題 →メタデータによるフィルタリングで解決! RAG の精度を向上させる Advanced RAG on AWS
の道標 (AWS Blog)より引用 短い期間でも 改善可能と判断
03.実際に直面した課題 /解決策 ②検索性の問題 メタデータによるフィルタリングのイメージ
03.実際に直面した課題 /解決策 ③精度をどう評価する? RAGのパフォーマンスをどのように評価するか?が課題だった ・検証フェーズは約 1ヶ月。 ・RAG評価ツールに関する知見もあまりない (RAGAS やRAGChecker はちょっと聞いたことある、程度)
03.実際に直面した課題 /解決策 ③精度をどう評価する? →評価項目を定義し、 RAGの結果を定量化 「どんな質問をすることを想定?」 「どんな回答が返ってきたら満足度高い?」 「RAGにおいて何を重視している?」 お客様 「質問内容に近いドキュメントが返却される」
ことが大事
03.実際に直面した課題 /解決策 ③精度をどう評価する? →事前のすり合わせに基づいて、評価スコアを定義・評価 →可視化 最終評価するのはお客様。 →事前にすり合わせを行うことで 最終評価の参考にできる
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
04.RAGを実現する上で学んだ教訓 AWSのRAGにおいて大事だと思ったこと ①データソースの質を担保する重要性 ②前段の”検索”の仕組みの改善 ③精度評価 →「お客様と対話し、現場のニーズを把握」
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
RAG=「銀の弾丸」ではない! 地道な改善 /ニーズの把握 こそが成果につながる!
ご清聴ありがとうございました
参照文献 • 関連ブログ ◦ AWSでRAGを実装する上で感じた3つの大事なこと (Qiitaブログ) ◦ RAG の精度を向上させる Advanced
RAG on AWS の道標 (AWS)
More Decks by y-mae
See All by y-mae
Claude CodeとAmazon Bedrock AgentCoreでつくる、自分だけのAIアシスタント
ymae
0
270
GenU の『Agent Builder』を使ってお手軽に AI エージェントを作成・利用してみよう
ymae
0
160
雲勉LT_Amazon Bedrock AgentCoreを知りAIエージェントに入門しよう!
ymae
2
370
3/26 クラウド食堂LT #2 GenU案件を通して学んだ教訓 登壇資料
ymae
2
920
「genai-quickstart-pocs」を使ってお手軽に生成AIのPoCを始めよう!
ymae
3
340
生成AIとAWS CDKで実現! 自社ブログレビューの効率化
ymae
4
1.6k
Other Decks in Technology
See All in Technology
2026-11-16 JAWS-UG コンテナ支部 #31 ゆるLT大会 ECR のライフサイクルポリシーを いい感じに設定したい / ECR Lifecycle policy
masasuzu
3
590
[NW-JAWS DAY]「うちのAWS、インターネット出られないんで」― AWS外の自社サービスをPrivateLinkでシュッと公開する方法
ykimi
3
910
おうち環境でも「なるべく止めたくない!」 ― おうち環境の機器冗長化の理想と現実
yuutosi
1
630
Web Performance Is a Journey [PerfNow 2026]
tammyeverts
2
100
SBOM 生成ツールで 2026 Minimum Elements はどこまで満たせるのか
gokken
0
120
Context parameters で作る!はじめての型クラス
kworkdev
PRO
1
160
サーバーラックは作る時代! 3Dプリンターで作る10インチラックのススメ
jacopen
2
490
Amazon Bedrock AgentCore の基礎とセキュリティ・ガバナンス
ren8k
0
220
3文字略語に騙されない! 世界一わかりやすい『EDR』超入門
kamadamakoto
1
310
Well, that’s weird…
csswizardry
1
160
変更差分を読むために環境を整備しよう
pipepasta
1
490
業務の傍らで進める改善ループエンジニアリング
bengo4com
1
230
Featured
See All Featured
Gemini Prompt Engineering: Practical Techniques for Tangible AI Outcomes
mfonobong
2
640
Neural Spatial Audio Processing for Sound Field Analysis and Control
skoyamalab
0
630
How Fast Is Fast Enough? [PerfNow 2025]
tammyeverts
3
990
How to Talk to Developers About Accessibility
jct
2
630
The Anti-SEO Checklist Checklist. Pubcon Cyber Week
ryanjones
0
310
The agentic SEO stack - context over prompts
schlessera
0
1k
Bash Introduction
62gerente
615
220k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
18k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4.6k
The Hidden Cost of Media on the Web [PixelPalooza 2025]
tammyeverts
2
580
Why Our Code Smells
bkeepers
PRO
340
58k
Designing Powerful Visuals for Engaging Learning
tmiket
1
660