Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
検索拡張生成(RAG)をAWSで作る方法
Search
そのだ
April 24, 2024
Technology
1
720
検索拡張生成(RAG)をAWSで作る方法
【connpass】
Fusic Tech Live Vol.19 機械学習~生成AI編(言語・音声)~
https://fusic.connpass.com/event/310627/
そのだ
April 24, 2024
Tweet
Share
More Decks by そのだ
See All by そのだ
RAGの基礎から実践運用まで:AWS BedrockとLangfuseで実現する構築・監視・評価
sonoda_mj
0
680
Amazon Bedrock Knowledge Basesに Data Autometionを導入してみた
sonoda_mj
1
45
Amazon Bedrock Knowledge basesにLangfuse導入してみた
sonoda_mj
2
690
AIエージェントに脈アリかどうかを分析させてみた
sonoda_mj
2
230
Amazon Bedrock Knowledge Basesのアップデート紹介
sonoda_mj
2
440
Snowflake未経験の人がSnowflakeに挑戦してみた
sonoda_mj
1
110
生成AIアプリのアップデートと配布の課題をCDK Pipelinesで解決してみた
sonoda_mj
0
430
AWSでRAGを作る方法
sonoda_mj
1
520
緑一色アーキテクチャ
sonoda_mj
2
270
Other Decks in Technology
See All in Technology
Java 30周年記念! Javaの30年をふりかえる
skrb
4
2.5k
技術書典18結果報告
mutsumix
2
190
DevOpsDays Taipei 2025 - Opening Remarks
cheng_wei_chen
0
120
2025advance01
minamizaki
0
140
セキュリティSaaS企業が実践するCursor運用ルールと知見 / How a Security SaaS Company Runs Cursor: Rules & Insights
tetsuzawa
1
1.4k
組織とセキュリティ文化と、自分の一歩
maimyyym
3
1.3k
ゴリラ.vim #36 ~ Vim x SNS ~ スポンサーセッション
yasunori0418
1
430
Autocon3 - Building Trustworthy Network Automation, From Principles to Practice
dgarros
2
110
新卒から4年間、20年もののWebサービスと向き合って学んだソフトウェア考古学 - PHPカンファレンス新潟2025 / new graduate 4year software archeology
oguri
2
380
All About Sansan – for New Global Engineers
sansan33
PRO
1
1.2k
エンジニアが組織に馴染むために勉強会を主催してチームの壁を越える
ohmori_yusuke
2
130
Data Hubグループ 紹介資料
sansan33
PRO
0
1.8k
Featured
See All Featured
Designing for humans not robots
tammielis
253
25k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Music & Morning Musume
bryan
47
6.6k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.2k
Speed Design
sergeychernyshev
30
970
Optimizing for Happiness
mojombo
378
70k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
850
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Making Projects Easy
brettharned
116
6.2k
Transcript
©Fusic Co., Ltd. 1 検索拡張⽣成(RAG)をAWSで作る⽅法 2024.4.24 苑⽥ 朝彰 @sonoda_mj Fusic
Tech Live Vol.19
©Fusic Co., Ltd. 2 苑⽥ 朝彰 Sonoda Tomotada - X:
sonoda_mj - 2023 AWS Jr.Champions - 2024 Community Builders(ML & GenAI) コメント 最近AWS StepFunctionsにハマってる ⾃⼰紹介 はじめに 株式会社Fusic
©Fusic Co., Ltd. 3 CONTENTS ⽬次 1. 検索拡張⽣成(RAG)とは 2. RAGをAWSで作ってみる
3. まとめ
©Fusic Co., Ltd. 4 検索拡張⽣成(RAG)とは 1
©Fusic Co., Ltd. 5 Retrieval Augmented Generation(RAG) ⽣成系の⾔語 AI モデルに外部メモリをつけるというコンセプトのことを指す
検索拡張⽣成(RAG)とは Vector Database LLM 質問 検索 返答 検索結果 引用:https://github.com/aws-samples/jp-rag-sample
©Fusic Co., Ltd. 6 事前に学習したデータに関しては返答することができる 検索拡張⽣成(RAG)とは LLM AWSについて教えて AWSってのはな
©Fusic Co., Ltd. 7 しかし、プライベート情報や新しい情報など、学習していない内容に関しては答 えられない 検索拡張⽣成(RAG)とは 苑⽥について教えて 私の知識はxxxx年まででぇ LLM
©Fusic Co., Ltd. 8 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に 関する回答を⽣成することができる 検索拡張⽣成(RAG)とは Vector Database 苑⽥について教えて
©Fusic Co., Ltd. 9 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に 関する回答を⽣成することができる 検索拡張⽣成(RAG)とは Vector Database 苑⽥について教えて
©Fusic Co., Ltd. 10 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に 関する回答を⽣成することができる 検索拡張⽣成(RAG)とは Vector Database 検索結果を返す
©Fusic Co., Ltd. 11 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に 関する回答を⽣成することができる 検索拡張⽣成(RAG)とは Vector Database 苑⽥ってのは…
©Fusic Co., Ltd. 12 Fusicの公開情報から構成されるRAG Fusic-RAG メンバー紹介 ニュース 開発事例 その他
©Fusic Co., Ltd. 13 RAGはどういう処理を⾏っているのか 1. 質問をベクトル化する 2. ベクトル化した質問を元に、Vector DBから似ているベク
トル(上位n個)を探す 3. 検索結果と質問からプロンプトを作成 4. LLMにプロンプトを投げる
©Fusic Co., Ltd. 14 今回の登場⼈物 User Embedding Model Vector DB
LLM 質問をする⼈ テキストをベクトル にするモデル ベクトル⽤のDB テキストを⽣成する モデル
©Fusic Co., Ltd. 15 Vector DBにデータを⼊れる AWSを業務で使っています。 テキストを ベクトル化する Vector
DB Embedding Model LLM データソース
©Fusic Co., Ltd. 16 Vector DBにデータを⼊れる [0.1, 0.5, 0,3 …]
Vector DB Embedding Model LLM データソース
©Fusic Co., Ltd. 17 Vector DBにデータを⼊れる ≈≈ { [0.1, 0.5,
0,3 …] metadata: { text: AWSを業務で使っています。 dataSource: sonoda.md } } Vector DB Embedding Model LLM データソース
©Fusic Co., Ltd. 18 1. 質問をベクトル化する 苑⽥さんって誰ですか? Vector DB Embedding
Model LLM
©Fusic Co., Ltd. 19 1. 質問をベクトル化する [0.1, 0.5, 0,3 …]
Vector DB Embedding Model LLM
©Fusic Co., Ltd. 20 2. ベクトル化した質問を元に、Vector DBから似ているベクトルを探す [0.1, 0.5, 0,3
…]に似ている ベクトルを探す Vector DB Embedding Model LLM
©Fusic Co., Ltd. 21 2. ベクトル化した質問を元に、Vector DBから似ているベクトルを探す { [0.1, 0.5,
0,3 …] metadata: { text: AWSを業務で使っています。 dataSource: sonoda.md } } 似てるのあったわ Vector DB LLM
©Fusic Co., Ltd. 22 Embedding Model 3. 検索結果と質問からプロンプトを作成 あなたはhogehogeです 以下の質問に答えてください
# 情報 AWSを業務で使っています。 # 質問 苑⽥さんって誰ですか? Vector DB LLM
©Fusic Co., Ltd. 23 Embedding Model 4. LLMにプロンプトを投げる Vector DB
LLM あなたはhogehogeです 以下の質問に答えてください # 情報 AWSを業務で使っています。 # 質問 苑⽥さんって誰ですか?
©Fusic Co., Ltd. 24 4. LLMにプロンプトを投げる AWSを業務で使ってます Vector DB Embedding
Model LLM
©Fusic Co., Ltd. 25 会話履歴も⼊れてみる 苑田とは誰ですか? AWSエンジニアです 詳細を教えてください 詳細とは何でしょうか? 苑田とは誰ですか?
AWSエンジニアです 詳細を教えてください 彼はAWSだけではなく、Rubyも書ける ようです。緑のタイツを着ています。 会話履歴を使⽤しない場合 会話履歴を使⽤した場合
©Fusic Co., Ltd. 26 RAGをAWSで作ってみた 2
©Fusic Co., Ltd. 27 AI21 Labs、Anthropic、Cohere、Meta、Stability AI、Amazon などの⼤⼿ AI 企業が提供する⾼性
能な基盤モデル (FM) を単⼀の API で選択できるフルマネージド型サービス Amazon Bedrockとは
©Fusic Co., Ltd. 28 RAGはどういう処理を⾏っているのか(再掲) 1. 質問をベクトル化する 2. ベクトル化した質問を元に、Vector DBから似ているベク
トル(上位n個)を探す 3. 検索結果と質問からプロンプトを作成 4. LLMにプロンプトを投げる
©Fusic Co., Ltd. 29 RAGはどういう処理を⾏っているのか(再掲) 1. 質問をベクトル化する 2. ベクトル化した質問を元に、Vector DBから似ているベク
トル(上位n個)を探す 3. 検索結果と質問からプロンプトを作成 4. LLMにプロンプトを投げる 簡単に作成できる!!
©Fusic Co., Ltd. 30 Amazon Bedrock 内から基盤モデルをデータソースに接続して、検索拡張⽣成 (RAG) を⾏うことができる。 Knowledge
Base for Amazon Bedrock Bedrock LLM Bedrock Embedding Model Vector DB Data Source or or or S3 様々なデータを⼊れる .txt, .md, .html, .doc/docx .csv, .xls/.xlsx, .pdf
©Fusic Co., Ltd. 31 Knowledge Base for Amazon Bedrock(Pythonでの使い⽅)
©Fusic Co., Ltd. 32 AWSで作成した場合の構成図 or
©Fusic Co., Ltd. 33 AWSで作成した場合の構成図 or フロントエンド (アプリ、Slackなど)
©Fusic Co., Ltd. 34 AWSで作成した場合の構成図 or Knowledge Base for Amazon
Bedrock RAGを簡単に使⽤できる
©Fusic Co., Ltd. 35 AWSで作成した場合の構成図 or AWS Lambda サーバーレスでKBを呼び出す
©Fusic Co., Ltd. 36 AWSで作成した場合の構成図 or Pinecone(VectorDB) Freeプランを使⽤すると無料で検証できる
©Fusic Co., Ltd. 37 AWSで作成した場合の構成図 or DynamoDB 会話ログを保管する
©Fusic Co., Ltd. 38 実際の流れ or
©Fusic Co., Ltd. 39 実際の流れ or 苑⽥って誰ですか?
©Fusic Co., Ltd. 40 実際の流れ or RAGの処理 会話ログの保存 RAGの処理 1.
質問をベクトル化する 2. ベクトル化した質問を元に、 Vector DBから似ているベクトル (上位n個)を探す 3. 検索結果と質問からプロンプトを 作成 4. LLMにプロンプトを投げる 5. 回答を受け取る
©Fusic Co., Ltd. 41 実際の流れ or 苑⽥ってのはな
©Fusic Co., Ltd. 42 まとめ 3
©Fusic Co., Ltd. 43 まとめ 検索拡張⽣成(RAG)は、⾔語AIモデルに外部メモリを付けることで、未学習データにも対応可能にする技術。 Point 01 AWSではKnowledge Base
for Amazon Bedrockを活⽤することでRAGを簡単に実装可能。 Point 02 サーバレスで構築することで、格安で検証可能。 Point 03
©Fusic Co., Ltd. 44 Thank You We are Hiring! https://recruit.fusic.co.jp/
ご清聴いただきありがとうございました