Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Bedrock素人がKnowledgeBaseでRAGを構築するまで
Search
wkm2
December 15, 2023
Technology
2
210
Bedrock素人がKnowledgeBaseでRAGを構築するまで
第32回 JAWS-UG札幌 勉強会 登壇資料
https://jawsug-sapporo.doorkeeper.jp/events/165768
wkm2
December 15, 2023
Tweet
Share
More Decks by wkm2
See All by wkm2
KAGが関わるアカウント全てにSecurity Hubを導入した(い)話
wkm2
0
43
地方在住フルリモートワークエンジニアのリアル 〜ジモトで_活きる_エンジニアライフ〜
wkm2
1
280
Keynote以外のアップデートピックアップ!
wkm2
1
39
EC2を再起動したいがためにNew Relicを使った話
wkm2
1
180
ネットワークサービスフル活用で実現するハイブリッド構成 〜コープさっぽろのネットワーク全体像〜
wkm2
2
1.4k
AWS SSO でログインを簡単に〜IAMユーザ管理をしたくない〜
wkm2
0
430
固定IPでLambdaにHTTPリクエストを投げる経路を試してみた
wkm2
1
470
AWS SSOとGoogle Idpのおいしい関係 ~ QuickSightに楽してログインしたい ~
wkm2
0
1.1k
AWSアップデートを追いかける生活がもたらすもの
wkm2
0
270
Other Decks in Technology
See All in Technology
コードや知識を組み込む / Incorporate Code and knowledge
ks91
PRO
0
160
生産性向上チームの紹介
cybozuinsideout
PRO
1
960
Azureの基本的な権限管理の勉強会
yhana
1
2.2k
高専で制御を、大学でセンシングを学び、次は脳みそ
satoshirobatofujimoto
0
120
Python と Snowflake はズッ友だょ!~ Snowflake の Python 関連機能をふりかえる ~
__allllllllez__
2
150
さらばあのボタンとは言わせない SORACOM LTE-M Button powerd by AWSをまだ使えるようにした(前編?)
miura55
0
100
今日からできる!簡単 .NET 高速化 Tips -2024 edition-
xin9le
7
4.6k
リテール金融(キャッシュレス・ネット銀行・ネット証券)の競争環境と経済圏
8maki
0
1.7k
Gitlab本から学んだこと - そーだいなるプレイバック / gitlab-book
soudai
7
1.4k
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
lmi
1
150
Microsoft Intune 勉強会 第 2 回目
tamaiyutaro
2
500
しくじり先生、PharmaXのLLMアプリケーション開発の失敗を語る
pharma_x_tech
0
110
Featured
See All Featured
Happy Clients
brianwarren
92
6.4k
Stop Working from a Prison Cell
hatefulcrawdad
267
19k
GraphQLの誤解/rethinking-graphql
sonatard
56
9.3k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
Build The Right Thing And Hit Your Dates
maggiecrowley
25
2k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
20
1.8k
Thoughts on Productivity
jonyablonski
60
3.9k
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
RailsConf 2023
tenderlove
9
570
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
117
18k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
[RailsConf 2023] Rails as a piece of cake
palkan
28
4k
Transcript
Bedrock素人が KnowledgeBaseでRAGを 構築するまで 第32回 JAWS-UG札幌 勉強会 KDDIアジャイル開発センター 若松剛志
Who am I ? 若松 剛志 AWS チョットデキル エンジニア @t_wkm2
re:Inventに自費で参加してきた
re:Inventの思い出
ハワイ最高だった
ハワイ最高だった • 照りつける太陽 • 初めてのサーフィン • ビーチバーでサンセットを見ながら煽る ゴールデンエール
ラスベガスとちゃうんかい!
トランジットです
時差ボケが無くてほんと最高です 約7時間 約6時間
時差ボケが無くてほんと最高です 羽田 11/23(木) 20:05 ホノルル 11/23(木) 8:05 ホノルル 11/23(木) 23:30
ラスベガス 11/24(金) 7:15 トランジット 15時間!! 飛行機で寝て 朝着く 飛行機で寝て 朝着く!!
実はこれ2回目
昨年のJAWS-UG札幌のお品書き ほんとはここで話すは ずだった
登壇者全員コロナ感染
今回は無事生還しました!
改めてre:Inventのお話
改めてre:Inventのお話 参加人数6万人、日本からは1700人 ラスベガスのホテル6つを会場にセッションを展開 現地でした味わえないGameDayへの参加や参加者との交流、EBCでの開発者との ディスカッション
Keynoteの振り返りを少しだけ
Peter DeSantis (Monday Night Live) • Amazon Aurora Limitless Database
• Amazon ElastiCache Serverless
Adam Selipsky • Amazon S3 Express One Zone • Bedrock関連
◦ Knowledge Base ◦ Fine-tuning and Continued Pre-training ◦ Agents ◦ Guardrails • Amazon Q • Zero-ETL ◦ Redshift ◦ DynamoDB ◦ OpenSearch Service
Swami Sivasubramanian • Bedrock ◦ Anthropic Claude 2.1 ◦ Meta
Llama 2 70B ◦ Amazon Titan ▪ Multimodal Embedding ▪ Titan Text Lite ▪ Titan Text Express ▪ Titan Image Generator • Vector search engine ◦ OpenSearch Service Serverless ◦ DocumentDB ◦ Amazon DynamoDB ◦ MemoryDB • Amazon Q ◦ Redshift ◦ AWS Glue
Dr. Werner Vogels • The Frugal Architecture ◦ https://thefrugalarchitect.com/ •
AWS Management Console myApplications • CloudWatch Application Signals • Application Composer in VS Code • Inspector CI/CD Container Scanning
本題
Bedrock素人がKnowledgeBaseで RAGを構築するまで
Amazon Bedrockとは AWSが提供する生成AIのサービス。 Bedrockそのものはモデルではなく、様々なモデルをサーバーレスにかつセキュアに運 用できるサービスとなっている。 使用できるモデルは以下(本日現在) • AI21 Labs -
Jurassic-2(Text)※ • Amazon - Titan(Text/Embedding) • Anthropic - Claude(Text) • Cohere - Command/Embed(Text/Embedding)※ • Stability AI - Stable Diffusion XL(Image)※ ※東京リージョン未対応
KnowledgeBaseとは 正式には KnowledgeBase for Bedrock Bedrockを用いてRAGを簡単に構築するサービス Bedrockで使える基礎モデルベースに、ベクトルデータベースの検索を使って拡張する
RAGとは 社内情報などの外部データソースを検索し、結果をプロンプトに含めて基礎モデルに投 げ込むことで、基礎モデルが知らない知識を回答させることができる 元々はハルシネーション(生成AIがもっともらしいウソを回答する)を防ぐことが目的だっ たが、ファインチューニングの代わりにも使用されるようになった 検索にはベクトルデータベースが用いられ、検索ワードに意味が近いものを返すセマン ティック検索が可能になる。
RAGとは ベクトル データベース RAGアプリ 基礎モデル プロンプトのワードをベ クトル化してセマンティッ ク検索 検索結果をプロンプトに 含めて生成AIへ投げて
回答を得る
KnowledgeBaseの場合 Cloudev2 OpenSearch Serverless Vector Store KnowledgeBase for Bedrock S3
外部知識を 置いておく Amazon Titan Embededing で ベクトル化して OpenSearchへ 同期
ほんとにできるか検証してみる
KnowledgeBase検証 S3に外部知識を置く
KnowledgeBase検証 モデル有効化
KnowledgeBase検証 KnowledgeBase作成
KnowledgeBase検証 S3指定
KnowledgeBase検証 ベクトルデータベース指定
5分くらい待つ
KnowledgeBase検証
あまりにも簡単にできちゃった
まとめ • KnowledgeBaseはRAGを構成するのに面倒なと ころを解消してくれる • ベクトルデータベースにOpenSearch Severless が立つのに注意