Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20231027_Bedrock勉強会
Search
Kazuki Maeda
October 26, 2023
Technology
3
1.3k
20231027_Bedrock勉強会
https://minorun365.connpass.com/event/300097/
の登壇資料
Kazuki Maeda
October 26, 2023
Tweet
Share
More Decks by Kazuki Maeda
See All by Kazuki Maeda
現場の種を事業の芽にする - エンジニア主導のイノベーションを事業戦略に装着する方法 -
kzkmaeda
2
1.5k
生成AIを用いた 新しい学びの体験を 提供するまでの道のり
kzkmaeda
0
190
生成AIによって変わる世界 -可能性とリスクについて考える-
kzkmaeda
2
220
新しいことを組織ではじめる、そしてつづける
kzkmaeda
5
850
20240824_JAWS_PANKRATION_2024
kzkmaeda
0
70
20240416_devopsdaystokyo
kzkmaeda
1
440
20240321_生成AI時代のDevOps
kzkmaeda
2
1.1k
20240222_LangChain_ver0.1.0_LCEL
kzkmaeda
4
400
20240201_クラウド利用料を 半額にするために取り組んだ10+のコト
kzkmaeda
4
7.3k
Other Decks in Technology
See All in Technology
Fintech SREの挑戦 PCI DSS対応をスマートにこなすインフラ戦略/Fintech SRE’s Challenge: Smart Infrastructure Strategies for PCI DSS Compliance
maaaato
0
450
アジャイル開発とスクラム
araihara
0
160
目の前の仕事と向き合うことで成長できる - 仕事とスキルを広げる / Every little bit counts
soudai
22
5.8k
サーバーレスアーキテクチャと生成AIの融合 / Serverless Meets Generative AI
_kensh
12
3k
転生CISOサバイバル・ガイド / CISO Career Transition Survival Guide
kanny
3
410
AWSでRAGを実現する上で感じた3つの大事なこと
ymae
3
1k
Data-centric AI入門第6章:Data-centric AIの実践例
x_ttyszk
1
370
PL900試験から学ぶ Power Platform 基礎知識講座
kumikeyy
0
110
インフラをつくるとはどういうことなのか、 あるいはPlatform Engineeringについて
nwiizo
5
2.1k
RSNA2024振り返り
nanachi
0
500
管理者しか知らないOutlookの裏側のAIを覗く#AzureTravelers
hirotomotaguchi
2
240
日経電子版 x AIエージェントの可能性とAgentic RAGによって提案書生成を行う技術
masahiro_nishimi
1
290
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Thoughts on Productivity
jonyablonski
69
4.5k
How GitHub (no longer) Works
holman
313
140k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.6k
Site-Speed That Sticks
csswizardry
3
370
How to Think Like a Performance Engineer
csswizardry
22
1.3k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Adopting Sorbet at Scale
ufuk
74
9.2k
GitHub's CSS Performance
jonrohan
1030
460k
Speed Design
sergeychernyshev
25
780
Transcript
非BedrockアプリをBedrock して 開発観点で比較する AWSの生成AI「Amazon Bedrock」入門&LT会! 2023-10-27 @kzk_maeda
自己紹介 Kazuki Maeda 𝕏 @kzk_maeda SRE/DRE @atama plus AWS Community
Builders AWS Startup Community Core Member
自己紹介
agenda 1. 対象RAGアプリの紹介 2. Bedrockしてみる 3. Bedrock前後で比較 (開発運用面)
免責 • 2023/10/26時点での情報を元に作成しています
対象RAGアプリの紹介
そもそもRAGとは? • Retrieval Augmented Generationの略 • 外部の知識ソースを利用して大規模言語モデル(LLM)の回答の 質を向上させる手法
対象のRAGアプリ紹介
対象のRAGアプリ紹介 モニタリングツールに 対してエラー検索 エラーログから 既存チケットを検索
対象のRAGアプリ紹介 LLM部分は LangChain + OpenAI APIで実現
Bedrockしてみる
「Bedrockする」とは? • Bedrock以外のLLMツールセットを用いて実装されたアプリケー ションをBedrockに移行すること
「Bedrockする」ために必要なこと • コードを修正 • 実行環境のIAM RoleにPolicyをアタッチ • 以上!
「Bedrock」してみた • LangChainのバージョン上げてboto3への依存を追加
「Bedrock」してみた • メインの部分はほぼこれでOK
「Bedrock」してみた • メインの部分はほぼこれでOK OpenAIへの依存を削除 boto3でBedrockのclient を定義し、LangChainの Embeddingに渡す Embedding modelとして 提供されているtitan
v1を 指定
「Bedrock」してみた • 仕上げに権限と環境変数を変えてデプロイ
Bedrock前後で比較
開発環境 • Bedrockへの認証をIAM Roleに持たせることで、コードの外の責 務となり、ローカルで動作確認する際に一工夫が必要 • ローカルフラグ持たせて、boto3のsession/clientの切り替えをす ることを一瞬考えたけど、今回は面倒だったのでCloud9にしまし た
セキュリティ • LLM APIのクレデンシャルを管理しなくても良いというのはとても 嬉しい!!!! • 通信も、AWSのInternal Networkを出ないので、外部のLLM API を利用するよりはセキュアに利用できます
オブザーバビリティ • Cloudwatch等によるログ/メトリクスのモニタリングが可能 • ログはBedrockのModel invocation loggingから設定可能 • ただし、LangSmithには劣るので今後に期待
オブザーバビリティ Cloudwatch LangSmith
おわりに
まとめ • シンプルなRAGアプリにおいて、非BedrockアプリをBedrockする のは、LangChainが実装を抽象化してくれているので非常に簡単 でした • 運用やセキュリティに関する機能がAWSに寄せられるメリットは 大きいと感じました • Knowledge
BaseというネイティブRAGアプリサービスもPrivate Previewに入っていたり、まだまだ進化の激しい技術なので今後 もwatch必須ですね