Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DeepSeek for Amazon Bedrock
Search
Morita
February 08, 2025
0
48
DeepSeek for Amazon Bedrock
JAWS-UG福岡 #19: re:Invent re:Cap!!
https://jawsug-fukuoka.connpass.com/event/341319/presentation/
Morita
February 08, 2025
Tweet
Share
More Decks by Morita
See All by Morita
FSx for Lustreを使ったAIモデル開発の始め方
ch6noota
0
55
Dify で AWS を使い倒す!
ch6noota
0
490
5分で学ぶ! 宣言型ポリシーの基礎からベストプラクティスまで
ch6noota
1
460
新機能 Bedrock Model Distillation 基礎〜実践まで #regrowth_fuk
ch6noota
0
500
AWS を使った生成AIの活用
ch6noota
0
770
AWS初めての方必見!初学者でも入りやすいAWSサービス3選 #devio2022
ch6noota
0
1.3k
Security Hub のマルチアカウント 管理・運用をサーバレスでやってみる
ch6noota
0
3.6k
NITKハッカソン クラウド入門
ch6noota
0
940
Featured
See All Featured
Done Done
chrislema
184
16k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Gamification - CAS2011
davidbonilla
81
5.3k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Into the Great Unknown - MozCon
thekraken
39
1.9k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.8k
Making Projects Easy
brettharned
116
6.3k
Documentation Writing (for coders)
carmenintech
71
4.9k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
53k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Transcript
2025/02/08 JAWS-UG福岡 #19: re:Invent re:Cap!! 森⽥⼒ DeepSeek for Amazon Bedrock
⾃⼰紹介 •名前 • 森⽥ ⼒ •所属 • クラスメソッド株式会社 • クラウド事業本部
コンサルティング部 •出⾝‧住まい • 出⾝:熊本 • 現在:福岡 •好きなAWSサービス • AWS Lambda • Amazon Bedrock re:Invent2024 参加してきました!
DeepSeek-R1 使ってますか!?
性能 • OpenAI-o1相当 モデル • 蒸留モデルも提供 ライセンス • OSS DeepSeek-R1
参考:https://api-docs.deepseek.com/news/news250120
性能 • OpenAI-o1相当 モデル • 蒸留モデルも提供 ライセンス • OSS →
AWSでも使えるようにしたい! DeepSeek-R1 参考:https://api-docs.deepseek.com/news/news250120
AWSなら… Amazon Bedrock で使いたい
l AWSマネージドな機能が利⽤できる l ガードレール l エージェント など l サーバレス l
インフラ管理なし l API実⾏時の共通のインターフェース l モデルID, パラメータを変えるだけで実⾏可能 l 基盤モデルとしてサポートしているプロバイダー l Amazon, Anthropic, Meta など Amazon Bedrock
l AWSマネージドな機能が利⽤できる l ガードレール l エージェント など l サーバレス l
インフラ管理なし l API実⾏時の共通のインターフェース l モデルID, パラメータを変えるだけで実⾏可能 l 基盤モデルとしてサポートしているプロバイダー l Amazon, Anthropic, Meta など → DeepSeek 対応していない Amazon Bedrock
こんな時、どうしますか?
Amazon Bedrock Marketplace
l re:Invent 2024 で発表 l 基盤モデル以外を利⽤できるサービス l DeepSeek以外のモデルも利⽤可能 l 数クリックでデプロイ可能
l SageMaker エンドポイントにデプロイ l 利⽤料⾦ l Software cost(ライセンス) l インフラ( SageMaker エンドポイント) Amazon Bedrock Marketplace ※ 2024/02/07時点
l デプロイ可能モデル l DeepSeek-R1, DeepSeek-R1蒸留モデル(Qwen, LLama) l 利⽤料⾦ l インフラ料⾦のみ
Amazon Bedrock Marketplace での DeepSeek
気になるセキュリティ
Amazon Bedrock セキュリティ l Amazon Bedrock では、プロンプトおよび AI のレスポンスを保存またはログに記 録することはありません。
l データがモデルプロバイダーと共有されたり、ベースモデルの改善に使⽤された りすることはありません。
モデル呼び出し
l プレイグラウンドでも利⽤可能 モデル呼び出し
• InvokeModel API で呼び出し l Streaming出⼒対応 l Converse API 未対応
l ApplyGuardrail API でガードレール利⽤可能 モデル呼び出し response = bedrock_runtime.invoke_model_with_response_stream( modelId='arn:aws:sagemaker:リージョン:アカウントID:endpoint/エンドポイント名’, body=json.dumps(request_body), contentType='application/json’, accept='application/json’, performanceConfigLatency='standard' )
カスタムモデルインポート
l re:Invent 2024 より前の10⽉にGA l Bedrock にモデルをインポート l モデルデータが必要 l
サポートしているアーキテクチャのみ(llamaなど) l 利⽤料⾦ l Custom Model Unit(モデルに応じて異なる) l ストレージコスト カスタムモデルインポート
l メリット l Fine-tuningされたモデルも利⽤することができる l 例:蒸留モデルを独⾃データを使って学習させる l モデル推論時のカスタマイズができる l tokenizer_config.json
で chat_templateの指定(Converse API対応) l デメリット l モデルのダウンロードが必要なため、時間を要する カスタムモデルインポート
ブログ書きました https://dev.classmethod.jp/articles/deepseek-amazon-bedrock-import/
まとめ
l DeepSeek を Amazon Bedrock 上で利⽤することはできます! l サクッと試したいなら「Amazon Bedrock Marketplace」がおすすめ
l 詳細にチューニングしたいなら「カスタムモデルインポート」 まとめ
None