Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DeepSeek for Amazon Bedrock
Search
Morita
February 08, 2025
0
48
DeepSeek for Amazon Bedrock
JAWS-UG福岡 #19: re:Invent re:Cap!!
https://jawsug-fukuoka.connpass.com/event/341319/presentation/
Morita
February 08, 2025
Tweet
Share
More Decks by Morita
See All by Morita
FSx for Lustreを使ったAIモデル開発の始め方
ch6noota
0
49
Dify で AWS を使い倒す!
ch6noota
0
460
温泉施設でAWS活用してみた
ch6noota
0
26
5分で学ぶ! 宣言型ポリシーの基礎からベストプラクティスまで
ch6noota
1
450
新機能 Bedrock Model Distillation 基礎〜実践まで #regrowth_fuk
ch6noota
0
470
AWS を使った生成AIの活用
ch6noota
0
750
AWS初めての方必見!初学者でも入りやすいAWSサービス3選 #devio2022
ch6noota
0
1.3k
Security Hub のマルチアカウント 管理・運用をサーバレスでやってみる
ch6noota
0
3.6k
NITKハッカソン クラウド入門
ch6noota
0
930
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
4 Signs Your Business is Dying
shpigford
183
22k
How to Think Like a Performance Engineer
csswizardry
23
1.6k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Automating Front-end Workflow
addyosmani
1370
200k
Designing Experiences People Love
moore
142
24k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Statistics for Hackers
jakevdp
799
220k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
5
600
The Cult of Friendly URLs
andyhume
78
6.4k
Transcript
2025/02/08 JAWS-UG福岡 #19: re:Invent re:Cap!! 森⽥⼒ DeepSeek for Amazon Bedrock
⾃⼰紹介 •名前 • 森⽥ ⼒ •所属 • クラスメソッド株式会社 • クラウド事業本部
コンサルティング部 •出⾝‧住まい • 出⾝:熊本 • 現在:福岡 •好きなAWSサービス • AWS Lambda • Amazon Bedrock re:Invent2024 参加してきました!
DeepSeek-R1 使ってますか!?
性能 • OpenAI-o1相当 モデル • 蒸留モデルも提供 ライセンス • OSS DeepSeek-R1
参考:https://api-docs.deepseek.com/news/news250120
性能 • OpenAI-o1相当 モデル • 蒸留モデルも提供 ライセンス • OSS →
AWSでも使えるようにしたい! DeepSeek-R1 参考:https://api-docs.deepseek.com/news/news250120
AWSなら… Amazon Bedrock で使いたい
l AWSマネージドな機能が利⽤できる l ガードレール l エージェント など l サーバレス l
インフラ管理なし l API実⾏時の共通のインターフェース l モデルID, パラメータを変えるだけで実⾏可能 l 基盤モデルとしてサポートしているプロバイダー l Amazon, Anthropic, Meta など Amazon Bedrock
l AWSマネージドな機能が利⽤できる l ガードレール l エージェント など l サーバレス l
インフラ管理なし l API実⾏時の共通のインターフェース l モデルID, パラメータを変えるだけで実⾏可能 l 基盤モデルとしてサポートしているプロバイダー l Amazon, Anthropic, Meta など → DeepSeek 対応していない Amazon Bedrock
こんな時、どうしますか?
Amazon Bedrock Marketplace
l re:Invent 2024 で発表 l 基盤モデル以外を利⽤できるサービス l DeepSeek以外のモデルも利⽤可能 l 数クリックでデプロイ可能
l SageMaker エンドポイントにデプロイ l 利⽤料⾦ l Software cost(ライセンス) l インフラ( SageMaker エンドポイント) Amazon Bedrock Marketplace ※ 2024/02/07時点
l デプロイ可能モデル l DeepSeek-R1, DeepSeek-R1蒸留モデル(Qwen, LLama) l 利⽤料⾦ l インフラ料⾦のみ
Amazon Bedrock Marketplace での DeepSeek
気になるセキュリティ
Amazon Bedrock セキュリティ l Amazon Bedrock では、プロンプトおよび AI のレスポンスを保存またはログに記 録することはありません。
l データがモデルプロバイダーと共有されたり、ベースモデルの改善に使⽤された りすることはありません。
モデル呼び出し
l プレイグラウンドでも利⽤可能 モデル呼び出し
• InvokeModel API で呼び出し l Streaming出⼒対応 l Converse API 未対応
l ApplyGuardrail API でガードレール利⽤可能 モデル呼び出し response = bedrock_runtime.invoke_model_with_response_stream( modelId='arn:aws:sagemaker:リージョン:アカウントID:endpoint/エンドポイント名’, body=json.dumps(request_body), contentType='application/json’, accept='application/json’, performanceConfigLatency='standard' )
カスタムモデルインポート
l re:Invent 2024 より前の10⽉にGA l Bedrock にモデルをインポート l モデルデータが必要 l
サポートしているアーキテクチャのみ(llamaなど) l 利⽤料⾦ l Custom Model Unit(モデルに応じて異なる) l ストレージコスト カスタムモデルインポート
l メリット l Fine-tuningされたモデルも利⽤することができる l 例:蒸留モデルを独⾃データを使って学習させる l モデル推論時のカスタマイズができる l tokenizer_config.json
で chat_templateの指定(Converse API対応) l デメリット l モデルのダウンロードが必要なため、時間を要する カスタムモデルインポート
ブログ書きました https://dev.classmethod.jp/articles/deepseek-amazon-bedrock-import/
まとめ
l DeepSeek を Amazon Bedrock 上で利⽤することはできます! l サクッと試したいなら「Amazon Bedrock Marketplace」がおすすめ
l 詳細にチューニングしたいなら「カスタムモデルインポート」 まとめ
None