Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Bedrock Custom model importを試してみる
Search
ttnyt8701
February 19, 2025
Programming
3
100
Amazon Bedrock Custom model importを試してみる
【AWS活用 徹底Amazon Bedrock #3】カスタムモデル 編
https://blueish.connpass.com/event/345802/
ttnyt8701
February 19, 2025
Tweet
Share
More Decks by ttnyt8701
See All by ttnyt8701
Gemini CLI のはじめ方
ttnyt8701
1
100
ObsidianをMCP連携させてみる
ttnyt8701
3
230
Claude Codeの使い方
ttnyt8701
2
190
FastMCPでMCPサーバー/クライアントを構築してみる
ttnyt8701
3
170
LangChain Open Deep Researchとは?
ttnyt8701
2
120
Vertex AI Agent Builderとは?
ttnyt8701
4
140
A2A(Agent2Agent )とは?
ttnyt8701
2
330
Amazon Bedrock LLM as a Judgeを試す
ttnyt8701
2
33
Amazon Sagemaker Jump Startを用いて爆速でモデルを作成してみる
ttnyt8701
3
67
Other Decks in Programming
See All in Programming
チームのテスト力を総合的に鍛えて品質、スピード、レジリエンスを共立させる/Testing approach that improves quality, speed, and resilience
goyoki
6
1.2k
CIを整備してメンテナンスを生成AIに任せる
hazumirr
0
210
The Modern View Layer Rails Deserves: A Vision For 2025 And Beyond @ RailsConf 2025, Philadelphia, PA
marcoroth
2
790
코딩 에이전트 체크리스트: Claude Code ver.
nacyot
0
990
Git Sync を超える!OSS で実現する CDK Pull 型デプロイ / Deploying CDK with PipeCD in Pull-style
tkikuc
4
460
MySQL9でベクトルカラム登場!PHP×AWSでのAI/類似検索はこう変わる
suguruooki
1
220
Workers を定期実行する方法は一つじゃない
rokuosan
0
130
ご注文の差分はこちらですか? 〜 AWS CDK のいろいろな差分検出と安全なデプロイ
konokenj
4
680
はじめてのWeb API体験 ー 飲食店検索アプリを作ろうー
akinko_0915
0
160
リバースエンジニアリング新時代へ! GhidraとClaude DesktopをMCPで繋ぐ/findy202507
tkmru
4
1.2k
Claude Code + Container Use と Cursor で作る ローカル並列開発環境のススメ / ccc local dev
kaelaela
12
7.4k
テスターからテストエンジニアへ ~新米テストエンジニアが歩んだ9ヶ月振り返り~
non0113
2
240
Featured
See All Featured
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Thoughts on Productivity
jonyablonski
69
4.7k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Done Done
chrislema
184
16k
Automating Front-end Workflow
addyosmani
1370
200k
4 Signs Your Business is Dying
shpigford
184
22k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
990
Music & Morning Musume
bryan
46
6.7k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Balancing Empowerment & Direction
lara
1
500
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
Transcript
Amazon Bedrock Custom Model Importを試してみる 立野 祐太 2025.02.19 ©BLUEISH 2024.
All rights reserved.
立野 祐太 Yuta Tateno ・Go、GCPでの開発・運用 バックエンドエンジニア 自己紹介 ©BLUEISH 2024. All
rights reserved.
©BLUEISH 2024. All rights reserved. 最新のオープンソースモデルや独自のカスタムモデルをす ぐに・簡単に・安全に使いたい! 👉Amazon Bedrock Custom
Model Importで実現できます
©BLUEISH 2024. All rights reserved. 独自にトレーニングしたモデルやオープンソースモデルを Bedrock上でAPI として運用できる機能 Amazon Bedrock
Custom Model Import とは
- オープンソースモデル、外部でトレーニングしたモデル、自社 開発モデルをBedrockで使える - APIとしてサーバー管理不要で簡単に利用できる - AWSのナレッジベース、エージェント、ガードレールなどの ツールと統合可能 - AWS
のセキュリティとコンプライアンスの枠組み内で安全に運 用 ©BLUEISH 2024. All rights reserved. 主な利点
©BLUEISH 2024. All rights reserved. 対応アーキテクチャ - Mistral - Mixtral
- Flan - Llama 2、Llama3、Llama3.1、Llama3.2、および Llama 3.3 👉すべてのモデルが利用できるわけではない。アーキテクチャの変換や蒸留などの 工夫が必要 対応リージョン - 米国東部 (バージニア北部) - 米国西部 (オレゴン)
©BLUEISH 2024. All rights reserved. - カスタムモデルユニット:インポートしたモデルのアーキテクチャ、パラメータ数、コン テキスト長などに基づいて消費されるリソース単位。インポートした際に決定される。 - 5
分単位で料金が発生 - リクエストによってインスタンス数が自動でスケール カスタムモデルユニットあたりの推論コスト/分: 0.0785(USD) カスタムモデルユニットあたりのストレージコスト/月: 1.95(USD) 料金体系
©BLUEISH 2024. All rights reserved. Llma 3.1 70Bを7分間利用した例 カスタムモデルユニットあたりの推論コスト/分: $0.0785
カスタムモデルユニットあたりのストレージコスト/月: $1.95 カスタムモデルユニット数: 8 (ドキュメント記載の値を参考) 利用時間: 7分 5 分単位でのウィンドウ数: 2 インスタンス数:1 推論コスト:0.0785 * 8 * 2 * 1 = $1.256 👉軽量なモデルで推論速度が速いほどコストは安くなりそう ストレージコスト:1.95 * 8 = $15.6 / 月
Deep Seekカスタムモデルをインポートしてみる ©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 1. モデルの準備 アーキテクチャに対応した任意のモデルを用意 今回はDeepSeek-R1-Distill-Llama-8Bを量子化したカスタムモデルをデ プロイ
©BLUEISH 2024. All rights reserved. 2. S3バケットにモデルをアップロード
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 4. Custom Model Importからモデルをインポート
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 5. インポートしたモデルを実行してみる
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved.
©BLUEISH 2024. All rights reserved. 最新のオープンソースモデル、外部でカスタムしたモデル、自社開 発モデルなどを速く、簡単、安全、効率的にAWS上で活用できる! まとめ