Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Amazon Bedrock Custom model importを試してみる

Avatar for ttnyt8701 ttnyt8701
February 19, 2025
Programming
2
84

Amazon Bedrock Custom model importを試してみる

【AWS活用 徹底Amazon Bedrock #3】カスタムモデル 編
https://blueish.connpass.com/event/345802/
Avatar for ttnyt8701

ttnyt8701

February 19, 2025
Tweet

More Decks by ttnyt8701

See All by ttnyt8701
FastMCPでMCPサーバー/クライアントを構築してみる
Avatar for ttnyt8701 ttnyt8701
2
99
LangChain Open Deep Researchとは？
Avatar for ttnyt8701 ttnyt8701
2
68
Vertex AI Agent Builderとは？
Avatar for ttnyt8701 ttnyt8701
3
100
A2A(Agent2Agent )とは？
Avatar for ttnyt8701 ttnyt8701
1
220
Amazon Bedrock LLM as a Judgeを試す
Avatar for ttnyt8701 ttnyt8701
1
23
Amazon Sagemaker Jump Startを用いて爆速でモデルを作成してみる
Avatar for ttnyt8701 ttnyt8701
2
60
Amazon SageMaker Lakehouseでデータのサイロ化による課題を解決する
Avatar for ttnyt8701 ttnyt8701
1
30
Langsmith入門 トレーシングとプロンプト管理を試す
Avatar for ttnyt8701 ttnyt8701
1
84
Prompt Cachingは本当に効果的なのか検証してみた.pdf
Avatar for ttnyt8701 ttnyt8701
1
660

Other Decks in Programming

See All in Programming
Zennの運営完全に理解した #完全に理解したTalk
Avatar for Yusuke Wada wadayusuke
1
140
DevTalks 25 - Create your own AI-infused Java apps with ease
Avatar for Kevin Dubois kdubois
2
120
AI Coding Agent Enablement in TypeScript
Avatar for Yuku Kotani yukukotani
17
7.1k
"使いづらい" をリバースエンジニアリングする UI の読み解き方
Avatar for 株式会社Rebase_エンジニアリング rebase_engineering
0
110
『Python → TypeScript』オンボーディング奮闘記
Avatar for takumi_tatsuno takumi_tatsuno
1
140
Doma で目指す ORM 最適解
Avatar for Toshihiro Nakamura nakamura_to
1
160
Blueskyのプラグインを作ってみた
Avatar for Hakkadaikon hakkadaikon
1
280
Language Server と喋ろう – TSKaigi 2025
Avatar for pizzacat83 pizzacat83
2
670
Javaのルールをねじ曲げろ！禁断の操作とその代償から学ぶメタプログラミング入門 / A Guide to Metaprogramming: Lessons from Forbidden Techniques and Their Price
Avatar for nrs nrslib
1
110
型安全なDrag and Dropの設計を考える
Avatar for yudppp yudppp
5
660
インターフェース設計のコツとツボ
Avatar for おぎ togishima
2
480
JSAI2025 RecSysChallenge2024 優勝報告
Avatar for kami unonao
1
380

Featured

See All Featured
How to Think Like a Performance Engineer
Avatar for Harry Roberts csswizardry
23
1.6k
Speed Design
Avatar for Sergey Chernyshev sergeychernyshev
30
970
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
126
17k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
Avatar for Vitaly Friedman smashingmag
252
21k
Distributed Sagas: A Protocol for Coordinating Microservices
Avatar for Caitie McCaffrey caitiem20
331
21k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
Avatar for Eileen M. Uchitelle eileencodes
34
2.3k
Optimizing for Happiness
Avatar for Tom Preston-Werner mojombo
378
70k
Typedesign – Prime Four
Avatar for Hannes Fritz hannesfritz
41
2.6k
Designing for Performance
Avatar for Lara Hogan lara
608
69k
Statistics for Hackers
Avatar for Jake VanderPlas jakevdp
799
220k
GraphQLとの向き合い方2022年版
Avatar for Yosuke Kurami quramy
46
14k
Rebuilding a faster, lazier Slack
Avatar for samanthasiow samanthasiow
81
9k

Transcript

  1. Amazon Bedrock Custom Model Importを試してみる 立野 祐太 2025.02.19 ©BLUEISH 2024.

    All rights reserved.

  2. 立野 祐太 Yuta Tateno ・Go、GCPでの開発・運用 バックエンドエンジニア 自己紹介 ©BLUEISH 2024. All

    rights reserved.

  3. ©BLUEISH 2024. All rights reserved. 最新のオープンソースモデルや独自のカスタムモデルをす ぐに・簡単に・安全に使いたい！ 👉Amazon Bedrock Custom

    Model Importで実現できます

  4. ©BLUEISH 2024. All rights reserved. 独自にトレーニングしたモデルやオープンソースモデルを Bedrock上でAPI として運用できる機能 Amazon Bedrock

    Custom Model Import とは

  5. - オープンソースモデル、外部でトレーニングしたモデル、自社 開発モデルをBedrockで使える - APIとしてサーバー管理不要で簡単に利用できる - AWSのナレッジベース、エージェント、ガードレールなどの ツールと統合可能 - AWS

    のセキュリティとコンプライアンスの枠組み内で安全に運 用 ©BLUEISH 2024. All rights reserved. 主な利点

  6. ©BLUEISH 2024. All rights reserved. 対応アーキテクチャ - Mistral - Mixtral

    - Flan - Llama 2、Llama3、Llama3.1、Llama3.2、および Llama 3.3 👉すべてのモデルが利用できるわけではない。アーキテクチャの変換や蒸留などの 工夫が必要 対応リージョン - 米国東部 (バージニア北部) - 米国西部 (オレゴン)

  7. ©BLUEISH 2024. All rights reserved. - カスタムモデルユニット：インポートしたモデルのアーキテクチャ、パラメータ数、コン テキスト長などに基づいて消費されるリソース単位。インポートした際に決定される。 - 5

    分単位で料金が発生 - リクエストによってインスタンス数が自動でスケール カスタムモデルユニットあたりの推論コスト/分: 0.0785(USD) カスタムモデルユニットあたりのストレージコスト/月: 1.95(USD) 料金体系

  8. ©BLUEISH 2024. All rights reserved. Llma 3.1 70Bを７分間利用した例 カスタムモデルユニットあたりの推論コスト/分: $0.0785

    カスタムモデルユニットあたりのストレージコスト/月: $1.95 カスタムモデルユニット数: 8 (ドキュメント記載の値を参考) 利用時間: 7分 5 分単位でのウィンドウ数: 2 インスタンス数：１ 推論コスト：0.0785 * 8 * 2 * 1 = $1.256 👉軽量なモデルで推論速度が速いほどコストは安くなりそう ストレージコスト：1.95 * 8 = $15.6 / 月

  9. Deep Seekカスタムモデルをインポートしてみる ©BLUEISH 2024. All rights reserved.

  10. ©BLUEISH 2024. All rights reserved. 1. モデルの準備 アーキテクチャに対応した任意のモデルを用意 今回はDeepSeek-R1-Distill-Llama-8Bを量子化したカスタムモデルをデ プロイ

  11. ©BLUEISH 2024. All rights reserved. 2. S3バケットにモデルをアップロード

  12. ©BLUEISH 2024. All rights reserved.

  13. ©BLUEISH 2024. All rights reserved. 4. Custom Model Importからモデルをインポート

  14. ©BLUEISH 2024. All rights reserved.

  15. ©BLUEISH 2024. All rights reserved.

  16. ©BLUEISH 2024. All rights reserved. 5. インポートしたモデルを実行してみる

  17. ©BLUEISH 2024. All rights reserved.

  18. ©BLUEISH 2024. All rights reserved.

  19. ©BLUEISH 2024. All rights reserved. 最新のオープンソースモデル、外部でカスタムしたモデル、自社開 発モデルなどを速く、簡単、安全、効率的にAWS上で活用できる！ まとめ