Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Amazon Bedrock Custom model importを試してみる

Avatar for ttnyt8701 ttnyt8701
February 19, 2025
Programming
3
100

Amazon Bedrock Custom model importを試してみる

【AWS活用 徹底Amazon Bedrock #3】カスタムモデル 編
https://blueish.connpass.com/event/345802/

Avatar for ttnyt8701

ttnyt8701

February 19, 2025
Tweet

More Decks by ttnyt8701

See All by ttnyt8701
Gemini CLI のはじめ方
Avatar for ttnyt8701 ttnyt8701
1
100
ObsidianをMCP連携させてみる
Avatar for ttnyt8701 ttnyt8701
3
230
Claude Codeの使い方
Avatar for ttnyt8701 ttnyt8701
2
190
FastMCPでMCPサーバー/クライアントを構築してみる
Avatar for ttnyt8701 ttnyt8701
3
170
LangChain Open Deep Researchとは？
Avatar for ttnyt8701 ttnyt8701
2
120
Vertex AI Agent Builderとは？
Avatar for ttnyt8701 ttnyt8701
4
140
A2A(Agent2Agent )とは？
Avatar for ttnyt8701 ttnyt8701
2
330
Amazon Bedrock LLM as a Judgeを試す
Avatar for ttnyt8701 ttnyt8701
2
33
Amazon Sagemaker Jump Startを用いて爆速でモデルを作成してみる
Avatar for ttnyt8701 ttnyt8701
3
67

Other Decks in Programming

See All in Programming
チームのテスト力を総合的に鍛えて品質、スピード、レジリエンスを共立させる/Testing approach that improves quality, speed, and resilience
Avatar for Hiroki Iseri goyoki
6
1.2k
CIを整備してメンテナンスを生成AIに任せる
Avatar for Hazumi Ichijo hazumirr
0
210
The Modern View Layer Rails Deserves: A Vision For 2025 And Beyond @ RailsConf 2025, Philadelphia, PA
Avatar for Marco Roth marcoroth
2
790
코딩 에이전트 체크리스트: Claude Code ver.
Avatar for nacyot nacyot
0
990
Git Sync を超える！OSS で実現する CDK Pull 型デプロイ / Deploying CDK with PipeCD in Pull-style
Avatar for Tetsuya Kikuchi tkikuc
4
460
MySQL9でベクトルカラム登場！PHP×AWSでのAI/類似検索はこう変わる
Avatar for Suguru Ohki suguruooki
1
220
Workers を定期実行する方法は一つじゃない
Avatar for rokuosan rokuosan
0
130
ご注文の差分はこちらですか？ 〜 AWS CDK のいろいろな差分検出と安全なデプロイ
Avatar for Kenji Kono konokenj
4
680
はじめてのWeb API体験 ー 飲食店検索アプリを作ろうー
Avatar for Aki Nakahara akinko_0915
0
160
リバースエンジニアリング新時代へ！
GhidraとClaude DesktopをMCPで繋ぐ/findy202507
Avatar for @tkmru tkmru
4
1.2k
Claude Code + Container Use と Cursor で作る ローカル並列開発環境のススメ / ccc local dev
Avatar for Yuichi Maekawa kaelaela
12
7.4k
テスターからテストエンジニアへ ~新米テストエンジニアが歩んだ9ヶ月振り返り~
Avatar for のんちゃん non0113
2
240

Featured

See All Featured
Stop Working from a Prison Cell
Avatar for Chris Michel hatefulcrawdad
271
21k
Thoughts on Productivity
Avatar for Jon Yablonski jonyablonski
69
4.7k
Product Roadmaps are Hard
Avatar for C. Todd Lombardo iamctodd
PRO
54
11k
Done Done
Avatar for chrislema chrislema
184
16k
Automating Front-end Workflow
Avatar for Addy Osmani addyosmani
1370
200k
4 Signs Your Business is Dying
Avatar for Josh Pigford shpigford
184
22k
Performance Is Good for Brains [We Love Speed 2024]
Avatar for Tammy Everts tammyeverts
10
990
Music & Morning Musume
Avatar for Bryan Veloso bryan
46
6.7k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
Avatar for Dan Newman danielanewman
229
22k
Balancing Empowerment & Direction
Avatar for Lara Hogan lara
1
500
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
16k
Why You Should Never Use an ORM
Avatar for John Nunemaker jnunemaker
PRO
58
9.5k

Transcript

  1. Amazon Bedrock Custom Model Importを試してみる 立野 祐太 2025.02.19 ©BLUEISH 2024.

    All rights reserved.

  2. 立野 祐太 Yuta Tateno ・Go、GCPでの開発・運用 バックエンドエンジニア 自己紹介 ©BLUEISH 2024. All

    rights reserved.

  3. ©BLUEISH 2024. All rights reserved. 最新のオープンソースモデルや独自のカスタムモデルをす ぐに・簡単に・安全に使いたい！ 👉Amazon Bedrock Custom

    Model Importで実現できます

  4. ©BLUEISH 2024. All rights reserved. 独自にトレーニングしたモデルやオープンソースモデルを Bedrock上でAPI として運用できる機能 Amazon Bedrock

    Custom Model Import とは

  5. - オープンソースモデル、外部でトレーニングしたモデル、自社 開発モデルをBedrockで使える - APIとしてサーバー管理不要で簡単に利用できる - AWSのナレッジベース、エージェント、ガードレールなどの ツールと統合可能 - AWS

    のセキュリティとコンプライアンスの枠組み内で安全に運 用 ©BLUEISH 2024. All rights reserved. 主な利点

  6. ©BLUEISH 2024. All rights reserved. 対応アーキテクチャ - Mistral - Mixtral

    - Flan - Llama 2、Llama3、Llama3.1、Llama3.2、および Llama 3.3 👉すべてのモデルが利用できるわけではない。アーキテクチャの変換や蒸留などの 工夫が必要 対応リージョン - 米国東部 (バージニア北部) - 米国西部 (オレゴン)

  7. ©BLUEISH 2024. All rights reserved. - カスタムモデルユニット：インポートしたモデルのアーキテクチャ、パラメータ数、コン テキスト長などに基づいて消費されるリソース単位。インポートした際に決定される。 - 5

    分単位で料金が発生 - リクエストによってインスタンス数が自動でスケール カスタムモデルユニットあたりの推論コスト/分: 0.0785(USD) カスタムモデルユニットあたりのストレージコスト/月: 1.95(USD) 料金体系

  8. ©BLUEISH 2024. All rights reserved. Llma 3.1 70Bを７分間利用した例 カスタムモデルユニットあたりの推論コスト/分: $0.0785

    カスタムモデルユニットあたりのストレージコスト/月: $1.95 カスタムモデルユニット数: 8 (ドキュメント記載の値を参考) 利用時間: 7分 5 分単位でのウィンドウ数: 2 インスタンス数：１ 推論コスト：0.0785 * 8 * 2 * 1 = $1.256 👉軽量なモデルで推論速度が速いほどコストは安くなりそう ストレージコスト：1.95 * 8 = $15.6 / 月

  9. Deep Seekカスタムモデルをインポートしてみる ©BLUEISH 2024. All rights reserved.

  10. ©BLUEISH 2024. All rights reserved. 1. モデルの準備 アーキテクチャに対応した任意のモデルを用意 今回はDeepSeek-R1-Distill-Llama-8Bを量子化したカスタムモデルをデ プロイ

  11. ©BLUEISH 2024. All rights reserved. 2. S3バケットにモデルをアップロード

  12. ©BLUEISH 2024. All rights reserved.

  13. ©BLUEISH 2024. All rights reserved. 4. Custom Model Importからモデルをインポート

  14. ©BLUEISH 2024. All rights reserved.

  15. ©BLUEISH 2024. All rights reserved.

  16. ©BLUEISH 2024. All rights reserved. 5. インポートしたモデルを実行してみる

  17. ©BLUEISH 2024. All rights reserved.

  18. ©BLUEISH 2024. All rights reserved.

  19. ©BLUEISH 2024. All rights reserved. 最新のオープンソースモデル、外部でカスタムしたモデル、自社開 発モデルなどを速く、簡単、安全、効率的にAWS上で活用できる！ まとめ