Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Amazon Bedrock Custom model importを試してみる

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for ttnyt8701 ttnyt8701
February 19, 2025
Programming
290
3

Amazon Bedrock Custom model importを試してみる

【AWS活用 徹底Amazon Bedrock #3】カスタムモデル 編
https://blueish.connpass.com/event/345802/

Avatar for ttnyt8701

ttnyt8701

February 19, 2025

More Decks by ttnyt8701

See All by ttnyt8701
Gemini CLI のはじめ方
Avatar for ttnyt8701 ttnyt8701
1
310
ObsidianをMCP連携させてみる
Avatar for ttnyt8701 ttnyt8701
3
7.2k
Claude Codeの使い方
Avatar for ttnyt8701 ttnyt8701
2
460
FastMCPでMCPサーバー/クライアントを構築してみる
Avatar for ttnyt8701 ttnyt8701
3
750
LangChain Open Deep Researchとは？
Avatar for ttnyt8701 ttnyt8701
2
490
Vertex AI Agent Builderとは？
Avatar for ttnyt8701 ttnyt8701
4
450
A2A(Agent2Agent )とは？
Avatar for ttnyt8701 ttnyt8701
2
520
Amazon Bedrock LLM as a Judgeを試す
Avatar for ttnyt8701 ttnyt8701
2
220
Amazon Sagemaker Jump Startを用いて爆速でモデルを作成してみる
Avatar for ttnyt8701 ttnyt8701
3
130

Other Decks in Programming

See All in Programming
壊れたパーサから始める関数型設計と構成的なパーサ #fp_matsuri
Avatar for ライガー raiga0310
2
180
AIエージェントで 変わるAndroid開発環境
Avatar for takahirom takahirom
2
460
アルゴリズムは何を圧縮しているのか ─ Haskell から育った「圧縮代数」というメンタルモデル
Avatar for Naoya Ito naoya
15
2.9k
継続モナドとリアクティブプログラミング
Avatar for ゆきくらげ yukikurage
3
410
ECSアプリログをFireLensでコスト削減しようとしたけど諦めた話 in Fargate×Node.js
Avatar for アキキー | Akihisa Ikeda akihisaikeda
2
4.2k
【やさしく解説 設計編・中級 #1】一つの車に、運転手は一人　～ある倉庫システムの事例から～
Avatar for HideyukiKitao panda728
PRO
0
120
音楽のための関数型プログラミング言語mimiumにおける多段階計算の活用
Avatar for Tomoya Matsuura tomoyanonymous
1
280
その問い、本当に正しいですか？AI時代のエンジニアに必要な哲学と認知科学 / ai-philosophy-cognitive-science
Avatar for MinoDriven minodriven
14
6.7k
Go1.27で導入されるジェネリクスメソッドでできること
Avatar for mackee mackee
0
250
SREの積み重ねがAI駆動開発のガードレールになった ― 7つの実践/SRE Guardrails The 7
Avatar for TomoyaKitaura tomoyakitaura
7
2.9k
ADKを使って簡単にAIエージェントを作ってみよう
Avatar for K1mu21 k1mu21
0
290
Generative UI & AI-Assistants for Your Angular Solutions
Avatar for Manfred Steyer manfredsteyer
PRO
0
140

Featured

See All Featured
技術選定の審美眼（2025年版） / Understanding the Spiral of Technologies 2025 edition
Avatar for Takuto Wada twada
PRO
118
120k
SERP Conf. Vienna - Web Accessibility: Optimizing for Inclusivity and SEO
Avatar for Sara Fernández Carmona sarafernandez
2
1.5k
What’s in a name? Adding method to the madness
Avatar for The Alliance productmarketing
PRO
24
4.1k
Distributed Sagas: A Protocol for Coordinating Microservices
Avatar for Caitie McCaffrey caitiem20
333
23k
The Illustrated Children's Guide to Kubernetes
Avatar for Chris Short chrisshort
51
52k
SEO Brein meetup: CTRL+C is not how to scale international SEO
Avatar for Linda Hogenes lindahogenes
1
2.8k
The Director’s Chair: Orchestrating AI for Truly Effective Learning
Avatar for Mike Taylor tmiket
1
210
Building a A Zero-Code AI SEO Workflow
Avatar for Ian Lurie portentint
PRO
0
630
From π to Pie charts
Avatar for Rasagy Sharma rasagy
0
230
Building an army of robots
Avatar for Kyle Neath kneath
306
46k
Jamie Indigo - Trashchat’s Guide to Black Boxes: Technical SEO Tactics for LLMs
Avatar for Tech SEO Connect techseoconnect
PRO
0
260
Keith and Marios Guide to Fast Websites
Avatar for Keith Pitt keithpitt
413
23k

Transcript

  1. Amazon Bedrock Custom Model Importを試してみる 立野 祐太 2025.02.19 ©BLUEISH 2024.

    All rights reserved.

  2. 立野 祐太 Yuta Tateno ・Go、GCPでの開発・運用 バックエンドエンジニア 自己紹介 ©BLUEISH 2024. All

    rights reserved.

  3. ©BLUEISH 2024. All rights reserved. 最新のオープンソースモデルや独自のカスタムモデルをす ぐに・簡単に・安全に使いたい！ 👉Amazon Bedrock Custom

    Model Importで実現できます

  4. ©BLUEISH 2024. All rights reserved. 独自にトレーニングしたモデルやオープンソースモデルを Bedrock上でAPI として運用できる機能 Amazon Bedrock

    Custom Model Import とは

  5. - オープンソースモデル、外部でトレーニングしたモデル、自社 開発モデルをBedrockで使える - APIとしてサーバー管理不要で簡単に利用できる - AWSのナレッジベース、エージェント、ガードレールなどの ツールと統合可能 - AWS

    のセキュリティとコンプライアンスの枠組み内で安全に運 用 ©BLUEISH 2024. All rights reserved. 主な利点

  6. ©BLUEISH 2024. All rights reserved. 対応アーキテクチャ - Mistral - Mixtral

    - Flan - Llama 2、Llama3、Llama3.1、Llama3.2、および Llama 3.3 👉すべてのモデルが利用できるわけではない。アーキテクチャの変換や蒸留などの 工夫が必要 対応リージョン - 米国東部 (バージニア北部) - 米国西部 (オレゴン)

  7. ©BLUEISH 2024. All rights reserved. - カスタムモデルユニット：インポートしたモデルのアーキテクチャ、パラメータ数、コン テキスト長などに基づいて消費されるリソース単位。インポートした際に決定される。 - 5

    分単位で料金が発生 - リクエストによってインスタンス数が自動でスケール カスタムモデルユニットあたりの推論コスト/分: 0.0785(USD) カスタムモデルユニットあたりのストレージコスト/月: 1.95(USD) 料金体系

  8. ©BLUEISH 2024. All rights reserved. Llma 3.1 70Bを７分間利用した例 カスタムモデルユニットあたりの推論コスト/分: $0.0785

    カスタムモデルユニットあたりのストレージコスト/月: $1.95 カスタムモデルユニット数: 8 (ドキュメント記載の値を参考) 利用時間: 7分 5 分単位でのウィンドウ数: 2 インスタンス数：１ 推論コスト：0.0785 * 8 * 2 * 1 = $1.256 👉軽量なモデルで推論速度が速いほどコストは安くなりそう ストレージコスト：1.95 * 8 = $15.6 / 月

  9. Deep Seekカスタムモデルをインポートしてみる ©BLUEISH 2024. All rights reserved.

  10. ©BLUEISH 2024. All rights reserved. 1. モデルの準備 アーキテクチャに対応した任意のモデルを用意 今回はDeepSeek-R1-Distill-Llama-8Bを量子化したカスタムモデルをデ プロイ

  11. ©BLUEISH 2024. All rights reserved. 2. S3バケットにモデルをアップロード

  12. ©BLUEISH 2024. All rights reserved.

  13. ©BLUEISH 2024. All rights reserved. 4. Custom Model Importからモデルをインポート

  14. ©BLUEISH 2024. All rights reserved.

  15. ©BLUEISH 2024. All rights reserved.

  16. ©BLUEISH 2024. All rights reserved. 5. インポートしたモデルを実行してみる

  17. ©BLUEISH 2024. All rights reserved.

  18. ©BLUEISH 2024. All rights reserved.

  19. ©BLUEISH 2024. All rights reserved. 最新のオープンソースモデル、外部でカスタムしたモデル、自社開 発モデルなどを速く、簡単、安全、効率的にAWS上で活用できる！ まとめ