Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SageMaker Hyperpod 101 #regrowth_sapporo
Search
takakuni
December 12, 2024
1
200
SageMaker Hyperpod 101 #regrowth_sapporo
takakuni
December 12, 2024
Tweet
Share
More Decks by takakuni
See All by takakuni
Allowed to prefixes
takakuni
0
140
About Extended Threat Detection in Amazon GuardDuty
takakuni
0
160
What is Amazon Bedrock knowledge base with an Amazon Kendra GenAI index?
takakuni
0
270
New Security Challenges and Countermeasures Brought by Generative AI in Classmethod Cloud Security Fes
takakuni
0
240
サンプルサンプル株式会社 会社説明資料
takakuni
0
2k
re:Inforce 2024 コンテナセキュリティアップデートまとめ
takakuni
0
400
AWS re:Inforce 2024 個人的推しアップデート総まとめ(仮)
takakuni
0
1.2k
Backlog Git を AWS に繋ぎ コンテナイメージをビルドしてみた
takakuni
0
180
巷で話題の SOCI についてのお話
takakuni
0
230
Featured
See All Featured
Building Flexible Design Systems
yeseniaperezcruz
328
38k
Building a Scalable Design System with Sketch
lauravandoore
460
33k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
26
1.9k
RailsConf 2023
tenderlove
29
970
YesSQL, Process and Tooling at Scale
rocio
170
14k
How GitHub (no longer) Works
holman
312
140k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
30
2.1k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.5k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
230
52k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
870
How to train your dragon (web standard)
notwaldorf
89
5.8k
Transcript
2024/12/12 re:Growth 2024 札幌 たかくに SageMaker HyperPod 101
⾃⼰紹介 • 部署 ◦ AWS 事業本部コンサルティング部 • 名前(ニックネーム) ◦ たかくに
• ロール ◦ ソリューションアーキテクト • re:Invent どうだった? ◦ 楽しかった!が釣りタイトル踏んでしまう
オーバーしたらごめんなさい❤
re:Invent 2024 どうでしたか?
re:Invent 2024 どうでしたか??
re:Invent 2024 どうでしたか???
SageMaker HyperPod すごかったですね!!!!!!!!
Dr. Swami’s Key Note
Dr. Swami’s Key Note
Dr. Swami’s Key Note
Dr. Swami’s Key Note
Dr. Swami’s Key Note
Dr. Swami’s Key Note
SageMaker HyperPod すごかったですね!!!!!!!!
問題です
re:Invent 2023 の Dr.Swami は 何枚⽬でしたでしょう?
正解:2枚⽬
そうです。 2023年に出てきたサービスです。
• ⼤規模な⾔語モデルの推論や分散並列学習を ⾏うプラットフォーム • Slurm と EKS オーケストレーターをサポート • 回復⼒のあるプラットフォームを提供
SageMaker HyperPod
モデルにわたす データセット、トークン、パラメータ
でかい!!!!!!!!!!!
SageMaker HyperPod
安定した機械学習ワークロードを 提供するように設計されている AWS ParallelCluster と⽐べて
SageMaker HyperPod のここがすごい • クラスターヘルスチェック ◦ 起動中やワーカーノード追加前にヘルスチェック ▪ GPU, Trainium,
EFA ▪ EKS の場合はハードウェアまで確認 • ⾃動ノード復旧/再開 ◦ 障害を検知しノードを交換 ◦ 新規ノードはチェックポイントから⾃動で再開
やっと、アップデート紹介です。
• EKS のみサポート • 起動しているインスタンス/タスクの可視化 ◦ GPU の使⽤率、使⽤時間等 • クラスターポリシーを使い統制可能に
Amazon SageMaker HyperPod task governance
Amazon SageMaker HyperPod task governance
• 利⽤可能なコンピュートサイズ、期間を予約 する機能 • 予約期間は1⽇から182⽇まで1⽇単位で設定 • 安くなるわけではない Amazon SageMaker HyperPod
flexible training plans
Amazon SageMaker HyperPod flexible training plans
None