Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS SONIC 2020 HPC
Search
porcaro33
September 13, 2020
1
400
JAWS SONIC 2020 HPC
porcaro33
September 13, 2020
Tweet
Share
More Decks by porcaro33
See All by porcaro33
Hello! Parallel Computing Service!
porcaro33
0
190
HPC-Updates@jawshpc#19
porcaro33
0
250
top500 scheduler
porcaro33
0
520
jawsbgnr#21 kobayashi
porcaro33
1
730
Introducing_AWS_Batch-JAWS-UG
porcaro33
0
410
GPU_FPGA_Briefing+March+2017
porcaro33
0
360
Featured
See All Featured
Teambox: Starting and Learning
jrom
132
8.7k
10 Git Anti Patterns You Should be Aware of
lemiorhan
654
59k
Making the Leap to Tech Lead
cromwellryan
132
8.9k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
32
1.8k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
33k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
We Have a Design System, Now What?
morganepeng
50
7.2k
The Cult of Friendly URLs
andyhume
78
6k
Optimizing for Happiness
mojombo
376
69k
Code Reviewing Like a Champion
maltzj
519
39k
GraphQLとの向き合い方2022年版
quramy
43
13k
GitHub's CSS Performance
jonrohan
1030
460k
Transcript
ParallelClusterを使い倒してみる JAWS-UG HPC専⾨⽀部 ⼩林広志 @JAWS SONIC 2020
Who Am I - Name : Hiroshi Kobayashi - Organization
: [ JAWS-HPC, Cloud_Admin@storage_company, ] - Favorite services : [ AWSCLI, Batch, ParallelCluster, ] - Award : AWS Samurai 2017
HPC専⾨⽀部紹介 • HPC = High Performance Computing • テーマ︓「クラウドでだれでもHPC」 •
2015年8⽉設⽴ • 特徴 • ハードウェアの話が⼀番盛り上がりがち • たまにハンズオン • たまにAWS本社からの登壇者も • 開催17回、参加者総数648名
What is ParallelCluster? • 流体計算、遺伝⼦解析、気象予測などの計算を⾏うLinux クラスターの管理ツール • シンプルなコンフィグファイルにクラスターの構成を記述して、 それを元に計算クラスターを作成・更新・削除 •
AWS Batchへのジョブ投⼊も可能 • バックグラウンドで様々なAWSサービスが稼働 (CloudFormation, EC2, S3, DynamoDB, SQS, …etc ) • ジョブ投⼊に応じてオートスケールする計算機で queue待ち無しサイコー︕
はじめの⼀歩 • 管理ノードにParallelClusterをインストール • アプリケーションやライブラリの追加はMaster Nodeにsshして⼿作業 • やったー、ジョブ流れたー、オートスケールして queue待ち無し、サイコー︕ •
オンプレ = A Cluster For All • クラウド = A Cluster For You • クラスターの数増えると地獄 Admin Users pcluster xxx AWS Cloud ParallelCluster AutoScaling Spot/Ondemand Compute Nodes Master Node Management Node ssh/vnc ssh manual setup
With Pipeline • ⼿作業は全部post_instalスクリプト化 • クラスターConfigもpost_instalスクリプトもGit に突っ込む、Jenkinsでファイル配置 • クラスターの起動から設定まで⾃動化 •
最重要指標=(計算スループット) / (コスト) • パフォーマンスとコスト最適化ループを⾼速で回す • 全部Gitに⼊ってるから、変更管理もバッチリ Admin Users hook push push scripts push configs pcluster xxx run post install scripts Amazon CloudWatch put metrics AWS Cloud ParallelCluster AutoScaling Spot/Ondemand Compute Nodes Master Node S3 Bucket Management Node Git Jenkins ssh/vnc
ParallelCluster v2.9.0 • 2020/09/12 Releaed • ENHANCEMENTS • 複数コンピュートインスタンスタイプのサポート(Slurmスケジューラーのみ対応) •
ARMインスタンスでのNICE DCVサポート • .metalインスタンスでのDisabling Hyperthreadingのサポート • https://github.com/aws/aws-parallelcluster/releases/tag/v2.9.0 • 4年越しの願いがかなったー
re:Invent 2019 • 同じ話をre:Invent2019のParallelClusterワークショップでしてきました。 • CMP402 Setting up and optimizing
your HPC cluster on AWS • 自前のハンズオン https://qiita.com/porcaro33/items/0d3d7458322af60e400f
富岳 – ARM – Graviton2 • スーパーコンピュータ「富岳」TOP500、HPCG、HPL-AI、 Graph500において世界第1位を獲得 https://www.riken.jp/pr/news/2020/20200623_1/ •
富岳のCPUはARMベースの専⽤チップ • AWSでARMといえばGraviton • Graviton2はハミルトン先⽣も激推し • Graviton2で40%コスパよくなるかも https://www.youtube.com/watch?v=gyWcg0FLdLw • ベンチマーク楽しみ