Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS SONIC 2020 HPC
Search
porcaro33
September 13, 2020
1
400
JAWS SONIC 2020 HPC
porcaro33
September 13, 2020
Tweet
Share
More Decks by porcaro33
See All by porcaro33
Hello! Parallel Computing Service!
porcaro33
0
190
HPC-Updates@jawshpc#19
porcaro33
0
250
top500 scheduler
porcaro33
0
540
jawsbgnr#21 kobayashi
porcaro33
1
730
Introducing_AWS_Batch-JAWS-UG
porcaro33
0
410
GPU_FPGA_Briefing+March+2017
porcaro33
0
370
Featured
See All Featured
Unsuck your backbone
ammeep
668
57k
Visualization
eitanlees
145
15k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
720
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Fashionably flexible responsive web design (full day workshop)
malarkey
405
65k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
109
49k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
370
Designing on Purpose - Digital PM Summit 2013
jponch
115
7k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
47
2.1k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Fireside Chat
paigeccino
34
3k
The Art of Programming - Codeland 2020
erikaheidi
52
13k
Transcript
ParallelClusterを使い倒してみる JAWS-UG HPC専⾨⽀部 ⼩林広志 @JAWS SONIC 2020
Who Am I - Name : Hiroshi Kobayashi - Organization
: [ JAWS-HPC, Cloud_Admin@storage_company, ] - Favorite services : [ AWSCLI, Batch, ParallelCluster, ] - Award : AWS Samurai 2017
HPC専⾨⽀部紹介 • HPC = High Performance Computing • テーマ︓「クラウドでだれでもHPC」 •
2015年8⽉設⽴ • 特徴 • ハードウェアの話が⼀番盛り上がりがち • たまにハンズオン • たまにAWS本社からの登壇者も • 開催17回、参加者総数648名
What is ParallelCluster? • 流体計算、遺伝⼦解析、気象予測などの計算を⾏うLinux クラスターの管理ツール • シンプルなコンフィグファイルにクラスターの構成を記述して、 それを元に計算クラスターを作成・更新・削除 •
AWS Batchへのジョブ投⼊も可能 • バックグラウンドで様々なAWSサービスが稼働 (CloudFormation, EC2, S3, DynamoDB, SQS, …etc ) • ジョブ投⼊に応じてオートスケールする計算機で queue待ち無しサイコー︕
はじめの⼀歩 • 管理ノードにParallelClusterをインストール • アプリケーションやライブラリの追加はMaster Nodeにsshして⼿作業 • やったー、ジョブ流れたー、オートスケールして queue待ち無し、サイコー︕ •
オンプレ = A Cluster For All • クラウド = A Cluster For You • クラスターの数増えると地獄 Admin Users pcluster xxx AWS Cloud ParallelCluster AutoScaling Spot/Ondemand Compute Nodes Master Node Management Node ssh/vnc ssh manual setup
With Pipeline • ⼿作業は全部post_instalスクリプト化 • クラスターConfigもpost_instalスクリプトもGit に突っ込む、Jenkinsでファイル配置 • クラスターの起動から設定まで⾃動化 •
最重要指標=(計算スループット) / (コスト) • パフォーマンスとコスト最適化ループを⾼速で回す • 全部Gitに⼊ってるから、変更管理もバッチリ Admin Users hook push push scripts push configs pcluster xxx run post install scripts Amazon CloudWatch put metrics AWS Cloud ParallelCluster AutoScaling Spot/Ondemand Compute Nodes Master Node S3 Bucket Management Node Git Jenkins ssh/vnc
ParallelCluster v2.9.0 • 2020/09/12 Releaed • ENHANCEMENTS • 複数コンピュートインスタンスタイプのサポート(Slurmスケジューラーのみ対応) •
ARMインスタンスでのNICE DCVサポート • .metalインスタンスでのDisabling Hyperthreadingのサポート • https://github.com/aws/aws-parallelcluster/releases/tag/v2.9.0 • 4年越しの願いがかなったー
re:Invent 2019 • 同じ話をre:Invent2019のParallelClusterワークショップでしてきました。 • CMP402 Setting up and optimizing
your HPC cluster on AWS • 自前のハンズオン https://qiita.com/porcaro33/items/0d3d7458322af60e400f
富岳 – ARM – Graviton2 • スーパーコンピュータ「富岳」TOP500、HPCG、HPL-AI、 Graph500において世界第1位を獲得 https://www.riken.jp/pr/news/2020/20200623_1/ •
富岳のCPUはARMベースの専⽤チップ • AWSでARMといえばGraviton • Graviton2はハミルトン先⽣も激推し • Graviton2で40%コスパよくなるかも https://www.youtube.com/watch?v=gyWcg0FLdLw • ベンチマーク楽しみ