JAWS-UG HPC 支部 #18 勉強会 HPC on AWS Updates

https://jawsug-hpc.connpass.com/event/244112/

Transcript

1. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Daisuke Miyamoto Specialist Solutions Architect, HPC Amazon Web Services Japan G.K. 2022/04/20 JAWS-UG HPC 支部 #18 勉強会 HPC on AWS Updates
2. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 自己紹介 ❏ 名前 宮本 大輔 ❏ 所属 アマゾン ウェブ サービス ジャパン 合同会社 技術統括本部 Specialist Solutions Architect, HPC
3. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 本日の概要 • HPC 関連サービスアップデート • Amazon EC2 • Amazon FSx for Lustre • HPC 関連最新事例 • Dive Deep: AWS ParallelCluster 3 • 今後の HPC on AWS 関連イベント
4. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. re:Invent reCap https://aws.amazon.com/jp/events/reinvent-2021-recap
5. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. HPC 関連サービスアップデート
6. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS における HPC 関連サービス 多様な HPC ワークロードに対応するための数多くのサービス コンピュート Amazon EC2 可視化 NICE-DCV スポットインスタンスの活 用で大幅なコスト減も可能 NVIDIA A100 GPU 搭載 用途に応じて多様なイ ンスタンスを利用可能 な仮想サーバサービス Xilinx Virtex UltraScale+ 搭載 100 Gbps の ネットワーク帯域 GPUアクセラレーショ ンに対応し、インタラ クティブなアプリケー ションに適したデスク トップ仮想化 ストレージ Amazon FSx for Lustre S3連携可能な高速な分散 ファイルシステムをフル マネージドで提供 P4d 管理自動化 AWS ParallelCluster AWS Batch AWS上に HPC クラス タを自動で構築。 Slurm ジョブスケ ジューラに対応してお り既存HPC環境からの 移行が容易 コンテナベースの大規 模バッチジョブコン ピューティング環境を フルマネージドで提供 Amazon S3 高い耐久性と低コストで のデータ保管を実現する オブジェクトストレージ AWS Snow ファミリー ストレージ内蔵の筐体を 郵送することで S3 に データをImport/Export
7. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon EC2 (Elastic Compute Cloud) 必要なときに必要な計算リソースを確保可能な仮想サーバサービス • 数分で起動し、秒単位の従量課金（一部タイプについては1時間単位） • 独自の仮想化基盤 Nitro System により、仮想化オーバーヘッドを極小化 • ワークロードに応じて様々なインスタンスタイプを選択可能 高性能 CPU の選択肢 アクセラレータの選択肢 Intel Xeon processor (x86_64 arch) M6i インスタンス Ice Lake 最大時全コア 3.5 GHz 駆動 M5zn インスタンス Cascade Lake 最大全コア 4.5 GHz 駆動 AMD EPYC processor※ (x86_64 arch) M6a インスタンス EPYC Milan 最大 3.3 GHz 駆動 Hpc6a インスタンス EPYC Milan AWS Graviton Processor (64-bit Arm arch) C6g インスタンス 64bit Arm Neoverse N1ベース Graviton2 CPU 搭載 NVIDIA GPU P3 インスタンス V100 GPU 搭載 P4d インスタンス A100 GPU 搭載 G5 インスタンス A10G GPU 搭載 Xilinx FPGA F1 インスタンス Virtex UltraScale+ VU9P 搭載 高性能計算向けインスタンスタイプの例
8. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon EC2 C6i instances 前世代のC5インスタンスよりも最大15％優れた価格性能を備えた新しいコンピューティング最適化インスタンス
9. Amazon EC2 Hpc6a instances Amazon EC2で実行されるHPCワークロードに対して最高の価格パフォーマンスを 提供するように設計
10. • 24GBのGPUメモリを備えたNVIDIA A10G GPUを最大8つ搭載 • 前世代のAmazon EC2 G4dnインスタンスと比較して、最大3.3倍優れ た機械学習トレーニング性能と最大3倍優れた機械学習推論性能 • Amazon EC2 P3インスタンス(NVIDIA V100 GPU搭載)よりも最大 15%トレーニングコストを低減 • 幅広い要件に対応するインスタンスサイズの柔軟性 • DLC、DL AMI、Amazon EKS、またはAmazon ECSから、すぐに利 用開始が可能 Instance sizes GPU vCPU Memory Storage Network bandwidth EBS bandwidth G5.xlarge - G5.48xlarge 1, 4, or 8 up to 192 up to 768 GB up to 7600 GB up to 100 Gbps up to 19 Gbps Amazon EC2 G5 instances
11. Announcing preview of Amazon EC2 Trn1 instances 16 個の AWS Trainium チップを搭載、 ディープラーニングトレーニング用に設計 大規模な分散型トレーニングで 最もコスト効率が高い TensorFlow および PyTorchと統 合されたAWS Neuron SDK 数万台の Trainium チップとPetaビッ トスケールのネットワークを備えた EC2 UltraClusters を展開 800 Gbps のネットワークとアクセラレー タ間の高速インターコネクト クラウドで最速の ML トレーニング ディープラーニングモデルのトレーニングに最適な価格パフォーマンスを提供
12. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon EC2 AWS Graviton2 搭載インスタンス 第5世代の x86 インスタンスと比較し最大 40 % のコストパフォーマンス向上 多くのインスタンスファミリーがローンチ済み Local NVMe-based SSD storage 搭載: general purpose (M6gd), compute-optimized (C6gd), and memory-optimized (R6gd & X2gd) ベアメタルタイプも提供中: (M6g.metal, M6gd.metal, C6g.metal, C6gd.metal, R6g.metal, R6gd.metal, X2gd.metal) M6g 汎用 C6g コンピュート最適化 R6g メモリ最適化 T4g 汎用 （ブーストタイプ） C6gn 高速ネットワーク搭載 X2gd メモリ最適化 （より多くのメモリ搭載） AWS Graviton2 Instance 対応状況（収録時） ・東京リージョン: 3AZ対応済み (※C6gnは2AZのみ, X2gdインスタンスは未対応) ・大阪リージョン: 未対応
13. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon EC2 G5g インスタンス GPU を搭載した初の AWS Graviton2 ベースインスタンス • NVIDIA T4 Tensor コア GPU を搭載 • コストパフォーンマンスの高い GPU インスタンスであり ゲームストリーミング・グラフィックス処理 機械学習における推論・自動運転シミュレーションに最適 • Arm ベースの Android ゲームをネイティブ実行可能 クロスコンパイルやエミュレーションを必要としない • Android ゲームのストリーミングにおいて コストパフォーマンスを最大 30% 向上 https://aws.amazon.com/jp/blogs/news/new-amazon-ec2-g5g-instances-powered-by-aws-graviton2-processors-and- nvidia-t4g-tensor-core-gpus/ ※ 東京リージョンでも利用可能
14. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Graviton3 re:Invent 2021 で発表 第三世代 Graviton プロセッサ 55 billion トランジスタ bfloat16 対応 AWS として初の DDR5 メモリの採用によりメモリバンド幅が +50 % 向上 AWS Graviton2 と比較して価格性能が +25 % 向上 https://www.youtube.com/watch?v=WDKwwFQKfSI
15. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. （参考）Graviton3 CPU enhancements 8 wide Fetch 5–8 wide Decode 15 wide issue & 2x larger instruction window SIMD SIMD SIMD SIMD LD ST ST ALU/MULT ALU/MULT ALU ALU BR BR LD/ST LD/ST 4–8 wide Fetch 4 wide Decode 8 wide issue SIMD SIMD ALU/MULT ALU ALU BR LD/ST LD/ST AWS Graviton2 AWS Graviton3 bfloat16 256b SVE 2x Mem ops enhanced prefetching ~2x TLS PtrAuth RNG Inst
16. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Graviton3 ベンチマーク https://www.youtube.com/watch?v=WDKwwFQKfSI
17. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Graviton3 は現在プレビュー申し込み受付中 https://pages.awscloud.com/C7g-Preview.html （プレビュー開始時期・ローンチ時期は未定） まずは AWS Graviton2 で Arm アーキテクチャへの 対応を進めることを推奨
18. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon FSx for Lustre とは 高速な分散ファイルシステムである Lustre をフルマネージドで提供 LustreはPOSIX準拠のファイルシステムとして利用可能 階層型ストレージの機能もあり、S3と透過的にデータのimport/exportが可能
19. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. FSx for Lustre next generation file systems
20. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon FSx for Lustre と S3 の統合を強化 • S3側のデータ削除・移動に自動追従可能に • LustreファイルシステムとリンクしたS3バケットのオブジェク トが削除・移動された場合も、Lustre側に自動反映するオプ ションが利用可能になった • 2020年7月23日以降に作成されたファイルシステムで有効に • 複数のS3バケットをサポート※ • 従来はLustreファイルシステムからは1つのS3バケットか、プリ フィクスにしかリンクできなかった。今回新たに、ひとつの ファイルシステムから複数のバケットやプリフィクスにリンク 可能に • S3に対するファイルの自動エクスポートが可能に※ • Lustreファイルシステム側でファイルが追加・変更・削除され た場合、それを自動的にS3側に反映できるようになった ※ PERSISTENT_2 のみ対応
21. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. HPC on AWS 最新活用事例
22. re:Invent で発表のあったカスタマー事例 既存ワークロードをそのままクラウド移行するのではなく 様々な形でクラウドへの最適化を推し進めている事例にフォーカス ワークロードは業界に独自のものだが アーキテクチャは業界を問わずクラウド HPC を考える上でのヒントに [創薬] Harvard Medical School AstraZeneca [自動運転] Aurora Innovation [金融] Morgan Stanley [半導体設計] Arm [流体計算] Formula 1
23. EUC305: Democratizing drug discovery through the largest- ever known single Region HPC run Harvard Medical School の巨大スケールでのドッキングシミュレーション事例 創薬領域では、薬の候補となる化合物を発見するため、標的となるタンパク質と化合物の相互作 用を予測するドッキングシミュレーションと呼ばれる手法が用いられる 大量の化合物でのドッキングを試すことで薬剤候補分子の発見につながるが、 そのために長大な計算時間が必要（10 億化合物 × 1化合物あたり15 秒 = 475 年） https://www.youtube.com/watch?v=XqtnTSbDLUg
24. EUC305: Democratizing drug discovery through the largest- ever known single Region HPC run スケーラブルなドッキングシミュレーションを実現するために、 VirtualFlow というソフトウェアを開発 AWS Batch + Spot Instance の活用により高いコスト効率を実現 最大時 228万 vCPU を使用することで、 数十億化合物規模のドッキングシミュレーションを数時間で完了 https://www.youtube.com/watch?v=XqtnTSbDLUg
25. CMP332: Deep dive into AWS Graviton3 and Amazon EC2 C7g instances 今回の re:Invent で新たに発表された AWS Graviton3 及び Graviton3 を搭載した C7g インスタン スについての詳細セッション Formula 1 では CFD （数値流体力学）シミュレーションを行い、C6gn と比較して C7g は +40 % の性能向上を確認 浮動小数点演算性能のベンチマークである SPECfp2017 では、C6g (Graviton2) と比較して C7g は +60 % の性能向上 https://www.youtube.com/watch?v=WDKwwFQKfSI
26. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Dive Deep: AWS ParallelCluster 3
27. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ジョブ投入に応じて自動でスケールするクラスタを AWS 上に構築可能な AWS 公式のオープンソースソフトウェア AWS ParallelCluster の特徴 • 既存のHPC向けジョブスケジューラ（Slurm）と Auto-Scaling を連携した環境を作成 • 少しのコマンド操作でクラスタ作成可能 • MPI/NCCL 環境がセットアップ済みで、すぐに利用 可能 • 使用するOSやネットワーク環境、ストレージ構成な どを柔軟にカスタマイズ可能 • オープンソースソースのプロジェクトであり、誰で もソースコードを入手可能 https://github.com/aws/aws-parallelcluster AWS ParallelCluster とは
28. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS ParallelCluster 3 ローンチ AWS ParallelCluster がメジャーアップデート • クラスタ設定ファイルが YAML 形式に変更となりパラメータ名も一新 • クラスタ管理用コマンド（pcluster）のサブコマンド名が整理され 結果出力も JSON 形式に • ParallelCluster API のサポート • IAM 権限・ネットワーク設定の柔軟性向上 • サポートポリシーの明確化 • カスタムイメージ作成機能が強化（EC2 Image Builder を利用） • （SGE/Torque のサポート終了） クラスタ単体で利用するだけでなく、他のサービスと組み合わせて利用しやすく エンタープライズカスタマー向けの機能強化 https://aws.amazon.com/jp/blogs/news/introducing-aws-parallelcluster-3/
29. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. ParallelCluster Manager ウェブベースの GUI で ParallelCluster のクラスタ管理 が可能に クラスタの作成・停止・削除に加え NICE-DCV での接続も可能 CloudFormation template の展開のみで利用可能 https://github.com/aws-samples/pcluster-manager
30. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS ParallelCluster エンタープライズ向け機能強化 AWS ParallelCluster 3.1.1 ではエンタープライズ向け機能が強化 インターネットアクセスの無い VPC でのクラスタ作成に対応 • これまでは IGW や NAT Gateway、Proxy等いずれかのインターネットアクセ スが必要だったが、今回のアップデートで VPC endpoint を作成することで対応可能に 既存の Active Directory を用いた multi-user 環境の作成に対応 • Simple AD/AWS Managed Microsoft AD (MSAD) が利用可能 https://aws.amazon.com/blogs/hpc/introducing-aws-parallelcluster-multiuser- support-via-active-directory/
31. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Tips: AWS ParallelCluster に Cloud9 をインストール AWS ParallelCluster 3 ローンチ時 のハンズオンで紹介 • Head Node に Cloud9 をイン ストールする • 有効化後は、マネージメント コンソールの Cloud9 から Head Node にログイン可能 https://catalog.us-east-1.prod.workshops.aws/workshops/6735ed89-c2de-4180-904c-40ac9fba7419/en-US/
32. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 今後の HPC on AWS 関連イベント
33. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 最新事例に学ぶ創薬領域向けAWSクラウド活用セミナー2022 • AWS からの最新事例、ソリューショ ンのご紹介 • 日本たばこ産業株式会社様より、 大規模バーチャルスクリーニングや いわゆる「AI創薬」への取り組みにつ いてご紹介 https://pages.awscloud.com/JAPAN-event-OE-jp-EIB22-BD-HCLS-20220421-reg-event.html HPC、AI創薬のAWS最新事例/サービスをご紹介 2022 年 4 月 21 日（木） 10:00 – 12:00
34. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS で実現するクラウド HPC 2022 春 ～最大 65% のコスト削減 HPC 向け Hpc6a インスタンスに Deep Dive～ 2022 年 4 月 28 日（木）10:00 – 12:00 HPC の最新情報アップデートとお客様の事例をご紹介 https://pages.awscloud.com/JAPAN-event-OE-jp-EIB22-WWSO-CMP-HPC- 20220428-reg-event.html
35. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Summit Japan https://aws.amazon.com/jp/summits/japan/
36. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Summit Japan: Compute 関連セッション AWS からは、Amazon EC2 の魅力をお伝えする「ここがすごいよ Amazon EC2 (AWS-52)」と AWS Graviton の概要・活用方法をご紹介する「Amazon EC2 のコストパ フォーマンスを最大 40 % 向上させる AWS Graviton によるコスト最適化入門 (AWS-53)」の 2 セッションが予定 https://aws.amazon.com/jp/summits/japan/
37. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Summit Japan: 事例セッション HPC 関連カスタマー事例としては、 「AWS を活用した半導体設計環境構築による設計力強化の実現(CUS-09)」 「AWS をプラットフォームとして活用した汎用原子レベルシミュレータ Matlantis のご紹介(CUS-29)」 の 2 セッションに注目！ https://aws.amazon.com/jp/summits/japan/
38. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. まとめ • アップデートとして、Hpc6a を含めた新しい EC2 インスタンスや FSx for Lustre の新タイプ、S3連携機能強化についてご紹介 • 最新事例として、大規模バーチャルスクリーニングや Formula 1 での Graviton3 ベンチマークをご紹介 • AWS ParallelCluster 3 で強化された API 機能およびそれを活用した ParallelCluster Manager や、エンタープライズ向け機能強化 • 今後の HPC on AWS 関連イベント • Hpc6a フォーカスイベントに加え、AWS Summit Japan にも注目セッショ ンがありますので、是非ご参加ください！