AWS Neuron周辺のre:Cap

JAWS-UG大阪 re:Invent re:Cap LT大会 UFOが来たら強制終了 にて 1分LTをしました。

https://jawsugosaka.connpass.com/event/378770/

1. AWS Neuron周辺のre:Cap Native PyTorch と NKI 株式会社シーズ Yuta Nakamura / よ〜ん JAWS-UG大阪 re:Invent re:Cap LT大会 UFOが来たら強制終了
2. 株式会社シーズ Twitter(X) @tesla_yoon 好きなAWSサービス AWS Step Functions / AWS CDK / Amazon Lightsail 2 Yuta Nakamura / よ〜ん
3. Native PyTorch 対応
4. 1. Native PyTorchに対応 ネイティブで PyTorch統合を可能にしました。 既存のPyTorchコードをほぼ変更なし で動かすことが可能になりま す。 ※ PyTorch とは Pythonの機械学習ライブラリ
5. 1. Native PyTorchに対応 ネイティブで PyTorch統合を可能にしました。 既存のPyTorchコードをほぼ変更なし で動かすことが可能になりま す。 ほぼ変更なしってどれぐらい変更するん？
6. 1. 使い方 model = MyModel().to('cuda') optimizer = torch.optim.AdamW(model.parameters()) for batch in dataloader: optimizer.zero_grad()
7. 1. 使い方 model = MyModel().to('cuda') optimizer = torch.optim.AdamW(model.parameters()) for batch in dataloader: optimizer.zero_grad()
8. 1. 使い方 model = MyModel().to('neuron') optimizer = torch.optim.AdamW(model.parameters()) for batch in dataloader: optimizer.zero_grad()
9. 1. 使い方 - model = MyModel().to('cuda') + model = MyModel().to('neuron') optimizer = torch.optim.AdamW(model.parameters()) for batch in dataloader: optimizer.zero_grad() これだけ →学習コストを抑えて既存の資産が使える
10. Neuron Kernel Interface
11. 2. Neuron Kernel Interface NKI (通称 ニキ) AWS Trainiumへのアクセスを可能にするインターフェース NVIDIAで言う所のCUDA(PyTorchのTritonかも) NKIのベータリリース自体は2024年9月ごろ
12. 2. Neuron Kernel Interface NKI (通称 ニキ) AWS Trainiumへのアクセスを可能にするインターフェース NVIDIAで言う所のCUDA(PyTorchのTritonかも) NKIのベータリリース自体は2024年9月ごろ →何が嬉しいのか
13. 2. Neuron Kernel Interface NKI (通称 ニキ) AWS Trainiumへのアクセスを可能にするインターフェース NVIDIAで言う所のCUDA(PyTorchのTritonかも) NKIのベータリリース自体は2024年9月ごろ →何が嬉しいのか NKIがあることで Flash Attention(*)などが使える * I/O最適化手法
14. まとめ • Native PyTorch対応により、移行が容易になった • NKIによりチューニング・最適化が可能になった。 ◦ NKI CompilerはOpen Source ◦ 既存の最適化手法も実装も可能 (と思われる ) • (個人的には)ECS Managed InstanceでTrn / Infを使いたい