ECS EBS integation の概要、ユースケース

Transcript

1. 2024.03.07 JAWS-UG コンテナ支部 #26 s.hiruta (@web_se) ECS Fargate EBS integrationの概要、ユースケース CDKで構築してみた。
2. Self introduction 【名前】 s.hiruta ( @web_se ) 【仕事】 コンテナ、マイクロサービス基盤構築 【興味分野】 Containers、WASM+LLM、 Github clouddev-code zenn clouddevcode 2
3. Previous LT Slide https://speakerdeck.com/cloudevcode 3
4. アジェンダ • サービスアップデート • Persistent Volumesとの比較 • CDKで構築 • 4
5. ECS EBS Integration • 5
6. サービスアップデートのポイント • EBS SnapshotからRunTask時にEBSをプロビジョニン グして外付ディスクとして利用できる • snapshotサイズ以上のディスクがプロビジョニング される 6
7. ECS のRoleについてのおさらい • Task Role • Task Execution Role • EBS Volume Role new! 7
8. 構成図 8
9. ECS EBS Integrationの考慮事項 • ( EC2 launch type ) Nitro-base Linux instances • (Fargate launch type) platform version 1.4.0 • ( EC2 launch type ) ECS-Optimized AMI 20231219 or later • magnetic EBS Volume type not supported • attach at most one Amazon EBS volume • snapshot of an Amazon EBS that contains partitions not supported • Task がterminateしたら、EBSも削除される https://docs.aws.amazon.com/AmazonECS/latest/developerguide/using_data_volumes.html 9
10. GP3だけでなく、IO1、IO2 • 10
11. ECS EBS Integrationのユースケース • GGUFにMixtral-8x7B-Instruct-v0.1のモデルを Q5_K_Mで量子化しても、30Gになる • ML Training用docker continerにモデルデータを読 む方法がありますが、docker container imageの minimal化に使える 11
12. ECS EBS Integrationなかったときどうしていたか • Amazon EFS – EBSに比べて、IO性能はもちろんでない • S3 Express one zone – ML 用途なら、mount point of S3も使えるが、IO 性能は犠牲になる 12
13. 　KubernetesのVolumesの類似機能 • Persistent Volumesのsnapshotからのプロビジョニ ング • snapshot size未満のディスクプロビジョニングは不 可 • snapshot size以上は可 • オンライン拡張も可 https://kubernetes.io/docs/concepts/storage/persistent-volumes/#volume-snapshot-and-restore-volume-from-snapshot-sup port 13
14. 　Constructs実装一部 14
15. CDK • ServiceManagedVolume (v2.122.0) • volumeConfigrations propertyはL2 Construtsまで は対応済み ServiceManagedVolume mountIn FargateService 15
16. 　volumeConfigrations • どのvolumeを使うか指定する • L3 Constructsは対応してなさそう Invalid request provided: CreateService error: The volume name 'ebs1' in your request does not have a matching volume in your Task Definition that is configurable at launch. (Service: AmazonECS; StatusCode: 400; Error Code: InvalidParameterException; Request ID: 811742b3-0288-4b4c-80a1-b86ffa9e9047; Proxy: null 16
17. 　snapshot size以下のディスクをプロビジョニングした ときの挙動 • 結論、snapshot size以下のサイズを指定しても、 snapshotのサイズでEBSがプロビジョニングする 17
18. 　snapshot size以上のディスクをプロビジョニングした ときの挙動 • 結論、snapshot size以上のサイズを指定しても、指 定したサイズでEBSがプロビジョニングする 18
19. 　値段 • EBS(gp3) 0.096/GB USD (IOPS料金はかかる)
 • EFS 0.36/GB USD (Multi-AZ with Elastic throughput )
 19
20. 　まとめ • ML Training、大容量のデータを低レイテンシなスト レージを使うケースに最適と思われる 20