S3Gateway型エンドポイントのありがたさに気づいた話

Transcript

1. 札幌オフィス 〒060-0004 北海道札幌市中央区北4条西6-1 毎日札幌会館9F ベトナムオフィス 7th Floor, Mercury Building, No.444 Hoang Hoa Tham Street, Thuy Khue ward, Tay Ho District, Hanoi city 西日本オフィス 〒530-0001 大阪府大阪市北区梅田2-2-2 ヒルトンプラザウエストオフィスタワー19F シリコンバレーインキュベーションセンター 3350 Scott Blvd. #29 Santa Clara, CA 95054 東京オフィス(本社) 〒108-0073 東京都港区三田3-13-16 三田43MTビル12F 株式会社ビッグツリーテクノロジー＆コンサルティング エンジニアの失敗学LT会vol2 ～S3ゲートウェイエンドポイントのありがたさに気づいた話～ 2022年8月17日
2. 2 Copyright © 2022 BTC Corporation All Rights Reserved. 自己紹介 クマ松 名前 株式会社ビッグツリーテクノロジー＆コンサルティング 所属 • Cloud CoE（2021年1月～） 登山、ハロプロ（今年は8回現場入り） 趣味 業務 • AWSを使ったインフラ基盤構築 • 複数のお客様内でCloud CoE設立、PMO業務 • AWS Top Engineer（2021年/2022年）、AWS Ambassador(2022年)
3. 3 Copyright © 2022 BTC Corporation All Rights Reserved. NAT GatewayとVPCエンドポイントを 上手く組み合わせよう 結論
4. 4 Copyright © 2022 BTC Corporation All Rights Reserved. 弊社のとあるプロジェクトの事例 あるAWSアカウントでデータ変換処理を実施した日のコストを確認したところ、想像以上に跳ね上 がっていて、中でもNAT Gateway（EC2その他に分類）が高くなっていたことを検知しました。 ※弊社のクラウドブログから引用 「NAT Gatewayのコスト分析で、S3ゲートウェイエンドポイントのありがたさに気づいた」, DX事業部 宮國,2022/06/01 https://cloud.bigtreetc.com/column/Gateway-endpoint/ ブログには他にも有益なクラウド情報が盛りだくさん！ 是非チェックしてください 原因 VPC内に構築したLambdaから、S3に転送するデータ量が多く、 それらのデータを全てNAT Gatewayを経由してS3に転送していたため
5. 5 Copyright © 2022 BTC Corporation All Rights Reserved. VPC内からVPC外へアクセスする 方法をご存知でしょうか
6. 6 Copyright © 2022 BTC Corporation All Rights Reserved. Public subnet VPC VPC内のAWSサービスからVPC外のサービスへアクセスする4つのルート Internet Gateway ① Internet Gateway Public subnet VPC Internet Gateway ② NAT Gateway ＋Internet Gateway Private subnet Public subnet VPC Internet Gateway ③ VPC Endpoint (Gateway型) Private subnet Public subnet VPC Internet Gateway ④ VPC Endpoint (Interface型) Private subnet AWS PrivateLink 今回の話 参考：「EC2からS3へアクセスする4つのルートとコスト」,NRI Netcom BLOG,佐々木拓郎,2021/09-24 https://tech.nri- net.com/entry/access_routes_from_EC2_to_S3
7. 7 Copyright © 2022 BTC Corporation All Rights Reserved. VPCエンドポイントを ご存知でしょうか
8. 8 Copyright © 2022 BTC Corporation All Rights Reserved. VPC エンドポイントとは？ ✓ VPC内のコンピューティングサービス（EC2・Fargate・Lambda等）がVPCの外のAWSサービス にアクセスする際に利用するAWSのネットワークコンポーネント ✓ Internet Gatewayに接続することなく、プライベートな接続でAWSサービスに接続可能 Public subnet VPC ③ VPC Endpoint (Gateway型) Private subnet Public subnet VPC ④ VPC Endpoint (Interface型) Private subnet CloudWatch Logsに ログを出力 DynamoDB にデータを登録 S3 にオブジェクトを登録 SESでメールを送信 ※サブネット内にENIが作成され、プライベー トIPを使って外部にアクセス ※グローバルIPを持つエンドポイントで外部にアクセス
9. 9 Copyright © 2022 BTC Corporation All Rights Reserved. VPC エンドポイントをサポートしているAWSサービス https://docs.aws.amazon.com/ja_jp/vpc/latest/privatelink/integrated-services-vpce-list.html ✓ Gateway型のエンドポイントはS3とDynamoDBのみ対応 ✓ Interface型のエンドポイントは150種類以上のサービスで対応
10. 10 Copyright © 2022 BTC Corporation All Rights Reserved. NAT GatewayとVPC Endpoint、どう使い分けるの？ その他インターネット上に 公開されているサービス VPCエンドポイントを使わない パターン VPCエンドポイントと NAT Gatewayを併用する パターン ✓ NAT Gatewayを設定するだけで、AWSサー ビスを含むインターネット上のサービスにア クセス可能 ✓ VPCエンドポイントを利用することで、NAT Gatewayを通過するデータ通信量が削減され る⇒NAT Gatewayの利用料金が下がる ✓ VPCエンドポイントを使うことでインター ネットを経由せず、プライベート接続で通信 可能 ✓ NAT Gatewayを通過するデータの通信量が多 ければ多いほど、通信料金が嵩む ✓ 全てのデータがインターネットを経由する ✓ AWSサービスごとにVPCエンドポイントの利 用是非を検討したり、設定をする必要がある ✓ 有料のVPCエンドポイントを多数利用すると 料金が嵩む VPC その他 Public subnet VPC Private subnet Public subnet Private subnet
11. 11 Copyright © 2022 BTC Corporation All Rights Reserved. NAT GatewayとVPCエンドポイントの料金 NAT Gatewayの料金 1台あたりの料金 ＄0.062/時（固定） 処理データあたりの料金 ＄0.062/GB 処理データ増＝利用料金増 VPC Endpointの料金 Gateway型 Interface型 利用料金が無料！ 処理データあたりの料金 ＄0.01/GB NAT Gatewayは1台あたりの利用料金＋処理データの量に応じた従量課金の合算 VPC EndpointのGateway型は利用料金が無料 使わない手はない ※VPC EndpointのGateway型で接続できるAWSサービスはS3とDynamoDBのみ
12. 12 Copyright © 2022 BTC Corporation All Rights Reserved. Private subnet NAT Gatewayと S3用のVPCエンドポイント Gateway型 を併用 冒頭のトラブルの解消方法 VPC その他 Public subnet VPC Private subnet Public subnet Before After その他 無料！
13. 13 Copyright © 2022 BTC Corporation All Rights Reserved. NAT GatewayとVPCエンドポイントを 上手く組み合わせよう 結論 S3とDynamoDBのゲートウェイ型エンドポイントは利用する前提で検討 NAT Gatewayを利用しつつ、インターフェース型エンドポイントは セキュリティやデータ処理量を加味して利用を検討
14. 14 Copyright © 2022 BTC Corporation All Rights Reserved. Thank You！ 弊社のブログも是非チェックしてください！ クラウド：https://cloud.bigtreetc.com/column/ その他（AI・RPA等）：https://www.bigtreetc.com/column/