Upgrade to Pro — share decks privately, control downloads, hide ads and more …

オンプレミスとパブリッククラウドのネットワーク接続【DeNA TechCon 2021】/te...

オンプレミスとパブリッククラウドのネットワーク接続【DeNA TechCon 2021】/techcon2021-7

DeNA ではオフィスやデータセンタなどのオンプレミスネットワークは全てネットワークチームが管理しています。
私達はオンプレミスのデータセンタで大規模なインフラを長年運用してきましたが、ほぼ全てのサービスをクラウドに移行する全社方針が決定しました。
DeNA の事業は多岐にわたり、またサービス毎に複数のクラウドアカウントを利用するため、非常に多くのクラウドアカウントが必要となります。大規模なクラウドの移行にあたり、多数のクラウドアカウント、データセンタ、オフィス間のベストなネットワークを設計する必要がありました。
そこで私達は AWS TransitGateway、および GCP SharedVPC の利用を選択しました。
本セッションではこれらを用いた DeNA のハイブリッドネットワーク設計や導入による効果、運用ノウハウなどを紹介いたします。

DeNA_Tech

March 03, 2021
Tweet

More Decks by DeNA_Tech

Other Decks in Technology

Transcript

  1. (Tanizaki Takaaki) 所属 • システム本部 IT統括部 IT基盤部 ネットワークグループ 経歴 •

    2016 年 DeNA に中途入社 ネットワークグループの業務 • データセンタ/クラウドネットワーク • 本社/拠点オフィスネットワーク • CDN (Content Delivery Network) 2
  2. 5

  3. 12

  4. 13

  5. 14

  6. • 通信品質 ◦ Site-to-Site VPN はインターネット経由の通信の ため通信品質が保証されない ◦ AWS 側の頻繁な通信影響を伴うメンテナンス

    • 設定やネットワーク構成の複雑化 ◦ VPC と 1:1 でオンプレミス側も VPN 設定を追加 する必要がある 16
  7. 19

  8. 21 • 広帯域で安定した通信品質 ◦ 大規模かつミッションクリティカルな用途 ▪ AWS Direct Connect の導入

    • 10Gbps x 2 本の専用線接続 • スケーラブル ◦ VPC の急速な利用拡大に追従
  9. • VPC 間の通信には 1:1 の VPC Peering が必要 • 多量の

    VPC を利用する DeNA 環境ではフルメッ シュ構成は実現不可能 25
  10. 27 • 広帯域で安定した通信品質 ◦ 大規模かつミッションクリティカルな用途 ▪ AWS Direct Connect の導入

    • 10Gbps x 2 本の専用線接続 • スケーラブル ◦ VPC の急速な利用拡大に追従 ▪ AWS Transit Gateway の導入 • ハブアンドスポーク型の構成
  11. 28

  12. 29

  13. • Transit Gateway に接続した VPC 宛ての経路を Transit Gateway の Route

    Table に自動追加す る機能 • デフォルトで有効化 30
  14. 31

  15. 32

  16. 33

  17. 34

  18. 36

  19. 37

  20. 38

  21. 42

  22. • 管理者は VPC や Firewall Rule, Cloud VPN を一 元管理できる

    • 利用者は管理された VPC 内で GCE や GKE を利 用できる 44
  23. 46

  24. 47

  25. • Shared VPC 環境においては Firewall Rule は一 元管理できる • 一方で

    Firewall Rule は 1 箇所になるため、利用 者にその変更権限を付与すると全ての Firewall Rule を変更できてしまう • 結果的に変更権限が管理者に依存する 48
  26. 49 • ほぼ全てのリソースを Terraform コード化 • Terraform コードを Github リポジトリで管理

    • Subnet に紐付く Firewall Rule を git submodule 化 • Submodule リポジトリの権限を利用者に付与
  27. 51

  28. • 急速なクラウド利用拡大に追従する ◦ AWS: Transit Gateway ◦ GCP: Shared VPC

    • スケーラブルかつ低運用コストで管理できる構成を採 択 52
  29. 53