Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWS DataSync クロスリージョン S3 to S3 転送をざっくり絵で紹介

4hei4hei
May 22, 2024
160

AWS DataSync クロスリージョン S3 to S3 転送をざっくり絵で紹介

4hei4hei

May 22, 2024
Tweet

Transcript

  1. AWS DataSync クロスリージョン S3 to S3 転送をざっくり絵で紹介 JAWS-UG 朝会 #57

    2024年05月23日 NRI ネットコム株式会社 NT システム事業二部 西 洋平
  2. 1 Copyright(C) NRI Netcom, Ltd. All rights reserved. n 西

    洋平 (NISHI Yohei) l NRI ネットコム株式会社 NT システム事業二部 (@Osaka) n Web システム開発運用チームのインフラ担当 l IaC や SaaS による運用とシステム改善 l たまにサーバレスアプリケーション開発 自己紹介 https://jawsug-asa.connpass.com/event/291918/ https://tech.nri-net.com/entry/automation_with_stepfunctions https://nrinetcom.connpass.com/event/307324/
  3. 2 Copyright(C) NRI Netcom, Ltd. All rights reserved. nAWS マネージドなファイル転送サービス

    (リージョナルサービス) l 変更があったファイルのみ転送できたり、転送後の検証までケアしてくれる nAWS → AWS だけでなく、AWS → オンプレミス、AWS → 他クラウドへの転送もサポート AWS DataSync (DataSync) おさらい
  4. 3 Copyright(C) NRI Netcom, Ltd. All rights reserved. nAWS マネージドなファイル転送サービス

    (リージョナルサービス) l 変更があったファイルのみ転送できたり、転送後の検証までケアしてくれる nAWS → AWS だけでなく、AWS → オンプレミス、AWS → 他クラウドへの転送もサポート AWS DataSync (DataSync) おさらい 今日話すのはこのケース
  5. 5 Copyright(C) NRI Netcom, Ltd. All rights reserved. n 結構いっぱいいる

    DataSync による転送の登場人物 Location 転送元 / 先サーバと紐付けるリソース
  6. 6 Copyright(C) NRI Netcom, Ltd. All rights reserved. n 結構いっぱいいる

    DataSync による転送の登場人物 Task 転送元 / 先やフィルタなど、転送に関わる設定を定義するリソース (Location は Task に関連付く)
  7. 7 Copyright(C) NRI Netcom, Ltd. All rights reserved. n 結構いっぱいいる

    DataSync による転送の登場人物 Task Execution Task が実行している / した転送についての情報がまとまったリソース (≒ 進捗 / 履歴)
  8. 8 Copyright(C) NRI Netcom, Ltd. All rights reserved. n リージョンを跨いで

    Amazon S3 バケット から別の Amazon S3 バケットへファイルを転送することを考える クロスリージョン S3 to S3 ファイル転送のユースケース
  9. 9 Copyright(C) NRI Netcom, Ltd. All rights reserved. n リージョンを跨いで

    Amazon S3 バケット から別の Amazon S3 バケットへファイルを転送することを考える クロスリージョン S3 to S3 ファイル転送のユースケース Q. どのリージョンにどう配置する?
  10. 10 Copyright(C) NRI Netcom, Ltd. All rights reserved. n リージョンを跨いで

    Amazon S3 バケット から別の Amazon S3 バケットへファイルを転送することを考える クロスリージョン S3 to S3 ファイル転送のユースケース Q. どのリージョンにどう配置する? リージョナルサービスだけど……? いくつかリソースの種類があったけど……?
  11. 11 Copyright(C) NRI Netcom, Ltd. All rights reserved. n 正解はこう

    クロスリージョン S3 to S3 ファイル転送のユースケース
  12. 12 Copyright(C) NRI Netcom, Ltd. All rights reserved. n 正解はこう

    クロスリージョン S3 to S3 ファイル転送のユースケース Location → 関連付ける S3 と同じリージョンに作る Location → 関連付ける S3 と同じリージョンに作る
  13. 13 Copyright(C) NRI Netcom, Ltd. All rights reserved. n 正解はこう

    クロスリージョン S3 to S3 ファイル転送のユースケース Task → 転送先のリージョンに作る
  14. 14 Copyright(C) NRI Netcom, Ltd. All rights reserved. n S3

    to S3 by DataSync はどういう時におすすめ? ちなみに & おわりに
  15. 15 Copyright(C) NRI Netcom, Ltd. All rights reserved. n S3

    to S3 by DataSync はどういう時におすすめ? ちなみに & おわりに 例えば ワークフローの処理として同期的に転送を実行したい時 https://tech.nri-net.com/entry/data_sync_copy_between_s3_buckets