AWS Glue Git統合のPoCでの活用

Transcript

1. AWS Glue Git統合の PoCでの活⽤ 佐藤 靖幸 2022年のAWSアップデートを振り返ろう ~Season 4~ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 1
2. ⾃⼰紹介 佐藤 靖幸 デロイト トーマツ ウェブサービス株式会社 所属 得意領域 バックエンド開発 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 2 PARTNER NETWORK 2022 APN AWS Top Engineers
3. 本LTについて 本LTでは、AWS Glue StudioからGit統合が利 ⽤できるようになったアップデートをPoCで活 ⽤した事例を共有します。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 3
4. アジェンダ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 4 AWS Glue Git統合とは PoC環境について Gitリポジトリへのプッシュ Gitリポジトリからのプル AWSアカウント移⾏におけるリファクタリング ⼀括プル まとめ
5. AWS Glue Git統合とは AWS Glue Git統合の ご紹介 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 5
6. AWS Glue Git統合 AWS Glue Git統合は2022年10⽉に 発表されたAWS Glueの新機能。 Glue Studioで作成したGlue Jobを Gitリポジトリで管理することが出来ます。 対象のGitリポジトリはAWS CodeCommitと GitHubに対応しています。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 6
7. AWS Glue Git統合 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 7
8. PoC環境について AWS Glue Git統合を 利⽤したPoC環境について 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 8
9. PoC環境について 今回AWS Glue Git統合を活⽤したPoC環境は 多くのGlue JobをMWAA（Airflow）で ワークフロー化して実⾏するETL基盤の構築 多くのGlue Jobが含まれます 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 9
10. Gitリポジトリへのプッシュ AWS Glue Git統合による Gitリポジトリへの プッシュ⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 10
11. Gitリポジトリへのプッシュ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 11
12. Git統合によるプッシュ⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 12
13. Gitリポジトリからのプル AWS Glue Git統合による Gitリポジトリからの プル⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 13
14. Git統合によるプル⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 14
15. AWSアカウント移⾏における リファクタリング 異なるAWSアカウントに Git統合で⽣成した ファイルを移⾏する際の ポイント 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 15
16. ⾃動⽣成された Glue Jobファイルの変更箇所 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 16
17. AWSアカウント移⾏の実施 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 17
18. ⼀括プル Git統合で ⼀括プルする⽅法をご紹介 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 18
19. AWS CLIを活⽤した Git統合の⼀括プル 今回のPoC環境は多くのGlue Jobが存在しまし た。そんな時はマネージメントコンソールでは なく、AWS CLIによる１コマンドによる移⾏が 便利でした 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 19 aws glue update-job-from-source-control ¥ --job-name import_script ¥ --provider AWS_CODE_COMMIT ¥ --repository-name webiner-glue-job ¥ --branch-name master ¥ --folder src ¥ --region ap-northeast-1
20. まとめ • AWS Glue Git統合を利⽤することでGlue Jobを簡単にリポジトリ管理することが出来ま した • まずはGlue StudioでGlueを始めたけど、あ とからコード管理したいという時に便利です • 他のAWSサービスもこういう機能があるとい いですよね ... Lambdaとか ... • CloudFormationのフォーマットではないた め、異なるIaCに移⾏する際は移⾏⽅法の検討 が必要です 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 20
21. ご清聴ありがとうございました。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 21