Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWS Glue Git統合のPoCでの活用

x-blood
December 22, 2022
Programming
0
170

AWS Glue Git統合のPoCでの活用

x-blood

December 22, 2022
Tweet

More Decks by x-blood

See All by x-blood
Amazon Q Developerで テストコードを生成してみた
xblood
0
15
re:Inventで現地参加したコンテナ関連セッションを振り返る
xblood
0
390
Amazon EKS Pod Identityで何が変わるのか
xblood
0
640
Lizさんに届け！ AWS Jr. ChampionとTop Engineerが 書籍コンテナセキュリティを読んで感じたこと
xblood
0
1.5k
サーバーレスJava パフォーマンス選手権 at AWS Dev Day 2023 Tokyo
xblood
2
1.3k
サーバーレスJavaの今 ~SnapStartとWeb Adapterを寄せて~
xblood
4
3.2k
Finch OSSコードリーディング
xblood
0
1.3k
ECS Service Connectでマイクロサービスを繋いでみた
xblood
0
2.4k
Spring BootとKubernetesで実現する今どきのDevOps入門
xblood
1
970

Other Decks in Programming

See All in Programming
PHP で学ぶ OAuth 入門
azuki
1
130
remix + cloudflare workers (DO) docker上でいい感じに開発する
yoshidatomoaki
0
130
Devin入門と最近のアップデートから見るDevinの進化 / Introduction to Devin and the Evolution of Devin as Seen in Recent Update
rkaga
9
4.8k
PHPで書いたAPIをGoに書き換えてみた 〜パフォーマンス改善の可能性を探る実験レポート〜
koguuum
0
140
Going Structural with Named Tuples
bishabosha
0
200
趣味全開のAITuber開発
kokushin
0
190
Qiita Bash
mercury_dev0517
1
190
サービスクラスのありがたみを発見したときの思い出 #phpcon_odawara
77web
4
630
SQL Server ベクトル検索
odashinsuke
0
170
Go1.24 go vetとtestsアナライザ
kuro_kurorrr
2
840
サービスレベルを管理してアジャイルを加速しよう！！ / slm-accelerate-agility
tomoyakitaura
1
170
PHPバージョンアップから始めるOSSコントリビュート / how2oss-contribute
dmnlk
1
990

Featured

See All Featured
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.8k
Music & Morning Musume
bryan
47
6.5k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.2k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
How GitHub (no longer) Works
holman
314
140k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Build The Right Thing And Hit Your Dates
maggiecrowley
35
2.6k
The Cult of Friendly URLs
andyhume
78
6.3k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k

Transcript

  1. AWS Glue Git統合の PoCでの活⽤ 佐藤 靖幸 2022年のAWSアップデートを振り返ろう ~Season 4~ 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 1

  2. ⾃⼰紹介 佐藤 靖幸 デロイト トーマツ ウェブサービス株式会社 所属 得意領域 バックエンド開発 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 2 PARTNER NETWORK 2022 APN AWS Top Engineers

  3. 本LTについて 本LTでは、AWS Glue StudioからGit統合が利 ⽤できるようになったアップデートをPoCで活 ⽤した事例を共有します。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    3

  4. アジェンダ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 4 AWS Glue Git統合とは PoC環境について

    Gitリポジトリへのプッシュ Gitリポジトリからのプル AWSアカウント移⾏におけるリファクタリング ⼀括プル まとめ

  5. AWS Glue Git統合とは AWS Glue Git統合の ご紹介 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season

    4~ 5

  6. AWS Glue Git統合 AWS Glue Git統合は2022年10⽉に 発表されたAWS Glueの新機能。 Glue Studioで作成したGlue

    Jobを Gitリポジトリで管理することが出来ます。 対象のGitリポジトリはAWS CodeCommitと GitHubに対応しています。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 6

  7. AWS Glue Git統合 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 7

  8. PoC環境について AWS Glue Git統合を 利⽤したPoC環境について 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 8

  9. PoC環境について 今回AWS Glue Git統合を活⽤したPoC環境は 多くのGlue JobをMWAA（Airflow）で ワークフロー化して実⾏するETL基盤の構築 多くのGlue Jobが含まれます 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 9

  10. Gitリポジトリへのプッシュ AWS Glue Git統合による Gitリポジトリへの プッシュ⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    10

  11. Gitリポジトリへのプッシュ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 11

  12. Git統合によるプッシュ⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 12

  13. Gitリポジトリからのプル AWS Glue Git統合による Gitリポジトリからの プル⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    13

  14. Git統合によるプル⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 14

  15. AWSアカウント移⾏における リファクタリング 異なるAWSアカウントに Git統合で⽣成した ファイルを移⾏する際の ポイント 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    15

  16. ⾃動⽣成された Glue Jobファイルの変更箇所 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 16

  17. AWSアカウント移⾏の実施 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 17

  18. ⼀括プル Git統合で ⼀括プルする⽅法をご紹介 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 18

  19. AWS CLIを活⽤した Git統合の⼀括プル 今回のPoC環境は多くのGlue Jobが存在しまし た。そんな時はマネージメントコンソールでは なく、AWS CLIによる１コマンドによる移⾏が 便利でした 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 19 aws glue update-job-from-source-control ¥ --job-name import_script ¥ --provider AWS_CODE_COMMIT ¥ --repository-name webiner-glue-job ¥ --branch-name master ¥ --folder src ¥ --region ap-northeast-1

  20. まとめ • AWS Glue Git統合を利⽤することでGlue Jobを簡単にリポジトリ管理することが出来ま した • まずはGlue StudioでGlueを始めたけど、あ

    とからコード管理したいという時に便利です • 他のAWSサービスもこういう機能があるとい いですよね ... Lambdaとか ... • CloudFormationのフォーマットではないた め、異なるIaCに移⾏する際は移⾏⽅法の検討 が必要です 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 20

  21. ご清聴ありがとうございました。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 21