Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Glue Git統合のPoCでの活用
Search
x-blood
December 22, 2022
Programming
0
190
AWS Glue Git統合のPoCでの活用
x-blood
December 22, 2022
Tweet
Share
More Decks by x-blood
See All by x-blood
Amazon Q Developerでテストコードを生成してみた
xblood
0
16
re:Inventで現地参加したコンテナ関連セッションを振り返る
xblood
0
440
Amazon EKS Pod Identityで何が変わるのか
xblood
0
780
Lizさんに届け!AWS Jr. ChampionとTop Engineerが書籍コンテナセキュリティを読んで感じたこと
xblood
0
1.5k
サーバーレスJavaパフォーマンス選手権 at AWS Dev Day 2023 Tokyo
xblood
2
1.4k
サーバーレスJavaの今 ~SnapStartとWeb Adapterを寄せて~
xblood
4
3.4k
Finch OSSコードリーディング
xblood
0
1.4k
ECS Service Connectでマイクロサービスを繋いでみた
xblood
0
2.4k
Spring BootとKubernetesで実現する今どきのDevOps入門
xblood
1
1.1k
Other Decks in Programming
See All in Programming
DynamoDBは怖くない!〜テーブル設計の勘所とテスト戦略〜
hyamazaki
0
180
React 使いじゃなくても知っておきたい教養としての React
oukayuka
18
5.2k
decksh - a little language for decks
ajstarks
4
21k
CLI ツールを Go ライブラリ として再実装する理由 / Why reimplement a CLI tool as a Go library
ktr_0731
3
950
知って得する@cloudflare_vite-pluginのあれこれ
chimame
1
140
Strands Agents で実現する名刺解析アーキテクチャ
omiya0555
1
110
PHPUnitの限界をPlaywrightで補完するテストアプローチ
yuzneri
0
370
[DevinMeetupTokyo2025] コード書かせないDevinの使い方
takumiyoshikawa
2
250
PHPカンファレンス関西2025 基調講演
sugimotokei
6
1.1k
テスターからテストエンジニアへ ~新米テストエンジニアが歩んだ9ヶ月振り返り~
non0113
2
250
Amazon Q CLI開発で学んだAIコーディングツールの使い方
licux
3
170
リバースエンジニアリング新時代へ! GhidraとClaude DesktopをMCPで繋ぐ/findy202507
tkmru
7
1.7k
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.4k
Navigating Team Friction
lara
188
15k
Gamification - CAS2011
davidbonilla
81
5.4k
A Modern Web Designer's Workflow
chriscoyier
695
190k
Side Projects
sachag
455
43k
Code Reviewing Like a Champion
maltzj
524
40k
GitHub's CSS Performance
jonrohan
1031
460k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Transcript
AWS Glue Git統合の PoCでの活⽤ 佐藤 靖幸 2022年のAWSアップデートを振り返ろう ~Season 4~ 2022/11/24
2022年のAWSアップデートを振り返ろう ~Season 4~ 1
⾃⼰紹介 佐藤 靖幸 デロイト トーマツ ウェブサービス株式会社 所属 得意領域 バックエンド開発 2022/11/24
2022年のAWSアップデートを振り返ろう ~Season 4~ 2 PARTNER NETWORK 2022 APN AWS Top Engineers
本LTについて 本LTでは、AWS Glue StudioからGit統合が利 ⽤できるようになったアップデートをPoCで活 ⽤した事例を共有します。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~
3
アジェンダ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 4 AWS Glue Git統合とは PoC環境について
Gitリポジトリへのプッシュ Gitリポジトリからのプル AWSアカウント移⾏におけるリファクタリング ⼀括プル まとめ
AWS Glue Git統合とは AWS Glue Git統合の ご紹介 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season
4~ 5
AWS Glue Git統合 AWS Glue Git統合は2022年10⽉に 発表されたAWS Glueの新機能。 Glue Studioで作成したGlue
Jobを Gitリポジトリで管理することが出来ます。 対象のGitリポジトリはAWS CodeCommitと GitHubに対応しています。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 6
AWS Glue Git統合 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 7
PoC環境について AWS Glue Git統合を 利⽤したPoC環境について 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 8
PoC環境について 今回AWS Glue Git統合を活⽤したPoC環境は 多くのGlue JobをMWAA(Airflow)で ワークフロー化して実⾏するETL基盤の構築 多くのGlue Jobが含まれます 2022/11/24
2022年のAWSアップデートを振り返ろう ~Season 4~ 9
Gitリポジトリへのプッシュ AWS Glue Git統合による Gitリポジトリへの プッシュ⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~
10
Gitリポジトリへのプッシュ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 11
Git統合によるプッシュ⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 12
Gitリポジトリからのプル AWS Glue Git統合による Gitリポジトリからの プル⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~
13
Git統合によるプル⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 14
AWSアカウント移⾏における リファクタリング 異なるAWSアカウントに Git統合で⽣成した ファイルを移⾏する際の ポイント 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~
15
⾃動⽣成された Glue Jobファイルの変更箇所 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 16
AWSアカウント移⾏の実施 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 17
⼀括プル Git統合で ⼀括プルする⽅法をご紹介 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 18
AWS CLIを活⽤した Git統合の⼀括プル 今回のPoC環境は多くのGlue Jobが存在しまし た。そんな時はマネージメントコンソールでは なく、AWS CLIによる1コマンドによる移⾏が 便利でした 2022/11/24
2022年のAWSアップデートを振り返ろう ~Season 4~ 19 aws glue update-job-from-source-control ¥ --job-name import_script ¥ --provider AWS_CODE_COMMIT ¥ --repository-name webiner-glue-job ¥ --branch-name master ¥ --folder src ¥ --region ap-northeast-1
まとめ • AWS Glue Git統合を利⽤することでGlue Jobを簡単にリポジトリ管理することが出来ま した • まずはGlue StudioでGlueを始めたけど、あ
とからコード管理したいという時に便利です • 他のAWSサービスもこういう機能があるとい いですよね ... Lambdaとか ... • CloudFormationのフォーマットではないた め、異なるIaCに移⾏する際は移⾏⽅法の検討 が必要です 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 20
ご清聴ありがとうございました。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 21