Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWS Glue Git統合のPoCでの活用

Avatar for x-blood x-blood
December 22, 2022
Programming
0
180

AWS Glue Git統合のPoCでの活用

Avatar for x-blood

x-blood

December 22, 2022
Tweet

More Decks by x-blood

See All by x-blood
Amazon Q Developerで テストコードを生成してみた
Avatar for x-blood xblood
0
16
re:Inventで現地参加したコンテナ関連セッションを振り返る
Avatar for x-blood xblood
0
420
Amazon EKS Pod Identityで何が変わるのか
Avatar for x-blood xblood
0
700
Lizさんに届け！ AWS Jr. ChampionとTop Engineerが 書籍コンテナセキュリティを読んで感じたこと
Avatar for x-blood xblood
0
1.5k
サーバーレスJava パフォーマンス選手権 at AWS Dev Day 2023 Tokyo
Avatar for x-blood xblood
2
1.4k
サーバーレスJavaの今 ~SnapStartとWeb Adapterを寄せて~
Avatar for x-blood xblood
4
3.3k
Finch OSSコードリーディング
Avatar for x-blood xblood
0
1.3k
ECS Service Connectでマイクロサービスを繋いでみた
Avatar for x-blood xblood
0
2.4k
Spring BootとKubernetesで実現する今どきのDevOps入門
Avatar for x-blood xblood
1
1k

Other Decks in Programming

See All in Programming
20250528 AWS Startupイベント登壇資料：AIコーディングの取り組み
Avatar for Hanse Kim procrustes5
0
130
FastMCPでMCPサーバー/クライアントを構築してみる
Avatar for ttnyt8701 ttnyt8701
2
120
コード書くの好きな人向けAIコーディング活用tips #orestudy
Avatar for Hiromi Hishida 77web
3
230
Javaに鉄道指向プログラミング (Railway Oriented Pro　gramming) のエッセンスを取り入れる/Bringing the Essence of Railway-Oriented Programming to Java
Avatar for takumi.okamoto cocet33000
1
470
Cursor Meetup Tokyo ゲノミクスとCursor： 進化と制約のあいだ
Avatar for Masaru Koido koido
2
840
RubyKaigi Hack Space in Tokyo & 函館最速 "予習" 会 / RubyKaigi Hack Space in Tokyo & The Fastest Briefing of RubyKaigi 2026 in Hakodate
Avatar for moznion moznion
1
130
eBPFを用いたAIネットワーク監視システム論文の実装 / eBPF Japan Meetup #4
Avatar for Yuuki Tsubouchi (yuuk1) yuukit
3
700
衛星の軌道をWeb地図上に表示する
Avatar for Takahiro Miyoshi sankichi92
0
260
ts-morph実践：型を利用するcodemodのテクニック
Avatar for ypresto ypresto
1
580
〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデータソース認証制御する方法
Avatar for CUEBiC Inc. cuebic9bic
3
310
コンポーネントライブラリで実現する、アクセシビリティの正しい実装パターン
Avatar for Tajima Sachiko schktjm
1
710
バリデーションライブラリ徹底比較
Avatar for Yuta Tanaka nayuta999999
1
560

Featured

See All Featured
Side Projects
Avatar for Sacha Greif sachag
454
42k
Fashionably flexible responsive web design (full day workshop)
Avatar for Andy Clarke malarkey
407
66k
Scaling GitHub
Avatar for Zach Holman holman
459
140k
Build The Right Thing And Hit Your Dates
Avatar for Maggie C. maggiecrowley
35
2.7k
The Art of Delivering Value - GDevCon NA Keynote
Avatar for David Neal reverentgeek
14
1.5k
The Power of CSS Pseudo Elements
Avatar for Geoffrey Crofte geoffreycrofte
76
5.8k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
Avatar for Addy Osmani addyosmani
6
670
Site-Speed That Sticks
Avatar for Harry Roberts csswizardry
9
620
No one is an island. Learnings from fostering a developers community.
Avatar for Antonio thoeni
21
3.3k
Imperfection Machines: The Place of Print at Facebook
Avatar for Scott Boms scottboms
267
13k
Designing Dashboards & Data Visualisations in Web Apps
Avatar for Des Traynor destraynor
231
53k
Agile that works and the tools we love
Avatar for Rasmus Luckow-Nielsen rasmusluckow
329
21k

Transcript

  1. AWS Glue Git統合の PoCでの活⽤ 佐藤 靖幸 2022年のAWSアップデートを振り返ろう ~Season 4~ 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 1

  2. ⾃⼰紹介 佐藤 靖幸 デロイト トーマツ ウェブサービス株式会社 所属 得意領域 バックエンド開発 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 2 PARTNER NETWORK 2022 APN AWS Top Engineers

  3. 本LTについて 本LTでは、AWS Glue StudioからGit統合が利 ⽤できるようになったアップデートをPoCで活 ⽤した事例を共有します。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    3

  4. アジェンダ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 4 AWS Glue Git統合とは PoC環境について

    Gitリポジトリへのプッシュ Gitリポジトリからのプル AWSアカウント移⾏におけるリファクタリング ⼀括プル まとめ

  5. AWS Glue Git統合とは AWS Glue Git統合の ご紹介 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season

    4~ 5

  6. AWS Glue Git統合 AWS Glue Git統合は2022年10⽉に 発表されたAWS Glueの新機能。 Glue Studioで作成したGlue

    Jobを Gitリポジトリで管理することが出来ます。 対象のGitリポジトリはAWS CodeCommitと GitHubに対応しています。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 6

  7. AWS Glue Git統合 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 7

  8. PoC環境について AWS Glue Git統合を 利⽤したPoC環境について 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 8

  9. PoC環境について 今回AWS Glue Git統合を活⽤したPoC環境は 多くのGlue JobをMWAA（Airflow）で ワークフロー化して実⾏するETL基盤の構築 多くのGlue Jobが含まれます 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 9

  10. Gitリポジトリへのプッシュ AWS Glue Git統合による Gitリポジトリへの プッシュ⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    10

  11. Gitリポジトリへのプッシュ 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 11

  12. Git統合によるプッシュ⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 12

  13. Gitリポジトリからのプル AWS Glue Git統合による Gitリポジトリからの プル⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    13

  14. Git統合によるプル⽅法 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 14

  15. AWSアカウント移⾏における リファクタリング 異なるAWSアカウントに Git統合で⽣成した ファイルを移⾏する際の ポイント 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~

    15

  16. ⾃動⽣成された Glue Jobファイルの変更箇所 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 16

  17. AWSアカウント移⾏の実施 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 17

  18. ⼀括プル Git統合で ⼀括プルする⽅法をご紹介 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 18

  19. AWS CLIを活⽤した Git統合の⼀括プル 今回のPoC環境は多くのGlue Jobが存在しまし た。そんな時はマネージメントコンソールでは なく、AWS CLIによる１コマンドによる移⾏が 便利でした 2022/11/24

    2022年のAWSアップデートを振り返ろう ~Season 4~ 19 aws glue update-job-from-source-control ¥ --job-name import_script ¥ --provider AWS_CODE_COMMIT ¥ --repository-name webiner-glue-job ¥ --branch-name master ¥ --folder src ¥ --region ap-northeast-1

  20. まとめ • AWS Glue Git統合を利⽤することでGlue Jobを簡単にリポジトリ管理することが出来ま した • まずはGlue StudioでGlueを始めたけど、あ

    とからコード管理したいという時に便利です • 他のAWSサービスもこういう機能があるとい いですよね ... Lambdaとか ... • CloudFormationのフォーマットではないた め、異なるIaCに移⾏する際は移⾏⽅法の検討 が必要です 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 20

  21. ご清聴ありがとうございました。 2022/11/24 2022年のAWSアップデートを振り返ろう ~Season 4~ 21