Upgrade to Pro — share decks privately, control downloads, hide ads and more …

JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl

Avatar for daiki.mori daiki.mori
December 14, 2022
Technology
0
72

JAWS-UG Osaka ZERO-ETL/jawsug osaka zero-etl

2022/12/14
Amazon Aurora ZERO-ETL Integration Amazon Redshift
JAWS-UG Osaka

Avatar for daiki.mori

daiki.mori

December 14, 2022
Tweet

More Decks by daiki.mori

See All by daiki.mori
いい感じにグラフを表示、やっぱWebでやりたいね。それをAWSで実現！
Avatar for daiki.mori daikimori
0
170
サーバーレスアーキテクチャを使って、小さく作って大きくする取り組み
Avatar for daiki.mori daikimori
0
3.9k
AWS RDK 〜AWS ConfigのカスタムルールをLambdaで書くときに使うツールキット〜
Avatar for daiki.mori daikimori
0
480
JAWS DAYS 2022/Osaka/プログラムは作ったら終わり︖︖ その後が⼤事なんだよ︕︕/20221008_X-Ray_LambdaPowertools
Avatar for daiki.mori daikimori
0
140
データを受け取って、データを加工して、データを可視化する直前までのお話 / AWS DATA ETL
Avatar for daiki.mori daikimori
0
180
[JAWS DAYS 2021] Amazon Connect and Serverless
Avatar for daiki.mori daikimori
1
250
JAWS-UG Kansai Meetup(2020/11) Amazon Connectの今
Avatar for daiki.mori daikimori
0
88
Playing in re:Invent
Avatar for daiki.mori daikimori
0
140
Introduction of Amazon Connect
Avatar for daiki.mori daikimori
0
57

Other Decks in Technology

See All in Technology
JAZUG 15周年記念 × JAT「AI Agent開発者必見："今"のOracle技術で拡張するAzure × OCIの共存アーキテクチャ」
Avatar for KoheiOgawa shisyu_gaku
0
130
​Vibe Coding Year in Review. From Karpathy to Real-World Agents by Niels Rolland, CEO Paatch
Avatar for Strapi vcoisne
0
110
英語は話せません！それでも海外チームと信頼関係を作るため、対話を重ねた2ヶ月間のまなび
Avatar for ニイオカ niioka_97
0
130
AIツールでどこまでデザインを忠実に実装できるのか
Avatar for Oikon oikon48
6
2.8k
データエンジニアがこの先生きのこるには...?
Avatar for 10xinc 10xinc
0
460
o11yで育てる、強い内製開発組織
Avatar for _awache _awache
3
130
スタートアップにおけるこれからの「データ整備」
Avatar for ShoMaekawa/ウィル shomaekawa
2
310
from Sakichi Toyoda to Agile
Avatar for Yasunobu Kawaguchi kawaguti
PRO
1
100
OpenAI gpt-oss ファインチューニング入門
Avatar for kmotohas kmotohas
2
1.1k
ACA でMAGI システムを社内で展開しようとした話
Avatar for Yuji Masaoka | まっぴぃ mappie_kochi
1
300
Large Vision Language Modelを用いた 文書画像データ化作業自動化の検証、運用 / shibuya_AI
Avatar for Sansan R&D sansan_randd
0
130
AIAgentの限界を超え、 現場を動かすWorkflowAgentの設計と実践
Avatar for Koji Miyata miyatakoji
1
160

Featured

See All Featured
The Art of Programming - Codeland 2020
Avatar for Erika Heidi erikaheidi
56
14k
Learning to Love Humans: Emotional Interface Design
Avatar for Aarron Walter aarron
274
41k
Rails Girls Zürich Keynote
Avatar for Gregor Martynus gr2m
95
14k
Faster Mobile Websites
Avatar for Dean Hume deanohume
310
31k
Put a Button on it: Removing Barriers to Going Fast.
Avatar for kastner kastner
60
4k
Practical Orchestrator
Avatar for Shlomi Noach shlominoach
190
11k
Art, The Web, and Tiny UX
Avatar for Lynn Fisher lynnandtonic
303
21k
Optimizing for Happiness
Avatar for Tom Preston-Werner mojombo
379
70k
The Straight Up "How To Draw Better" Workshop
Avatar for Dennis Kardys denniskardys
237
140k
jQuery: Nuts, Bolts and Bling
Avatar for Doug Neiner dougneiner
64
7.9k
Into the Great Unknown - MozCon
Avatar for Noah Learner thekraken
40
2.1k
Code Reviewing Like a Champion
Avatar for maltzj maltzj
525
40k

Transcript

  1. Z JAWS-UG ⼤阪 / AWS re:Invent 2022 re:Cap daiki mori

    2022/12/14 ERO ETL

  2. 2 ⾃⼰紹介 ★ Who am I ? 所属・⽒名 株式会社サーバーワークス /

    アプリケーションサービス部 / ディベロップメントサービス1課 / 課⻑ 森 ⼤樹 ([email protected]) キャリア 約20年、SIerでプログラマ／プロジェクトマネージャの実務経験後、 2017年1⽉にサーバーワークスへ⼊社 Java / C# / Pythonを中⼼に様々なプログラム⾔語で開発 CICD環境の構築、運⽤などを⾏い、現在に⾄る 資格 PMP(Project Management Professional) 資格 趣味 スノーボード／お酒 好きなAWSサービス AWS Lambda／Amazon Connect

  3. ⽬次 1. ZERO ETLの概要 2. ZERO ETL 3. まとめ

  4. 4 0. その前に この資料は、2022/12/14(⽔)時点のものです。 現時点、限定プレビューです。

  5. 5 0. その前に この資料は、2022/12/14(⽔)時点のものです。 現時点、限定プレビューです。 今年は、re:Inventに⾏ってません︕︕

  6. 1. ZERO ETLの概要

  7. 7 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/

  8. 8 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud

    Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得／加⼯して Amazon Redshiftに登録

  9. 9 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud

    Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得／加⼯して Amazon Redshiftに登録 プログラム１⾏書くと バグが発⽣する可能性がUP︕

  10. 10 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud

    Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueで プログラムを書いて データ取得／加⼯して Amazon Redshiftに登録 プログラム１⾏書くと バグが発⽣する可能性がUP︕

  11. 11 1. ZERO ETL概要 これまでは AWS LambdaやAWS Glueなどを使ってETL処理が必要であった AWS Cloud

    Amazon Aurora AWS Lambda AWS Glue Amazon Redshift Amazon QuickSight これが ZERO ETL

  12. 12 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/

  13. 13 1. ZERO ETL概要 ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要 AWS Cloud Amazon Aurora AWS

    Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueの起動や データ取得処理の実⾏時間、 Amazon Redshiftへのデータ登録時間 これからが必要になる

  14. 14 1. ZERO ETL概要 ETL処理があるときは、サービスの起動やデータ取得、データ登録に時間が必要 AWS Cloud Amazon Aurora AWS

    Lambda AWS Glue Amazon Redshift Amazon QuickSight AWS LambdaやAWS Glueの起動や データ取得処理の実⾏時間、 Amazon Redshiftへのデータ登録時間 これからが必要になる ZERO ETLで数秒以内に Amazon Redshiftに登録されて データ利⽤が可能に︕

  15. 15 1. ZERO ETL概要 ⼀番気になったところ Aurora Serverless と Redshift Serverlessが使えるのか︖

  16. 16 1. ZERO ETL概要 ⼀番気になったところ Aurora Serverless と Redshift Serverlessが使えるのか︖

    Youtubeで公開されている動画の11:45からご覧を AWS re:Invent 2022 – [NEW] Enable operational analytics w/Amazon Aurora & Amazon Redshift (DAT328) https://youtu.be/H4JRz5yv694 使えます︕

  17. 17 1. ZERO ETLの概要 https://aws.amazon.com/jp/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/

  18. 2. ZERO ETL

  19. 19 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html

  20. 20 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html ということで、残念ながらデモできず...

  21. 21 2. ZERO ETL 限定プレビューということで、申込みを12/9に実施 まだ連絡なし... ⾃分もやってみたい︕という⽅はこちらから登録を https://pages.awscloud.com/AmazonAurora-zeroETL-AmazonRedshift-Preview.html ということで、残念ながらデモできず... 動いてるところは先程のYoutubeからも確認できますので、そちらをご覧下さい

  22. 3. まとめ

  23. 23 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と

    Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕

  24. 24 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と

    Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕ 最後に

  25. 25 3. まとめ Amazon AuroraからAmazon Redshiftへプログラムなしでデータ登録可能 プログラムを書かなくていいということは開発効率もUPし、運⽤コストも低減 Aurora Serverless と

    Redshift Serverlessも利⽤可能 ケースにはよるかもしれませんが、こちらを利⽤することで運⽤コストが低減 詳細はそれぞれのサービスの料⾦を参照ください 限定プレビューなのでどこかでちょっと変わってGAされる 現時点では製品開発としては利⽤せず、検証してみる程度で とは⾔え、すぐにできることなので、やって知⾒を得てアウトプットして、フィードバック GAが待ち遠しい︕ 最後に 「 」って名前がかっこいい︕ ZERO ETL

  26. JAWS-UG Osaka 2022/12/14 (Wed) re:Invent 2022 re:Cap Thank you for

    your attention