Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Fivetranでデータ移動を自動化する
Search
Hank Ehly
September 27, 2023
Technology
0
580
Fivetranでデータ移動を自動化する
Hank Ehly
September 27, 2023
Tweet
Share
More Decks by Hank Ehly
See All by Hank Ehly
Celeryの紹介と本番運用のTips
hankehly
0
830
ChatGPTを活用した 便利ツールの紹介
hankehly
1
1.3k
Efficient Energy Analytics with Airflow, Spark, and MLFlow
hankehly
0
320
Deferrable Operators入門
hankehly
0
640
【初心者/ハンズオン】Dockerコンテナの基礎知識
hankehly
0
520
Compositeパターン: オブジェクトの階層関係をエレガントに表現する方法
hankehly
0
310
10/29 Airflowの基礎を学ぶハンズオンワークショップ
hankehly
0
260
システム/データ品質保証のための Airflow 活用法
hankehly
0
600
海外の記事からコードレビューのBest Practiceを集めてみました
hankehly
0
970
Other Decks in Technology
See All in Technology
Wasmのエコシステムを使った ツール作成方法
askua
0
140
BI ツールはもういらない?Amazon RedShift & MCP Server で試みる新しいデータ分析アプローチ
cdataj
0
110
成長自己責任時代のあるきかた/How to navigate the era of personal responsibility for growth
kwappa
4
320
大規模サーバーレスAPIの堅牢性・信頼性設計 〜AWSのベストプラクティスから始まる現実的制約との向き合い方〜
maimyyym
9
4.4k
GoでもGUIアプリを作りたい!
kworkdev
PRO
0
140
M5製品で作るポン置きセルラー対応カメラ
sayacom
0
180
AWS 잘하는 개발자 되기 - AWS 시작하기: 클라우드 개념부터 IAM까지
kimjaewook
0
130
AI時代こそ求められる設計力- AWSクラウドデザインパターン3選で信頼性と拡張性を高める-
kenichirokimura
3
300
LLM時代にデータエンジニアの役割はどう変わるか?
ikkimiyazaki
6
1.3k
AWS Top Engineer、浮いてませんか? / As an AWS Top Engineer, Are You Out of Place?
yuj1osm
2
210
『OCI で学ぶクラウドネイティブ 実践 × 理論ガイド』 書籍概要
oracle4engineer
PRO
3
210
【Kaigi on Rails 事後勉強会LT】MeはどうしてGirlsに? 私とRubyを繋いだRail(s)
joyfrommasara
0
240
Featured
See All Featured
YesSQL, Process and Tooling at Scale
rocio
173
14k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
55
3k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.1k
Scaling GitHub
holman
463
140k
It's Worth the Effort
3n
187
28k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
31
2.7k
Building an army of robots
kneath
306
46k
We Have a Design System, Now What?
morganepeng
53
7.8k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
189
55k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.7k
How to Ace a Technical Interview
jacobian
280
24k
Transcript
Fivetranでデータ移動を自動化する 2023/09/27
よろしくお願いします • Hank Ehly(ハンク・イーリー) • Slalom株式会社(スラロム) • Data & Analytics
シニアコンサルタント • https://hankehly.com • https://qiita.com/hankehly • https://github.com/hankehly • https://medium.com/@hankehly • https://www.twitter.com/hankehly • https://www.linkedin.com/in/hankehly ※本日の発表内容は発表者の主観です
ビジネスのことはデータで決めたい 勘で決める データで決める
でも、データはあちこちにある とか
全部 Excel に落とせばいい!
全部 Excel に落とせばいい! ダルッ!
Pipeline as a Service E(T)L ツール 今日の話 ETL = Extract
Transform Load 抽出 変換 書き出し
Fivetranの仕組み (ステップ2) データソースのREAD権限 (ステップ1) 格納先のWRITE権限 毎日10時に… (ステップ1∼2は でも管理できる)
(ステップ1)格納先のWRITE権限 BQ側の設定手順 これだけ記入 すればOK
(ステップ2)データソースのREAD権限 設定方法がとにかく 分かりやすい
ステータス確認・ON/OFF はダッシュボードで 実行アラート/ 一時停止 実行ログ・ス テータス情報 自分のロギングシステム に接続することも?
Fivetranはデータ移動自動化のリーダー的な存在 • 2,000TB/月 • 99.9% アップタイム • コネクタ多数 • 収益がビュンビュン伸びている(2022年50%上がった)
• 様々な賞を獲得している ◦ Google Cloud Global Technology Partner of the Year ◦ Snowflake Data Integration Partner of the Year ◦ Databricks Data Ingestion Partner of the Year 参考:Fivetran Extends Growth Streak; Surpasses $200 Million Revenue Run Rate Milestone
• お金の節約にもなれる ◦ エンジニアの工数削減 Fivetranはすべてが自動化されている • 時間の節約 ◦ 実装/メンテナンス不要 ◦
エンジニアへの依存度が低い Fivetranを使わなかったらBIチー ムの人数を2倍にしないといけな い話
Fivetranはコネクタが多い • 389(2023/09/26現在) • 種類 ◦ アプリケーション ◦ DB ◦
ファイル ◦ イベント ◦ 関数 • カスタムコネクタ ◦ (Lambda、Cloud Functionsで実装しないと いけないけど)
Fivetranは色々と便利な機能がある _Key Supplier_Code Supplier_State Version 123 ABC CA 0 124
ABC IL 1 データ匿名化(Hash化) 変更のトラッキング (SCD タイプ2) モデル化 超便利!
Pipeline as a Service ツールを試してみよう!
Slalom(スラロム) フォーチュン誌の「働きがいのある会社ベ スト100」に8年連続で選出 従業員体験(Slalom vs USA平均) 「いいな」と思うところ 1. いろんな案件に携わられる 2.
英語も日本語も使える 3. モダンなテクノロジー(日本の DXに貢献) 4. ワークライフバランスがいい https://www.slalom.com/ja/locations/tokyo
ご清聴ありがとうございます