Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TROCCO_DBT.pdf
Search
d.harato
November 05, 2024
1
86
TROCCO_DBT.pdf
d.harato
November 05, 2024
Tweet
Share
More Decks by d.harato
See All by d.harato
私が選ぶ_COMETAアップデート_ベスト3.pdf
daisuke_harato
0
150
Snowpark Container Services で dbt を動かします
daisuke_harato
1
480
Featured
See All Featured
Balancing Empowerment & Direction
lara
1
430
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Building Applications with DynamoDB
mza
95
6.5k
Thoughts on Productivity
jonyablonski
69
4.7k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
690
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
970
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
960
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Transcript
TROCCO はじめてさわってみた DATUM STUDIO 株式会社 はらと だいすけ
データ ソース データ ウェアハウス データ ビジュアライゼーション データ基盤 データを貯蔵するところ 例) •
BigQuery • Snowflake • Redshift データの源泉となるとこ ろ 例) • データベース • スプレッドシート • 外部APIやセンサー データを貯蔵するところ 例) • Tableau • PowerBI
データ ソース データ ウェアハウス データ ビジュアライゼーション データ基盤の流れ with TROCCO/COMETA
データ ソース データ ウェアハウス データ ビジュアライゼーション データ基盤の流れ with TROCCO/COMETA 1.
Snowflakeにあるデータを Big Queryに移行したい (Terraformを使うために…) 2. dbtをTROCCOに連携して、 定期的に実行したい 3. データマート定義をTerraform で定義したい 4. 作成したモデルをCOMETAで 管理したい
1. Snowflake→Big Query データ転送 転送元・転送先の接続情報の設定 データの転送設定
1. Snowflake→Big Query データ転送 Pros Cons ・日本語UIが最高! ・GUIベースで手順がわかりやすい (正直ドキュメントを見なくても雰囲気で転 送設定ができる)
・都度接続確認やテスト実行が行えるため確 実に進めることができる ・Git連携により接続設定のバージョン管理 が可能! ・エラーログの粒度が荒い ・転送設定はyamlファイルをインポートして も作成できても良いかも。
2. dbtをTROCCO連携 dbtのモデルをTROCCOで定期実行 dbtジョブ設定 dbtのコマンドも詳細に設定可能 dbt連携 dbtプロジェクトが格納されているレ ポジトリの指定 dbtのバージョン管理も可能
Pros Cons ・日本語UIが最高! ・dbtの実行環境が簡単に準備できる ・ワークフローを組み合わせることでエラー ハンドリングや通知設定なども容易にできる ・ワークフローで転送ジョブ完了後にdbt実 行というフローも組める(最近事故ったので めっちゃ嬉しい機能) ・変更履歴が確認可能。間違って設定しても
復元可能で安心。 ・dbtのバージョンが1.8.2だった (今は1.8.7が最新。最新バージョンを使いた ぃ〜〜) 2. dbtをTROCCO連携 dbtのモデルをTROCCOで定期実行
3. データマート定義 データマート定義をTerraformで書く Terraform TROCCOプロバイダーでも記述可能 データマート定義 SQLを書いてデータマートを定義
Pros Cons ・日本語UIが最高! ・これまではGUIでの操作のみだったが、コ ードで管理することが可能に ・データマートで定義したものがCOMETAの リネージで可視化可能 ・転送設定やユーザー管理などより広範囲を Terraformで管理できたら便利な気がする 3.
データマート定義 データマート定義をTerraformで書く
Pros Cons ・日本語UIが最高! ・メタデータの管理が容易(リネージ・ER図 ・テーブル定義が網羅されている) ・Tableauとの連携が可能(今後もっと増える かも?) ・COMETAでクエリの実行が可能。かつクエ リの保存も可能 ・データロードからBIまでのE2Eのリネージ
が欲しい ・dbtとの連携強化 ・各手動更新を行うところのバージョン管理 4. COMETA データカタログでデータの管理