Upgrade to Pro — share decks privately, control downloads, hide ads and more …

広告レポーティング基盤に、dbtを導入したら別物になった話 / tokyo-dbt-meetup-4

pei0804
August 23, 2022

広告レポーティング基盤に、dbtを導入したら別物になった話 / tokyo-dbt-meetup-4

# Event

https://www.meetup.com/tokyo-dbt-meetup/events/287833176/

Tokyo dbt Meetupについて
データを扱うすべての人が参加できるネットワーキングイベントです。トークは主にコミュニティメンバーのdbtの経験に焦点を当てていますが、アナリティクスエンジニアリング、データスタック、データマネージメント、モデリング、テスト、チーム構造など、より幅広いトピックに関するプレゼンテーションを聞くことができます。

pei0804

August 23, 2022
Tweet

More Decks by pei0804

Other Decks in Technology

Transcript

  1. すごい色んなことするクエリとは これは歴史的経緯もあるけど、ツギハギで色んな文脈が1クエリになっていた。 • 重複排除 • カラムRename • お値段計算 • JOIN、GROUP

    BY • etc… 分けろって感じですよね。わかりますよ。 けど、それはワークフローの実装から直すことになって・・・そして・・・
  2. 実際に作ったデータパイプラインと役割 • Raw ◦ 生データ。サーバーから吐き出されたまま。 • Staging [New] ◦ データクリーニング、カラムのrenameやちょっとした変換。

    • Warehouse ◦ ディメンションモデリングする。 • Reporting ◦ 用途に合わせたデータを提供する。 • それぞれの層/Intermediate [New] ◦ それぞれの層でややこしい処理などを閉じ込める中間レイヤー
  3. docs.getdbt.com, Why can't I just write DML in my transformations?

    , 2022/08/20, https://docs.getdbt.com/faqs/project/why-not-write-dml
  4. 安心してください。オプションあります。 > append_new_columns: Append new columns to the existing table.

    Note that this setting does not remove columns from the existing table that are not present in the new data. 現状は、急に消されないオプションにして、運用してみてます。 docs.getdbt.com, What if the columns of my incremental model change? , 2022/08/20, https://docs.getdbt.com/docs/building-a-dbt-project/building-models/configuring-incremental-models#what-if-the-columns- of-my-incremental-model-change
  5. 詳しくは紹介しないけど、すごいやつ • dbt-labs/dbt-utils ◦ 大体ほしいやつがある。 • dbt test ◦ テストも出来て、ドキュメントにもなるし、拡張も簡単!

    • dbt docs ◦ メタデータドキュメントがいい感じに出来上がる。 • dbt関連の記事が学びに溢れている ◦ https://docs.getdbt.com/guides/best-practices/how-we-s tructure/1-guide-overview