Upgrade to Pro — share decks privately, control downloads, hide ads and more …

dbt日本コミュニティの立ち上げと 10Xでdbtの実践を行った2022

10xinc
December 14, 2022
1.7k

dbt日本コミュニティの立ち上げと 10Xでdbtの実践を行った2022

昨年と比べると圧倒的に注目され、実際に導入している会社も増えてきているdbt(data build tool)というツールがあります。dbt Tokyo Meetupのオーガナイザーを担当してきた1年、コミュニティでの取り組み事例や今後の見通しに関してご紹介したり、実際に10Xの事業でどのように使われているのかの振り返りが出来たらなと思います。

10xinc

December 14, 2022
Tweet

More Decks by 10xinc

Transcript

  1. ©10X, Inc. All Rights Reserved. 瀧本 晋也
 2 • 株式会社10X


    ◦ データプロダクト所属
 ◦ データプロダクトエンジニア
 • 山梨在住
 • Twitter @takimo
 最近はTokyo dbt Meetupのオーガナイザーを やってます

  2. アジェンダ
 • dbtとは?
 • dbt日本コミュニティの活動
 ◦ dbt公式Slackコミュニティの#local-tokyoの開設 
 ◦ dbt

    Tokyo Meetupの開催 
 ◦ dbt入門記事の公開
 • 10Xでdbtを使ってDWHやデータプロダクトを作った話 
 ◦ DWHがなかった状況からDWHを作った 
 ◦ 商品在庫データを作るデータプロダクトをdbtで作った 
 ◦ JDの公開(データプロダクトマネージャーとデータプロダクトエンジニア) 
 5
  3. まずdbtとはなんなのか?
 - 正式名称は「data build tool」
 - dbt Labs社とdbtコミュニティが開発するOSS
 - 拡張されたSQLを使い、ソフトウェアエンジニア

    リングのベストプラクティスを取り入れられる開 発ツールであり、データモデリングを信頼性高 く、高速に、楽しくしてくれるもの
 - ELTにおけるT(データ変換)を担当する

  4. ©10X, Inc. All Rights Reserved. dbt公式Slackコミュニティの#local-tokyoの開設
 • 当時観測範囲ではクラスメソッドの玉井さん やUbieの石川さんが先行してウォッチ&コ ミットをしていらっしゃった


    • 自分も使っていくなかでもっとこのツールとそ のコミュニティ含め広げたいと思い、2021年 11月19日に#local-tokyoが誕生(2022年の話 ではない)
 • 今では292人のチャンネルに!(嬉しい 
 11 dbt日本コミュニティの立ち上げの話
  5. ©10X, Inc. All Rights Reserved. dbt Tokyo Meetupの開催
 • #1 2021年11月30日


    • #2 2021年12月16日
 • #3 2022年05月10日
 • #4 2022年08月23日
 • #2022dbt忘年会 2022年12月27日 new
 14 dbt日本コミュニティの立ち上げの話
  6. ©10X, Inc. All Rights Reserved. 2022年前半 戦乱期
 • 個社毎に作ったパイプラインにも問題がで始める 🔥
 •

    複雑に入り組むリネージ
 • 同じような処理ロジックが様々なところに&下流に様々なロジックが混在しやすくなってしまって いた
 • また属人的に開発をする必要が高く、キャッチアップコストも高い状態に 
 • 修正をしたりする開発難易度や品質確認のためのQA工数も高くなってしまった 
 ◦ リネージが複雑でデータの流れを追うのが大変だったり、抽象度が荒いので様々なテーブルの確認が必要等
 19 10Xでdbtを使ってDWHやデータプロダクトを作った話 

  7. ©10X, Inc. All Rights Reserved. 5つのレイヤリングに役割を区分しテストで品質を保証
 23 10Xでdbtを使ってDWHやデータプロダクトを作った話 ソースデータ
 


    ・このデータを様々な ところから利用しない 
 ゲートウェイ
 
 ・ソースデータをクレン ジングする処理層 
 ・データレイクとの入り 口を意識した名前 
 
 
 ドメインモデル
 
 ・ビジネスドメインを一 定の粒度で集約する 
 ・ドメインモデル同士 は依存させない 
 
 
 ドメインサービス 
 
 ・ドメインモデル同士 を利用して複雑な処 理をするための処理 層
 ・必ず実装する必要 はない
 
 
 アプリケーション 
 
 ・最終的なユースケー スに沿った結合処理 等を行う
 
 

  8. ©10X, Inc. All Rights Reserved. 来年への抱負
 • dbtのコミュニティに関してはより活用のシーンが広がっていくことを支援したいし、いろんな人や 企業の取り組みが共有されるような取り組みをしたい 


    • 10XではDWHはもちろん、データプロダクトを作る上でもdbtを活用していますが、よりデータ品質 を向上させるためのテストや検知、またアナリティクスエンジニアやデータプロダクトエンジニア がチームで開発するためのナレッジ等を深めて共有していきたい 
 26