Upgrade to Pro — share decks privately, control downloads, hide ads and more …

タイミーのデータ活用を支えるdbt Cloud導入とこれから

タイミーのデータ活用を支えるdbt Cloud導入とこれから

dbt Labs: Japanローンチイベントカスタマーセッション (https://www.getdbt.com/events/dbt-japan-customer-session) での登壇資料になります。

Avatar for Toshiki Tsuchikawa

Toshiki Tsuchikawa

January 22, 2025
Tweet

More Decks by Toshiki Tsuchikawa

Other Decks in Technology

Transcript

  1. 自己紹介 土川 稔生 (Tsuchikawa Toshiki) 株式会社タイミーに2020年入社 DRE(Data Reliability Engineering)グループマネージャー 1人目データエンジニアとして

    5年ほどデータ基盤を開発。 プロダクトオーナーとして、データ基盤プロダクト作りに励む 翻訳書: アジャイルデータモデリング
  2. 4

  3. 5

  4. 6 6

  5. タイミーのデータ基盤の歴史 2018 アプリ リリース DWH (BigQuery)へ データ集約 2020 Looker導入 &

    dbt Cloud導入 2021 2022 2023 2024 データモデリング をLookerからdbt へ移行 dbt exposureに よるアウトプッ トの管理 dbtをエンタープライズ プランに変更 ガバナンスやデータマネ ジメントの強化 DREの数 (正社員ベース) 1 1 1 -> 2 2 -> 4 4 -> 6 AEの数 (正社員ベース) 1 -> 2 2 1
  6. dbt Cloud導入前 (2021年頃) dbt Cloud導入以前のタイミーのデータ活用状況 社内の人数 200-300人くらい データ基盤の状況 ある程度のデータソース をBigQueryに収集済み

    データ活用の事例 BigQuery データ基盤の状況 Redash, Looker Studio による自由な可視化 BigQuery ダッシュボードでKPIなど の指標の可視化・追跡 施策の効果測定 データ分析による課題探索
  7. dbt Cloud導入後の効果 導入してみて解決した課題 • embulk以外の転送ツール導入により、加工処理がembulkに依存していることで、加 工処理がバラバラでしか管理できなかった → dbtで中央集権的に管理することが可能になった! • embulkのコードの内部に加工処理が書かれているため、分析者が加工処理を確認す

    るにはデータエンジニアにお問い合わせする工数が発生していた → dbt exploreを通して、分析者がデータリネージュなどを確認することができた! • 分析者の体験をよくするデータ基盤を構築するために、複雑なデータモデリングを していきたいが複雑な加工が書けない状態である → 複数ステップでの加工の実装、管理がしやすくモデリングをスケールできた!
  8. dbt Cloudエンタープライズ導入前 (2024年頃) dbt Cloudエンタープライズ導入以前のタイミーのデータ活用状況 社内の人数 1000人以上 データ基盤の状況 データ活用の事例 データ基盤の状況

    データユースケース増加 に伴うデータソース、ア ウトプットツールの増加 BigQuery MLOps経由のレコメンド マーケティング施策への データ活用 発展的なデータ分析
  9. dbt Cloudエンタープライズ導入後の効果 導入してみて解決した課題 • teamプランだったので、社員増加に対してシート数が足りなくなってきた。MLOps や、データマート開発に際し、データサイエンティストやアナリストもdbt開発に携 わるようになっていた → SQLベースでGUIでデータ加工実装できるためエンジニア以外のアナリストにも スケールしやすかった

    • ジョブ設定やスケジュール設定が誰でも変えられる状態で意図しない設定ミスによ る障害が何度か発生した → レビューを挟んだ上でのジョブ、スケジュールのデプロイフローが組め、dbt Cloud上での適切な権限管理も行えるようになったため、障害のリスクが下がった • セキュリティ対策などで、監査ログをしっかり管理したかった → 監査ログが取得、分析できるようになった
  10. これからの dbt Cloud活用について まだまだ課題はたくさんある ...! • コスト管理をもっと細かくしたい • データ基盤のメタデータを社内でもっと広く見れるようにしたい •

    dbtのセマンティックレイヤーとしての活用のために他ツールともっと接合したい などなど... → dbtに関する豊富な周辺ツール、頻繁なdbtのアップデートをフルで活用しながら これからもdbt活用をスケール、改善していきたい
  11. (余談) dbt coalesceに参加してきました 多くのdbt Cloudに関わるリリースや予告が ! • 各モデルのクエリ実行履歴を可視化する “model query

    history” や データ品質や、鮮度などの情報を他BI ツールに埋め込める “Data health tiles” などによるOBSERVABILITYの強化 • SQL知識不要でモデル作成可能なドラッグ&ドロップ編集機能 “Visual Editing Experience” や “dbt Copilot” による開発体験向上 など楽しみな機能がこれからもたくさん One dbt: the biggest features we announced at Coalesce 2024 より
  12. まとめ BEFORE AFTER • データツールや、データ量増加によりデータ加工処理がボトルネックになっていた • 加工処理を行うチームも増え、スケールするツールが必要だった • dbt利用が増えるにつれ、ジョブなどのコード管理、監査ログが必要になった •

    dbt Cloudにより複雑なデータ加工が可能になり、データモデリングが実現できた • SQLベースで、GUIでの開発ができるため開発できるチームもスケールした • エンタープライズプランによってガバナンスや、開発生産性も向上した