Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データ基盤管理の考え方 〜dbtの極意〜 Lunch LT

10xinc
August 22, 2023

データ基盤管理の考え方 〜dbtの極意〜 Lunch LT

10xinc

August 22, 2023
Tweet

More Decks by 10xinc

Other Decks in Programming

Transcript

  1. ©10X, Inc. All Rights Reserved. 自己紹介
 2 所属:   株式会社10X
 氏名:  

    瀧本 晋也
 職種:   データプロダクトエンジニア
 居住:   山梨
 Twitter: @takimo
 最近はTokyo dbt Meetupのオーガナイザーを やってます

  2. ©10X, Inc. All Rights Reserved. 今日の話
 • まずの前提 ◦ dbt

    Cloudが全てにおいて万能なわけではない ◦ 他の方法の比較やチームで相談し、適切に技術選定をしてください • 話すこと ◦ データの活用を目指し継続的なモデル開発、データパイプライン開発をしていく上で dbt Cloudを活用した「dbtの運用負荷の軽減」や「チーム開発体験を向上」していく ための要素を実際のdbt Cloudを使用して紹介 ◦ 実際に導入する際のパターンや費用感のお話 • 話さないこと ◦ セマンティックレイヤー等の先進的な機能の具体的な話
  3. ©10X, Inc. All Rights Reserved. dbt Cloudの特徴
 • ワークフローの運用に手間を掛けなく、dbtがすぐに使える ◦

    開発環境やデプロイ環境で使用するdbtのバージョンや実行環境を統一的に 管理可能 ◦ データパイプラインの開発にいちはやく専念ができる • パイプラインの効率的なチーム開発を支援 ◦ dbtの統合開発環境で環境準備やレクチャーのコスト低下 ◦ Githubを中心としたコード管理との開発、デプロイ処理が連携 ◦ デプロイジョブの処理はスケジュール実行、手動実行が可能 ◦ ジョブの実行履歴、成否Slack通知機能あり • シンプル使いも、多機能に使いたい人へのサポートも ◦ 直近セマンティックレイヤーの拡張機能のサポートを予定 ◦ 部分的に使うこともできれば、dbt Coreとの開発体験の融合も可能
  4. ©10X, Inc. All Rights Reserved. デモの前提
 • あなたにあるECサイトのデータ分析基盤を分析で きるようにするためのミッションが生まれました •

    今後一緒に働くメンバーや、データアナリストのメン バーと共に安全に開発、リリースできるための素地 を作りたいなと思っています • ただし歴史的な経緯で今のレポートは非常にメンテ ナンスがし辛い状態です
  5. ©10X, Inc. All Rights Reserved. dbt Cloudにメリットを感じて導入するには?
 • まずはDeveloperプランで1ライセンスで無料で検証してみる ◦

    モデルのデプロイ数の上限等があるため、小規模でなければ本番運用 は難しい • 本格的にチームや本番で投入したい場合はTeamプラン ◦ かなりの規模のデプロイ数(15000/month)までカバー可能なので基 本的にはこのプランでいける ◦ 8シートまで購入が可能、ただしIDEやジョブの管理をしたい人のみ有料 で、それ以外の人はローカルでdbt Coreでの開発も併用可能 ◦ セマンティックレイヤーの機能も利用可能 • それ以上はエンタープライズプランで検討