Upgrade to Pro — share decks privately, control downloads, hide ads and more …

dbtと仲良し!クラスメソッドのModern Data Stack

Sagara
March 15, 2023

dbtと仲良し!クラスメソッドのModern Data Stack

2023/3/14に開催された「What is dbt?データ基盤にdbtが必要な3つの理由」で登壇した際の資料です。

https://classmethod.connpass.com/event/276579/

Sagara

March 15, 2023
Tweet

More Decks by Sagara

Other Decks in Technology

Transcript

  1. dbtと仲良し!

    クラスメソッドのModern Data Stack

    1
    2023/3/14

    アライアンス統括部

    相樂悟


    View Slide

  2. 2
    自己紹介
    氏名
    相樂 悟 (サガラ サトシ)
    所属
    クラスメソッド株式会社 アライアンス統括部
    主な担当
    Modern Data Stackのプロサービス・プリセールス

    View Slide

  3. 3
    アジェンダ
    1.会社概要
    2.クラスメソッドのModern Data Stack
     
    3.dbtと特に仲良しのサービス
     ・Fivetran
     ・Snowflake
    4.最後に

    View Slide

  4. 4
    アジェンダ
    1.会社概要
    2.クラスメソッドのModern Data Stack
     
    3.dbtと特に仲良しのサービス
     ・Fivetran
     ・Snowflake
    4.最後に

    View Slide

  5. クラスメソッドについて
    事業内容







    子会社

    および

    関連会社





    認定

    • クラウド(AWS等)の技術コンサルティング、開発、運用
    • データ分析基盤の技術コンサルティング、開発、運用
    • アプリケーション(LINE、iOS等)の企画開発、運用
    • SaaS、Webサービスの企画開発、導入支援、運用
    • 企業向けIT人材育成、内製化支援
    • 無人店舗技術・キャッシュレス決済システムの企画開発、運営 


    プリズマティクス株式会社   ネクストモード株式会社 

    アノテーション株式会社   アンダースコア株式会社 

    プロパゲート株式会社   Classmethod (Europe) GmbH 

    Classmethod Canada Inc.   Classmethod India Private Limited 

    Classmethod (Thailand) Co., Ltd.  Classmethod Korea Co., Ltd. 

    Classmethod Vietnam Co., Ltd. 

    オープンな発想と高い技術力によりすべての人々の創造活動に貢献し続ける
    名称



    代表者


    設 立


    本 社



    拠 点




    資本金


    従業員

    クラスメソッド株式会社 

    (英語表記:Classmethod, Inc.) 


    横田 聡


    2004年7月7日


    東京都港区西新橋1-1-1 

    日比谷フォートタワー26階 


    東京、札幌、大阪、岡山、福岡、上越、沖縄、ベ
    ルリン、バンクーバー、ニューデリー、バンコク、
    ソウル


    1億円


    689名(2023年1月現在/グループ全体) 

    5

    View Slide

  6. 世界でもっとも貢献した SIパートナーとして「SI Partner of the Year」を受賞。
    8年連続AWSパートナー最上位の AWSプレミアティアサービスパートナー認定。
    AWSサービスパートナーオブザイヤージャパン 2021受賞。
    社員のAWS公式資格取得数は2,000オーバー、世界トップクラスの技術力。
    AWSプレミアティアサービスパートナー
    APN Certification Distinction 2000
    パブリックセクターパートナー
    マネージドサービスプログラム( MSP)認定
    AWSサービスデリバリープログラム( 14種類)
    AWSコンピテンシープログラム
    移行コンピテンシー / デジタルカスタマーエクスペリエンスコンピテンシー
    / ビッグデータコンピテンシー / DevOpsコンピテンシー
    AWS内製化支援パートナー
    LINE法人向け開発パートナー Technology Partner認定
    Technology Partner 認定バッチ(OMO、Engagement)
    SI Partner of the Year - GLOBAL 受賞
    AWS LINE
    Alteryx Partner of the Year 3度受賞
    Looker Best Ambassador賞 2度受賞
    Fivetran、APACパートナーアワード受賞
    Snowflake、国内初ソリューションパートナー認定
    dbt、国内初の販売パートナー認定
    その他
    クラスメソッドの強み 6

    View Slide

  7. 月間300万PV、100万UUを誇る技術ブログDevelopersIO
    https://dev.classmethod.jp/ 7

    憶測やセオリーだけでなく、

    実地検証に基づく「やってみた」記事を公開


    ユーザに有益な情報であれば社内のノウハウも

    余すところなく記事化


    現在39,000本以上の記事を掲載(2023年1月現在)

    AWS関連の技術記事を15,000本以上掲載


    DevelopersIOは、社員が執筆するIT技術に特化したオウンドメディ
    アです。AWS、ビッグデータ、モバイル、IoT などの最新技術に関す
    る記事を掲載中です。
    7

    View Slide

  8. 8
    アジェンダ
    1.会社概要
    2.クラスメソッドのModern Data Stack
     
    3.dbtと特に仲良しのサービス
     ・Fivetran
     ・Snowflake
    4.最後に

    View Slide

  9. 9
    クラスメソッドのModern Data Stack 全体像
    データソース➟DWH
    の連携が、認証情報の
    設定だけで可能なツー

    スケーラビリティに優
    れ、外部共有などの機
    能もあるDWH
    ソフト開発の手法に則
    りデータ変換処理が開
    発出来るツール
    LookMLを用いた、指
    標の定義の統制に優
    れたBIツール
    直感的な操作で
    多様な表現が
    可能なBIツール
    GUI操作でデータク
    レンジング~
    予測分析まで
    行えるツール

    View Slide

  10. 10
    各製品の詳細について
    下記の記事に、各製品の概要紹介YouTubeや、関連ブログ一覧へのリンクを貼っております
    クラスメソッドのModern Data Stackの導入メリットについてもまとめています!
    https://dev.classmethod.jp/articles/devio2022-suggestion-classmethod-modern-data-stack/

    View Slide

  11. 11
    アジェンダ
    1.会社概要
    2.クラスメソッドのModern Data Stack
     
    3.dbtと特に仲良しのサービス
     ・Fivetran
     ・Snowflake
    4.最後に

    View Slide

  12. 12
    Fivetranとは
    - 開発や運用作業が不要なELT(Extract,Load,Transform)サービス
    - 2023年2月から、月間50万MARまで無料のプランが提供開始!
    - 「データソースへの接続」と「使用するデータの選択」だけすればよい
    - Fivetranが考えたスキーマ定義でロードされる
    ※Fivetran公式Doc:Shopifyより

    View Slide

  13. 13
    dbt×Fivetranの強み:dbt Transformation
    - Fivetranのロード処理が完了したことをトリガーに、
    dbtのデータ変換処理(model)を実行できる機能
    - 何が良いのか?
    - Airflow等のワークフロー管理ツール不要で、
    Fivetran➟dbtを簡単につなげる事ができる
    - dbtを使うため、使用する変換処理は
    Gitを用いたバージョン管理が可能

    View Slide

  14. 14
    dbt×Fivetranの強み:Fivetran用のdbt package
    - Fivetranにより構築されたスキーマに合わせた、
    すぐ使えるデータマートを生成するmodel(sqlファイル)の集まり
    - ※「dbt package」は、一般的なプログラミング言語でいう
      ライブラリのdbt版
    - 例:Salesforce用のdbt package
    - チーム/メンバー/商談ごとに、各種金額や商談に関する集計値を
    出してくれるmodelがまとまった「salesforce」
    - Fivetranでロードしたテーブルやカラムに、source定義として、description、test
    を自動で設定してくれる「salesforce_source」
    - Fivetranだけでは同期できない、Salesforce上の計算項目を
    マクロで追加することができる「salesforce_formula_utils」

    View Slide

  15. 15
    Fivetran用のdbt package一覧 ※2023/3/14時点
    ・2023/3/14時点:89種    ・2022/6/9時点:76種
    ※https://hub.getdbt.com/より


    View Slide

  16. 16
    アジェンダ
    1.会社概要
    2.クラスメソッドのModern Data Stack
     
    3.dbtと特に仲良しのサービス
     ・Fivetran
     ・Snowflake
    4.最後に

    View Slide

  17. 17
    Snowflakeとは
    - クラウドのメリットを最大限活かしたデータウェアハウス
    - コンピューティングとストレージの分離
    - マルチクラウド対応
    - 外部へのデータシェアリング
    対象のストレージは1つ 別クラウドでも簡単にデータシェア可能

    View Slide

  18. 18
    dbt×Snowflakeの強み:dbtの新機能の対応が早い
    - dbt Semantic Layer ※2023/3/14時点、Snowflakeのみ対応
    - 「売上」や「利益」など、
    データを用いたビジネス指標の定義を
    dbt上で一元管理出来る機能
    - 人により「売上」の解釈が異なるなど、
    ガバナンスが効いていない場合に
    活きてくる
    - 参考ブログ:
    Tableauからdbt Sematic Layerを介してMetricsを参照してみた

    View Slide

  19. 19
    dbt×Snowflakeの強み:Snowflake用のdbt package
    - 2023/3/14時点、確認できたSnowflake用のdbt package
    - dbt_dataquality
    - snowflake_env_setup
    - dbt_snow_mask
    - dbt_snow_utils
    - dbt_snowflake_monitoring
    - dbt_snowflake_query_tags
    - snowflake_spend
    - snowflake_utils
    - dbt_constraints
    - ※dbtvault等、Snowflakeの対応が最も早いpackageもあります

    View Slide

  20. 20
    Snowflake用のdbt packageの例
    - dbt_constraints
    - dbtのtestを介してSnowflakeの各制約を自動的に適用できるpackage
    - 参考記事:https://dev.classmethod.jp/articles/dbt-package-dbt-constraints/
    yamlでテスト定義
    dbt build
    自動的に各制約が適用される

    View Slide

  21. 21
    アジェンダ
    1.会社概要
    2.クラスメソッドのModern Data Stack
     
    3.dbtと特に仲良しのサービス
     ・Fivetran
     ・Snowflake
    4.最後に

    View Slide

  22. 22
    発表内容まとめ
    - dbtはクラスメソッドのModern Data Stackでも中核を担うサービス
    特に、FivetranやSnowflakeと仲良し!

    View Slide

  23. 23
    Modern Data Stackで構築するときの疑問
    dbtとSnowflakeを組み合わせると
    きに注意することは?
    dbtとLooker、どう使い分ければい
    いの…?
    Snowflakeのロール管理、
    どうやって運用しよう!?
    dbt projectのフォルダ構成、
    どうすればいいんだろう…
    Lookerのテンプレートフィルタ、どう使
    えばいいの?
    Tableauでユーザーに使われる
    ダッシュボードを作るにはどうすれ
    ば…?

    View Slide

  24. 24
    Modern Data Stackで構築するときの疑問
    dbtとSnowflakeを組み合わせると
    きに注意することは?
    dbtとLooker、どう使い分ければい
    いの…?
    Snowflakeのロール管理、
    どうやって運用しよう!?
    dbt projectのフォルダ構成、
    どうすればいいんだろう…
    Lookerのテンプレートフィルタ、どう使
    えばいいの?
    Tableauでユーザーに使われる
    ダッシュボードを作るにはどうすれ
    ば…?
    クラスメソッドのプロフェッショナルサービス
    にお任せください!!

    View Slide

  25. 25
    宣伝:クラスメソッドのプロフェッショナルサービス
    - お客様のModern Data Stack導入時のオンボーディングを支援
    - 特徴
    - トレーニング・週次MTG・チャットでの質疑応答を通し、
    お客様自身がModern Data Stackのサービスを使いこなし、
    自走することを支援
    - 複数サービスを組み合わせたパターンも対応可能!
    - dbt×Snowflake、Fivetran×dbt×Snowflake、etc
    - ぜひ、お問い合わせください!!

    View Slide

  26. 26
    宣伝:データ関係の職種、積極採用中!
    - クラスメソッド、多様なデータ関係の職種で積極採用中です!
    - 職種 例
    - Modern Data Stackに関するコンサルタント ※さがらの職種
    - AWSやGoogle Cloudを基盤とするデータエンジニア・機械学習エンジニア
    - 各BIツールを用いてダッシュボードを構築するBIエンジニア
    - データ分析基盤構築に関するプロジェクトマネージャー
    - カジュアル面談も随時対応中!

    View Slide

  27. 27

    View Slide