2023/3/14に開催された「What is dbt?データ基盤にdbtが必要な3つの理由」で登壇した際の資料です。
https://classmethod.connpass.com/event/276579/
dbtと仲良し! クラスメソッドのModern Data Stack 12023/3/14 アライアンス統括部 相樂悟
View Slide
2自己紹介氏名相樂 悟 (サガラ サトシ)所属クラスメソッド株式会社 アライアンス統括部主な担当Modern Data Stackのプロサービス・プリセールス
3アジェンダ1.会社概要2.クラスメソッドのModern Data Stack 3.dbtと特に仲良しのサービス ・Fivetran ・Snowflake4.最後に
4アジェンダ1.会社概要2.クラスメソッドのModern Data Stack 3.dbtと特に仲良しのサービス ・Fivetran ・Snowflake4.最後に
クラスメソッドについて事業内容 子会社 および 関連会社 認定 • クラウド(AWS等)の技術コンサルティング、開発、運用• データ分析基盤の技術コンサルティング、開発、運用• アプリケーション(LINE、iOS等)の企画開発、運用• SaaS、Webサービスの企画開発、導入支援、運用• 企業向けIT人材育成、内製化支援• 無人店舗技術・キャッシュレス決済システムの企画開発、運営 プリズマティクス株式会社 ネクストモード株式会社 アノテーション株式会社 アンダースコア株式会社 プロパゲート株式会社 Classmethod (Europe) GmbH Classmethod Canada Inc. Classmethod India Private Limited Classmethod (Thailand) Co., Ltd. Classmethod Korea Co., Ltd. Classmethod Vietnam Co., Ltd. オープンな発想と高い技術力によりすべての人々の創造活動に貢献し続ける名称 代表者 設 立 本 社 拠 点 資本金 従業員 クラスメソッド株式会社 (英語表記:Classmethod, Inc.) 横田 聡 2004年7月7日 東京都港区西新橋1-1-1 日比谷フォートタワー26階 東京、札幌、大阪、岡山、福岡、上越、沖縄、ベルリン、バンクーバー、ニューデリー、バンコク、ソウル 1億円 689名(2023年1月現在/グループ全体) 5
世界でもっとも貢献した SIパートナーとして「SI Partner of the Year」を受賞。8年連続AWSパートナー最上位の AWSプレミアティアサービスパートナー認定。AWSサービスパートナーオブザイヤージャパン 2021受賞。社員のAWS公式資格取得数は2,000オーバー、世界トップクラスの技術力。AWSプレミアティアサービスパートナーAPN Certification Distinction 2000パブリックセクターパートナーマネージドサービスプログラム( MSP)認定AWSサービスデリバリープログラム( 14種類)AWSコンピテンシープログラム移行コンピテンシー / デジタルカスタマーエクスペリエンスコンピテンシー/ ビッグデータコンピテンシー / DevOpsコンピテンシーAWS内製化支援パートナーLINE法人向け開発パートナー Technology Partner認定Technology Partner 認定バッチ(OMO、Engagement)SI Partner of the Year - GLOBAL 受賞AWS LINEAlteryx Partner of the Year 3度受賞Looker Best Ambassador賞 2度受賞Fivetran、APACパートナーアワード受賞Snowflake、国内初ソリューションパートナー認定dbt、国内初の販売パートナー認定その他クラスメソッドの強み 6
月間300万PV、100万UUを誇る技術ブログDevelopersIOhttps://dev.classmethod.jp/ 7 憶測やセオリーだけでなく、 実地検証に基づく「やってみた」記事を公開 ユーザに有益な情報であれば社内のノウハウも 余すところなく記事化 現在39,000本以上の記事を掲載(2023年1月現在) AWS関連の技術記事を15,000本以上掲載 DevelopersIOは、社員が執筆するIT技術に特化したオウンドメディアです。AWS、ビッグデータ、モバイル、IoT などの最新技術に関する記事を掲載中です。7
8アジェンダ1.会社概要2.クラスメソッドのModern Data Stack 3.dbtと特に仲良しのサービス ・Fivetran ・Snowflake4.最後に
9クラスメソッドのModern Data Stack 全体像データソース➟DWHの連携が、認証情報の設定だけで可能なツールスケーラビリティに優れ、外部共有などの機能もあるDWHソフト開発の手法に則りデータ変換処理が開発出来るツールLookMLを用いた、指標の定義の統制に優れたBIツール直感的な操作で多様な表現が可能なBIツールGUI操作でデータクレンジング~予測分析まで行えるツール
10各製品の詳細について下記の記事に、各製品の概要紹介YouTubeや、関連ブログ一覧へのリンクを貼っておりますクラスメソッドのModern Data Stackの導入メリットについてもまとめています!https://dev.classmethod.jp/articles/devio2022-suggestion-classmethod-modern-data-stack/
11アジェンダ1.会社概要2.クラスメソッドのModern Data Stack 3.dbtと特に仲良しのサービス ・Fivetran ・Snowflake4.最後に
12Fivetranとは- 開発や運用作業が不要なELT(Extract,Load,Transform)サービス- 2023年2月から、月間50万MARまで無料のプランが提供開始!- 「データソースへの接続」と「使用するデータの選択」だけすればよい- Fivetranが考えたスキーマ定義でロードされる※Fivetran公式Doc:Shopifyより
13dbt×Fivetranの強み:dbt Transformation- Fivetranのロード処理が完了したことをトリガーに、dbtのデータ変換処理(model)を実行できる機能- 何が良いのか?- Airflow等のワークフロー管理ツール不要で、Fivetran➟dbtを簡単につなげる事ができる- dbtを使うため、使用する変換処理はGitを用いたバージョン管理が可能
14dbt×Fivetranの強み:Fivetran用のdbt package- Fivetranにより構築されたスキーマに合わせた、すぐ使えるデータマートを生成するmodel(sqlファイル)の集まり- ※「dbt package」は、一般的なプログラミング言語でいう ライブラリのdbt版- 例:Salesforce用のdbt package- チーム/メンバー/商談ごとに、各種金額や商談に関する集計値を出してくれるmodelがまとまった「salesforce」- Fivetranでロードしたテーブルやカラムに、source定義として、description、testを自動で設定してくれる「salesforce_source」- Fivetranだけでは同期できない、Salesforce上の計算項目をマクロで追加することができる「salesforce_formula_utils」
15Fivetran用のdbt package一覧 ※2023/3/14時点・2023/3/14時点:89種 ・2022/6/9時点:76種※https://hub.getdbt.com/より
16アジェンダ1.会社概要2.クラスメソッドのModern Data Stack 3.dbtと特に仲良しのサービス ・Fivetran ・Snowflake4.最後に
17Snowflakeとは- クラウドのメリットを最大限活かしたデータウェアハウス- コンピューティングとストレージの分離- マルチクラウド対応- 外部へのデータシェアリング対象のストレージは1つ 別クラウドでも簡単にデータシェア可能
18dbt×Snowflakeの強み:dbtの新機能の対応が早い- dbt Semantic Layer ※2023/3/14時点、Snowflakeのみ対応- 「売上」や「利益」など、データを用いたビジネス指標の定義をdbt上で一元管理出来る機能- 人により「売上」の解釈が異なるなど、ガバナンスが効いていない場合に活きてくる- 参考ブログ:Tableauからdbt Sematic Layerを介してMetricsを参照してみた
19dbt×Snowflakeの強み:Snowflake用のdbt package- 2023/3/14時点、確認できたSnowflake用のdbt package- dbt_dataquality- snowflake_env_setup- dbt_snow_mask- dbt_snow_utils- dbt_snowflake_monitoring- dbt_snowflake_query_tags- snowflake_spend- snowflake_utils- dbt_constraints- ※dbtvault等、Snowflakeの対応が最も早いpackageもあります
20Snowflake用のdbt packageの例- dbt_constraints- dbtのtestを介してSnowflakeの各制約を自動的に適用できるpackage- 参考記事:https://dev.classmethod.jp/articles/dbt-package-dbt-constraints/yamlでテスト定義dbt build自動的に各制約が適用される
21アジェンダ1.会社概要2.クラスメソッドのModern Data Stack 3.dbtと特に仲良しのサービス ・Fivetran ・Snowflake4.最後に
22発表内容まとめ- dbtはクラスメソッドのModern Data Stackでも中核を担うサービス特に、FivetranやSnowflakeと仲良し!
23Modern Data Stackで構築するときの疑問dbtとSnowflakeを組み合わせるときに注意することは?dbtとLooker、どう使い分ければいいの…?Snowflakeのロール管理、どうやって運用しよう!?dbt projectのフォルダ構成、どうすればいいんだろう…Lookerのテンプレートフィルタ、どう使えばいいの?Tableauでユーザーに使われるダッシュボードを作るにはどうすれば…?
24Modern Data Stackで構築するときの疑問dbtとSnowflakeを組み合わせるときに注意することは?dbtとLooker、どう使い分ければいいの…?Snowflakeのロール管理、どうやって運用しよう!?dbt projectのフォルダ構成、どうすればいいんだろう…Lookerのテンプレートフィルタ、どう使えばいいの?Tableauでユーザーに使われるダッシュボードを作るにはどうすれば…?クラスメソッドのプロフェッショナルサービスにお任せください!!
25宣伝:クラスメソッドのプロフェッショナルサービス- お客様のModern Data Stack導入時のオンボーディングを支援- 特徴- トレーニング・週次MTG・チャットでの質疑応答を通し、お客様自身がModern Data Stackのサービスを使いこなし、自走することを支援- 複数サービスを組み合わせたパターンも対応可能!- dbt×Snowflake、Fivetran×dbt×Snowflake、etc- ぜひ、お問い合わせください!!
26宣伝:データ関係の職種、積極採用中!- クラスメソッド、多様なデータ関係の職種で積極採用中です!- 職種 例- Modern Data Stackに関するコンサルタント ※さがらの職種- AWSやGoogle Cloudを基盤とするデータエンジニア・機械学習エンジニア- 各BIツールを用いてダッシュボードを構築するBIエンジニア- データ分析基盤構築に関するプロジェクトマネージャー- カジュアル面談も随時対応中!
27