Upgrade to Pro — share decks privately, control downloads, hide ads and more …

「データ活用」に注力できるデータ基盤を構築しませんか?~クラスメソッドのModern Data Stackのご紹介~

Sagara
July 27, 2022

「データ活用」に注力できるデータ基盤を構築しませんか?~クラスメソッドのModern Data Stackのご紹介~

Developers.IO 2022
https://classmethod.jp/m/developers-io/

【概要】
昨今ビジネスの環境が目まぐるしく変わる中、「これまでの経験」や「前例踏襲」のビジネスのやり方では対応できなくなってきているケースが多くなり、データを活用して、データに基づいた意思決定を行おうとする組織が増えていると思います。 一方で、データを活用するためには「データ基盤」が必要となるのですが、このデータ基盤の構築に苦労し、本来すべきデータ活用に注力できていない組織も多いのではないでしょうか。クラスメソッドでは複数のSaaSを組み合わせて簡単にデータ基盤を構築する「Modern Data Stack」を提唱しております。本セッションでは、自力で構築したデータ基盤における課題に対して、クラスメソッドのModern Data Stackを導入することでどう解決できるのか、をお話します。

Sagara

July 27, 2022
Tweet

More Decks by Sagara

Other Decks in Technology

Transcript

  1. 2 自己紹介 氏名 相樂 悟 (サガラ サトシ) 所属 クラスメソッド株式会社 アライアンス統括部

    主な担当 モダンデータスタックのプロサービス・プリセールス
  2. 10 データ基盤導入における課題 パターン1 パターン1:データ基盤を構築していない • 構成例 ◦ 表計算ソフトなどを使用して、レポート作成・分析など、 データに関わる業務の全てを行っている • 課題

    ◦ ファイルごとにデータが分断され、正しいデータがわからない ◦ ファイルが損失したら業務に多大な影響を及ぼすリスクがある ◦ (PCスペックによるが)10万行超えると動作が重くなることが多い
  3. 11 データ基盤導入における課題 パターン2 パターン2:オンプレミス環境で構築 • 構築方法 ◦ サーバーを自社調達し、ベンダーソフトをインストール • 課題 ◦

    運用要員が必要(数名~数十名) ◦ すぐにスケールアップ・スケールアウト出来ないため、 コンピュートリソースの管理運用に悩まされる ◦ サーバー増築時の追加投資の判断が難しい(数百万~数千万円)
  4. 12 データ基盤導入における課題 パターン3 パターン3:自社開発ベースでクラウド環境に構築 • 構成方法 ◦ DWHはクラウドサービスを使い、他はOSS主体で自社開発 • 課題 ◦

    自社開発のため、サーバー管理や導入したOSSのバージョン管理な ど、少し高めのエンジニアリングスキルが求められる ◦ OSSに関しては何かトラブルが発生した時、サポートがないため自社内 で解決をしないといけない
  5. 15 クラスメソッドのModern Data Stack 全体像 データソース➟DWH の連携が、認証情報の 設定だけで可能なツー ル スケーラビリティに優 れ、外部共有などの機

    能もあるDWH ソフト開発の手法に則 りデータ変換処理が開 発出来るツール LookMLを用いた、指 標の定義の統制に優 れたBIツール 直感的な操作で 多様な表現が 可能なBIツール GUI操作でデータク レンジング~ 予測分析まで 行えるツール
  6. 20 導入メリット その2 いかなるデータ量・リクエスト量にも基本的に対応可能 • SnowflakeをDWHとして採用すれば、 コンピュートリソースの管理で悩むことはほぼない • 対応する処理 ◦ Fivetranによるデータ取り込み

    ◦ dbtによる加工処理 ◦ Looker/Tableauで発行されたクエリ dbt(XL×1) BIツール (M×4) Fivetran (L×2) 処理を行うコンピュートリソースは 用途別に分けられる
  7. 21 導入メリット その3 コーディングは最低限、かつ効率的に実装可能 • データ収集 ◦ Fivetranが対応するデータソースならばコーディングは不要 • データ加工 ◦

    dbtならば、SQLやYAMLのコーディングはあるが、ソフト開発の手法に 沿って体系的に加工ができる ◦ Pythonなどのプログラミング言語は基本的に不要 • 可視化 ◦ Tableau:コーディングいらず ◦ Looker:LookMLにより各指標に対してガバナンスを効かせられる
  8. 23 導入メリット その5 各サービス間の相性もバッチリ • Fivetran × dbt ◦ Fivetranからdbtの処理を実行できる機能がある ◦

    Fivetranで構成されたスキーマに沿ったdbt用のコードが 一般公開されていて、すぐに分析可能なテーブルを構築可能 ◦ 参考:Fivetran×dbtを紹介したブログ記事 • Looker/Tableau × Snowflake ◦ Snowflake上の一番小さいコンピュートリソースであっても、 LookerやTableauで6000万行規模のデータを分析可能 ◦ 参考:Tableau×Snowflakeのデモ
  9. 24 導入メリット その6 デジタルマーケティングのサービスとの相性もバッチリ • Fivetran ◦ データをDWHへ連携 (Marketo、Braze、Google広告  Google Analytics、など)

    • Snowflake ◦ ELTサービス不要で データを連携(Brazeのみ) • Looker ◦ 各サービスに対応 したダッシュボード (Braze・KARTEのみ) 引用元:クラスメソッド マーケティングソリューション
  10. 28 Modern Data Stackの各製品 どうやって導入するか? どうやって各製品を導入していくか、5つのフェーズに分けてご紹介 • 前提 ◦ データ分析に関連する製品を何も入れていない組織・企業 •

    注意事項 ◦ 実際は、すでに導入している他サービスや業務システムによって導入 する製品の順番が変わることも多いです ◦ あくまで一例として御覧ください
  11. 32 導入フェーズ4:DWH内のデータを整える • 導入後の効果 ◦ ソフトウェア開発の手法(バージョン管理、開発環境と本番環境の分離、 自動テストなど)を取り入れて、効率よくデータを加工できる • 導入後の課題 ◦

    DWH内のデータは整ったが、末端のエンドユーザーが各指標の定義(売上の定義 方法など)を違うロジックで書いてしまい、ダッシュボード上の値が 合わないことがある