Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ活用の最前線!Modern Data Stack界隈で注目されている4つの分野
Search
Sagara
October 12, 2023
Technology
1
1.1k
データ活用の最前線!Modern Data Stack界隈で注目されている4つの分野
2023/10/12に開催された「クラウド時代のデータ活用基盤!最新動向と応用を徹底解説」の登壇資料です。
Sagara
October 12, 2023
Tweet
Share
More Decks by Sagara
See All by Sagara
「コードでデータ分析に関わる指標を管理できる ”Semantic Layer”、dbtとLookerで何が違うの?」あなたのこの疑問、解消します
sagara
7
7k
最短1日で構築!?データドリブンな文化をプッシュするクラスメソッドのModern Data Stack
sagara
0
1k
dbtと仲良し!クラスメソッドのModern Data Stack
sagara
3
2.6k
データエンジニアを助けてくれるFivetranとSnowflakeの仕様&機能のご紹介
sagara
1
4k
大学で情報工学を専攻しつつ、その道を一度外れてまた情報工学の分野に戻ってきた男が語る「データを用いた仕事の面白さ」
sagara
0
720
「データ活用」に注力できるデータ基盤を構築しませんか?~クラスメソッドのModern Data Stackのご紹介~
sagara
2
2.8k
dbt×Fivetran×SnowflakeによるModern Data Stackのご紹介
sagara
1
3.2k
DX実現の第一歩!クラウド技術を活かしたデータ分析、成功のヒント_第1回_投影資料
sagara
0
1.2k
DX実現の第一歩!クラウド技術を活かしたデータ分析、成功のヒント_第2回_投影資料
sagara
0
1k
Other Decks in Technology
See All in Technology
BPStudyの200回を中心にIT業界を振り返る。そしてこれから
haru860
2
200
MixIT 2024 - Pulumi : Gérer son infra avec son langage de programmation préféré
ju_hnny5
0
100
本当のAWS基礎
toru_kubota
0
540
プロトタイピングによる不確実性の低減 / Reducing Uncertainty through Prototyping
ohbarye
5
390
Vertex AI を中心に 生成AIのアップデートを共有します
kaz1437
0
310
Java EE/Jakarta EEの現状と将来―クラウドネイティブ時代にJava EEは対応できるのか?―
takakiyo
1
170
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
2.1k
.NET Profiler in 2024.
kkamegawa
1
130
On Your Data を超えていく!
hirotomotaguchi
2
700
Reducing Cross-Zone Egress at Spotify with Custom gRPC Load Balancing Recap
koh_naga
0
210
オーナーシップを持つ領域を明確にする
konifar
13
3.2k
GraphQL 成熟度モデルの紹介と、プロダクトに当てはめた事例 / GraphQL maturity model
mh4gf
7
1.4k
Featured
See All Featured
The Art of Programming - Codeland 2020
erikaheidi
42
12k
Statistics for Hackers
jakevdp
789
220k
The MySQL Ecosystem @ GitHub 2015
samlambert
243
12k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
187
16k
Learning to Love Humans: Emotional Interface Design
aarron
267
39k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
Infographics Made Easy
chrislema
238
18k
Unsuck your backbone
ammeep
663
57k
Adopting Sorbet at Scale
ufuk
68
8.6k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
20
1.9k
Automating Front-end Workflow
addyosmani
1356
200k
Documentation Writing (for coders)
carmenintech
60
3.9k
Transcript
データ活用の最前線! Modern Data Stack界隈で 注目されている4つの分野 1 2023/10/12 アライアンス事業部 相樂悟
2 自己紹介 氏名 相樂 悟 (サガラ サトシ) 所属 クラスメソッド株式会社 アライアンス事業部
役割 Modern Data Stackソリューション テックリード (各種案件対応・新技術調査&検証・メンバーフォロー)
3 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
4 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
5 そもそも「データ基盤」とは データの取り込み~蓄積~活用まで一通り行える基盤のこと ※データ分析基盤・データ活用基盤とも呼ばれたりします 社内のデータ データの蓄積 (データウェアハウス) マーケティング レポーティング 統計分析・機械学習
データの 取り込み 加工 加工
6 「Modern Data Stack」とは 最新のクラウドネイティブの技術やサービスを組み合わせた データ基盤、あるいはその考え方や該当するサービス群を指す言葉 引用元:Who’s Who in the
Modern Data Stack Ecosystem (Spring 2022) 引用元:Understanding the Modern Data Stack
7 Modern Data Stack 導入メリット Modern Data Stackを用いたデータ基盤を構築することで… - 実装工数が短い、最短1日でデータの取り込みが出来る -
いかなるデータ量・リクエスト量にも基本的に対応可能 - SaaS主体のため、サーバー管理やソフトのバージョン管理から開放 - 各サービス間の連携機能が豊富なことが多い 「データを分析・活用した、ビジネスへの貢献」に 注力できるデータ基盤を構築できます
8 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
9 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
10 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
11 Reverse ETLとは データウェアハウス上のデータを、運用しているシステムやSaaSに 連携するプロセスのこと 引用元:What is Reverse ETL? The
Definitive Guide
12 Reverse ETLのメリット DWHに溜まったデータを分析用途以外に活用できる - 例:CRMのサービスに、DWHで名寄せなど行ったデータを同期 - 例:マーケティングのサービスに、配信対象者のデータを同期 更に、HightouchやCensusなどのReverse ETLに特化した製品ならば…
- 連携先のAPIを叩くプログラムの開発やメンテナンスから開放 - 前回連携時からの差分データのみ、連携してくれる - GUIベースの操作だけでOK
13 Reverse ETLの事例 その1 各顧客と繋がっているSlack、またはメールで、 契約頂いている製品の利用状況のデータを自動送信 (SaaSの売買プラットフォームを運営するVendr社の事例) 引用元:Vendr Automates Customer Touchpoints
With dbt, Hightouch & Snowflake
14 Reverse ETLの事例 その2 イベント収集・DWH・Reverse ETL・MAツールで Customer Data Platformを構築 (イギリスの車売買サイトを運営するAuto Trader社の事例)
引用元:Auto Trader Builds a Composable CDP and Increases Engagement for New Car Buyers by 20%
15 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
16 Data Applicationとは データを活用した、ユーザーに対して新しい気づきを与えたり、 アクションを促すための仕組みを持ったアプリケーション 引用元:What Is a Data Application?
17 Data Applicationの昨今のトレンド 「Streamlit」というPythonのみでアプリケーションを構築できる フレームワークが注目を集めている なぜStreamlitが注目を集めているか? - 2022年3月: Snowflake社がStreamlit買収 -
2023年6月: 「データの外部共有」に 強みを持っていたSnowflakeが、 「アプリケーションの外部共有」 機能をリリース (UDF、Procedure、Streamlitアプリが共有可能) 引用元:How to build a real-time live dashboard with Streamlit
18 Streamlitを用いたData Applicationの事例 その1 「汎用的なデータに対する分析方法の提供」 Snowflakeの利用状況データに関する分析レポート機能に加え、 行うべき推奨事項(クエリ最適化)などを提案してくれるアプリ 引用元:Snowflake Marketplace CostNomics
19 Streamlitを用いたData Applicationの事例 その2 「データの生成・書き込み」 Streamlitのアプリ上で簡単な操作を行うだけで、設定に応じた ダミーデータを自動生成するアプリ 引用元:ダミーデータを生成できる Streamlitアプリ「FrostyGen」をStreamlit in Snowflakeで動かしてみた
20 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
21 Generative AIとは AIを活用して、テキスト・画像・音楽・動画などの新しいコンテンツを 生成すること 現在の一般的な用途 - ChatGPTを用いて、依頼した内容のテキストを自動生成 - インターネット上のブラウザの検索インターフェースで、
質問するだけでインターネット上の情報からAIが検索した情報を返す (Bing AIなど) - 社内の文書情報を学習させ、Slack経由で社内情報について問合せ - 参考:RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた
22 Generative AIのデータ基盤における事例 その1 BIツールから自然言語で問い合わせを行い、自動でダッシュボードを 生成する機能(Tableau、Power BI、QuickSight、Looker Studioが発表) 引用元:Amazon QuickSight の
Generative BI 機能を発表
23 Generative AIのデータ基盤における事例 その2 Reverse ETL × Streamlit × Generative AIの組み合わせで、
Streamlit上でOpenAIのAPIを叩き各顧客ごとのメールを自動生成&配信 引用元:How to Generate Personalized Emails from your Snowflake CDP with ChatGPT, Snowpark, & Hightouch
24 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
25 Semantic Layerとは データを用いたビジネス指標の定義を一元管理するレイヤー - 統一された定義の元に、データ活用を行うことが出来る (対象製品例:Looker、dbt Semantic Layer、Cube、など)
26 Semantic Layerのメリット 組織内のデータを用いるビジネス指標の定義を統制できる ⇛ データガバナンスの向上・アウトプット時の品質向上
27 Semantic Layerの事例 その1 Lookerで定義した指標を、API経由で参照しアプリケーション上に表示 (例:社内・社外問わず、”ある顧客の売上”を同じ計算式で出せる)
28 Semantic Layerの事例 その2 OpenAIのAPIからSemantic Layerで定義された情報を参照させることで、 より精度の高い結果を返すことが可能に 引用元:Introducing the LangChain integration
29 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
30 まとめ Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data
Application - Generative AI - Semantic Layer データウェアハウスにデータを溜めてBIツールで分析して ダッシュボード作って…だけの時代は終わりました!
31 最後に 「データのないビジネス」は存在しない - 自社の売上や経費を管理する経理部門のデータ - 紙で管理している帳票や図面 - 会議の議事や音声、日常のメールのやり取り、スケジュール 何かしらのデータがある環境でビジネスを行っているはずです
データは「分析」や「AI」だけに使われるものではないため、 いかにデータを活用してビジネスに役立てるか考えていきましょう!
32