Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データアナリストが育てるDWH
Search
yukihide watanabe
July 28, 2021
Technology
2
5.6k
データアナリストが育てるDWH
[オンライン開催] Retty ✕ Mercari Analyst Talk Night! 登壇資料
https://mercari.connpass.com/event/218848/
yukihide watanabe
July 28, 2021
Tweet
Share
Other Decks in Technology
See All in Technology
最速最小からはじめるデータプロダクト / Data Product MVP
amaotone
5
740
分布で見る効果検証入門 / ai-distributional-effect
cyberagentdevelopers
PRO
4
700
日経電子版におけるリアルタイムレコメンドシステム開発の事例紹介/nikkei-realtime-recommender-system
yng87
1
510
10分でわかるfreeeのQA
freee
1
3.4k
WINTICKETアプリで実現した高可用性と高速リリースを支えるエコシステム / winticket-eco-system
cyberagentdevelopers
PRO
1
190
IaC運用を楽にするためにCDK Pipelinesを導入したけど、思い通りにいかなかった話
smt7174
1
110
Vueで Webコンポーネントを作って Reactで使う / 20241030-cloudsign-vuefes_after_night
bengo4com
4
2.5k
大規模データ基盤チームのオンプレTiDB運用への挑戦 / dpu-tidb
cyberagentdevelopers
PRO
1
110
リンクアンドモチベーション ソフトウェアエンジニア向け紹介資料 / Introduction to Link and Motivation for Software Engineers
lmi
4
290k
AWS re:Inventを徹底的に楽しむためのTips / Tips for thoroughly enjoying AWS re:Invent
yuj1osm
1
570
20241031_AWS_生成AIハッカソン_GenMuck
tsumita
0
110
いまさらのStorybook
ikumatadokoro
0
150
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
250
21k
We Have a Design System, Now What?
morganepeng
50
7.2k
Into the Great Unknown - MozCon
thekraken
31
1.5k
VelocityConf: Rendering Performance Case Studies
addyosmani
325
24k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
How to train your dragon (web standard)
notwaldorf
88
5.7k
Done Done
chrislema
181
16k
Docker and Python
trallard
40
3.1k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
GraphQLの誤解/rethinking-graphql
sonatard
66
10k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
37
1.8k
Facilitating Awesome Meetings
lara
49
6k
Transcript
データアナリストが育てるDWH Watanabe Yukihide DWH開発の停滞と再出発 2021.07.28 1
自己紹介 Watanabe Yukihide • 職域:Analytics Engineer • 趣味:ロードバイク,マンガ •
好きなトッピング:九条ネギ 2
データアナリスト主体でDWHを育てるために 乗り越えたアンチパターンの話
目次 1. RettyのDWH開発 2. DWH開発の停滞 3. DWH開発の再出発
4. 最後に 4
RettyのDWH開発
高難易度のデータ出し RettyのDWH開発 Rettyのデータ分析チームは、”意思決定の価値最大化”を目的とするチーム 6 意思決定の価値最大化 データの民主化 ダッシュボード構築 定量根拠の一般化 UXリサーチ DWH開発
科学的根拠のある分析 分析の高度化 意思決定の精度向上 意思決定構造への助言
RettyのDWH開発 データアナリスト主体でDWH開発する理想を掲げている ELT形式のデータフロー。GitとSQLのスキルでDWH開発ができる環境。月一で集中作業の時間を確保 チーム開発のためのデータウェアハウスアーキテクチャ 7
DWH開発の停滞 \ 本題 /
DWH開発の停滞 DWHの開発速度が追いつかず、データアナリストが利用しやすい程度で停滞 データの民主化で増えた社内のBigQueryユーザーにとって、難しい集計はデータアナリスト依頼へ… 9 高難易度のデータ出し 意思決定の最大化 データの民主化 定量根拠の一般化 DWH開発
分析の高度化 意思決定の精度向上 DWHでできない集計は”高難易度” データ分析チームに依頼されていく
DWH開発の停滞 DWHの開発速度が追いつかず、データアナリストが利用しやすい程度で停滞 データの民主化で増えた社内のBigQueryユーザーにとって、難しい集計はデータアナリスト依頼へ… 10 高難易度のデータ出し 意思決定の最大化 データの民主化 定量根拠の一般化 DWH開発
分析の高度化 意思決定の精度向上 DWHでできない集計は”高難易度” データ分析チームに依頼され始める データの民主化をしているはずが、 データアナリストのタスクが減らない…🤔
DWH開発の停滞 因果ループを用いた現状分析により、デッドロック状態であることを確認 意思決定が進捗すると観点が多様化。DWHに未実装だとデータ出し依頼がきて、DWH開発の工数を圧迫 11 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗
DWH開発の停滞 ①意思決定の進捗のために、一定の速度・品質を提供し続ける 意思決定の進捗が生まれ、チーム・組織のデータ活用が高度になっていくサイクル 12 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗
①意思決定の進捗のために、一定の速度・品質を提供し続ける
DWH開発の停滞 ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える 高難易度のデータ出しがデータアナリストから手離れせず、タスクとして少なからず積もっていく 13 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗
①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える
DWH開発の停滞 ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる 長期的は大きな悪影響につながる可能性があるものを産み出さざるを得ない状況 14 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗
①意思決定の進捗のために、一定の速度・品質を提供し続ける ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える
DWH開発の停滞 ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる 長期的は大きな悪影響につながる可能性があるものを産み出さざるを得ない状況 15 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗
①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる DWH開発による利益実感が少ないため データアナリストの開発動機も低迷していた
DWH開発の停滞 DWH開発を通してデータアナリスト自身が利益実感できるサイクルを目指す 知識のコード化 (Knowledge as Code)を通じて、採用・育成などの物理リソースに依存しない状態 16 高難易度のデータ出し
観点の多様化 ダッシュボード構築 DWH開発 意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合い、データの民主化が達成される ③数値定義に安心感のあるダッシュボードが生まれる
DWH開発の再出発
DWH開発の再出発 施策①:工数不足に関する解決策として、スクラム体制を導入した バックログに従うことで工数制御。しかしDWH開発の優先度は低いままで、直接の解決策とはなり得ず 18 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発
意思決定の進捗 ①速度を調整しつつ、一定の品質を提供し続ける ②DWH開発の優先度が上がり難く、多様化の速度には間に合わず
DWH開発の再出発 Looker導入というチャンス 主要ダッシュボード移行を目標に着手。ダッシュボード負債解消、DWH開発のあり方を変えるチャンス 19 (表の声) Lookerにダッシュボード移行しましょう! Exploreを活用して分析の再利用を! 次からバックログ待ちせずに済みますよ!
(裏の声) いまデッドロックを解消しないと終わる … データ出しではなくDWH開発を!
DWH開発の再出発 施策②:データ出し依頼には、クエリ作成だけでなくDWH開発も加える 「データ出し依頼 = クエリ作成」というテンプレート対応からの脱却。対応選択肢の幅を広げていく 20 (表の声) 複雑なクエリ読むの大変ですよね!? Exploreを活用して分析の再利用を!
次からバックログ待ちせずに済みますよ! (裏の声) DWH開発への工数に転換したいです …
DWH開発の再出発 施策③:“Agile Data Modeling” の取り組み ダッシュボード移行に際してデータモデリング意識の醸成。DWHの不足を発見して開発する習慣付け 21
DWH開発の再出発 安心できるダッシュボードへと再構築し、良いサイクルの再出発を果たした チームの余力を見極めて、より生産的なアウトプットを提案し、チーム全体で動機と知識を補い合う 22 高難易度のデータ出し 観点の多様化 ダッシュボード構築 DWH開発 意思決定の進捗
①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合い、データの民主化が達成される ③数値定義に安心感のあるダッシュボードが生まれる
最後に
最後に 一緒にデータアナリスト+αで、組織の意思決定の価値最大化に貢献しませんか? 下記の項目(もしくはデータマネジメント)に興味がある方、ぜひ懇親会でお声がけください! 24 高難易度のデータ出し 意思決定の価値最大化 データの民主化 ダッシュボード構築 定量根拠の一般化
UXリサーチ DWH開発 科学的根拠のある分析 分析の高度化 意思決定の精度向上 意思決定構造への助言
ご清聴ありがとうございました!