Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データマネジメント新年会 〜去年のしくじりを共有し、正月ボケを解消する〜
Search
CREATIVE SURVEY Inc.
January 11, 2024
Technology
1
830
データマネジメント新年会 〜去年のしくじりを共有し、正月ボケを解消する〜
2024年 1月 10日(水)にSansan・クリエイティブサーベイ・Uniposの3社で開催したイベントに弊社インターン永井が登壇した際の資料です。
CREATIVE SURVEY Inc.
January 11, 2024
Tweet
Share
More Decks by CREATIVE SURVEY Inc.
See All by CREATIVE SURVEY Inc.
dbt testを導入した話
creativesurvey
0
410
SnowflakeのCI/CDフローを整備した話 / snowflake-cicd-flow-maintenance
creativesurvey
0
650
【技術負債も解消しつつ顧客価値を最大化】ストリームアラインドチームでの挑戦と成果
creativesurvey
0
32
プロダクトエンジニアを支えるSREの動きと理想
creativesurvey
0
180
クリエイティブサーベイ社でのStreamlit活用事例
creativesurvey
0
250
STI導入で開発スピードアップ!一元管理で外部連携をスムーズに
creativesurvey
0
52
新規機能の開発における_早く価値を届ける開発の取り組み.pdf
creativesurvey
0
130
入社1ヶ月目でSREチームの方針と あり方を見直している話
creativesurvey
0
1.2k
Agile Tech Talk vol.1 「プロダクトの革新を支えた開発組織づくり」
creativesurvey
0
42
Other Decks in Technology
See All in Technology
PlaywrightによるE2Eテスト入門 / Introduction to E2E Testing with Playwright
rhumie
3
910
OCI コスト管理
ocise
1
110
Azure Cosmos DB での時系列ログの運用と改善
sansantech
PRO
0
190
分野に潜むツールの紹介
pojiro
1
330
開発者体験を意識した開発チームの生産性向上の取り組み
ham0215
3
650
実践的なバグバウンティ入門
scgajge12
4
2.1k
サイボウズ 開発本部採用ピッチ / Cybozu Engineer Recruit
cybozuinsideout
PRO
9
41k
React Aria で実現する次世代のアクセシビリティ
ryo_manba
3
290
リクルートのデータマネジメント組織に 求められてきたコト
recruitengineers
PRO
4
340
FastlyとfalcoでNode.jsレスな Webサーバー構築 : IPTV版 ABEMAアプリインフラ刷新 / Building web server using Fastly and falco without Node.js for IPTV ABEMA app
nodaguti
0
240
すぐに始めるAWSコスト削減。短期でできる改善策と長期的な運用負荷軽減への取り組み方を解説
ncdc
1
120
waitany と waitall を作った話
mrkn
0
110
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
21
3k
Fontdeck: Realign not Redesign
paulrobertlloyd
80
5.1k
How STYLIGHT went responsive
nonsquared
93
5.1k
Code Reviewing Like a Champion
maltzj
518
39k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
88
15k
Designing for Performance
lara
604
68k
[RailsConf 2023] Rails as a piece of cake
palkan
44
4.6k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
41
6.4k
Documentation Writing (for coders)
carmenintech
65
4.3k
The Invisible Side of Design
smashingmag
295
50k
Scaling GitHub
holman
458
140k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Transcript
データエンジニアが アナリスト業務で得た学びと セルフサービスモデルの実現 開発部 インターン生 永井 僚
Confidential © CREATIVE SURVEY Outline 1. 導⼊ 2. 去年いちばんのしくじり 3.
しくじりの背景 4. しくじりについての深掘り 5. 今後しくじらないために 6. 今後の展望
3 1. 導⼊
© 2023 CREATIVE SURVEY INC. All Rights Reserved. 自己紹介 永井僚
クリエイティブサーベイ株式会社 開発部インターン生 2019年4月明治大学総合数理学部入学。 2023年4月同大学院先端数理科学研究科入学。 ロボットシステムインテグレーション研究室にて、移動ロ ボットや深層強化学習、ネットワークロボットに関する研 究を行っている。 2023年1月よりエンジニアインターン生1号として現職。
Confidential © CREATIVE SURVEY 概要 主要株主 許認可 会社概要 会社名:クリエイティブサーベイ株式会社 設 ⽴:2014年7⽉
代表取締役:⽯野 真吾 Sansan株式会社 、株式会社フォーデジット プライバシーマーク(Pマーク)取得 国際規格ISO27001(ISMS)取得 Salesforce 正規パートナー Confidential © CREATIVE SURVEY
Confidential © CREATIVE SURVEY あらゆる顧客接点で営業機会を逃さない「Ask One」 お客様の⽤途や利⽤シーンに合わせて2つの製品ラインナップを提供しています。
Confidential © CREATIVE SURVEY 既に多くの企業様に、Ask Oneをご利⽤頂いております ※⼀部抜粋 ‧ 順不同 2023年10⽉現在
Confidential © CREATIVE SURVEY データチームとは • データ分析基盤の構築 ◦ プロダクトが保存しているDBのデータをデータ分析基盤に統合 •
データ利活⽤の促進に向けた動き ◦ 契約企業ごとの解約リスクのスコアリング ◦ ヒアリングからダッシュボード作成
Confidential © CREATIVE SURVEY データチームの紹介 是枝 達也 永井 僚 (Sansanの⼤澤秀⼀さんが2024より参加)
Confidential © CREATIVE SURVEY データ分析基盤のアーキテクチャ
11 2. 去年いちばんのしくじり
Confidential © CREATIVE SURVEY セールスとマーケティングチーム(S&M)向けの ダッシュボード作成プロジェクト がポシャったこと 去年いちばんのしくじりは...
Confidential © CREATIVE SURVEY 参画時期 2023年1月~2023年2月 (期間:2ヶ月) 担当工程 企画 /
要件定義 / 設計 / コーディング / 運用・保守 / データ分析 担当職種 データエンジニア / データアナリスト 去年いちばんのしくじりの概要
14 3. しくじりの背景
Confidential © CREATIVE SURVEY • S&Mの指標がクローズドだったため、S&Mチームの上司しか確認できない • メンバーが個別にスプレッドシートに書き出したダッシュボードを活用 ◦ 各人の業務負担の増加
◦ 現場の業務が増えていた S&Mチームのデータ分析上の主要な課題
Confidential © CREATIVE SURVEY データ分析基盤の整備とダッシュボード作成により 誰でも見られるダッシュボードを作ろう! 課題の解決のためのアプローチ
17 4. しくじりについての深掘り
Confidential © CREATIVE SURVEY S&Mチームの上司に課題のヒアリング • どういうダッシュボードが欲しいのか聞いた ダッシュボード作成に向けて取り組んだこと
Confidential © CREATIVE SURVEY 現場がダッシュボードで欲しい情報 • 時系列で顧客の行動が追えること その他の課題 • 上司しかダッシュボードが見られない(重要)
◦ みんなが見られるダッシュボードを作成したいと感じた ヒアリングから⾒つかった課題
Confidential © CREATIVE SURVEY ダッシュボード作成 • Amazon QuickSight上での可視化 ◦ トレンド分析とファネル分析のダッシュボードの作成
データ分析基盤の整備 • 60名規模が扱うデータ分析基盤の構築 ◦ データの自動更新 課題に対するアプローチ
Confidential © CREATIVE SURVEY • トレンド分析とファネル分析による顧客行動の可視化 Amazon QuickSightを使⽤した顧客⾏動の可視化
Confidential © CREATIVE SURVEY • 時系列での顧客行動の予測 • ダッシュボードの属人化の撤廃 という当初掲げていた課題は解決したものの、現場の方々に浸透しなかった 当初掲げていた課題は解決したものの…
Confidential © CREATIVE SURVEY プロジェクトを通して⾒つけた予期せぬ課題‧反省点 • 現場の方々に浸透しなかった ◦ S&Mチームの上司にしか課題のヒアリングを行わなかった ◦
上司の方しか求めていなかった、スプシで十分だった • 現場レベルの人の巻き込みが足りなかった ◦ 他部署との連携は、自部署完結のプロジェクトに比べて障壁が増える ▪ (まずは自部署でデータ利活用の経験を積んでも良かった) • ヒアリングからダッシュボード作成を行うまでに時間が掛かってしまった ◦ S&Mチームのタイムリーな要求分析に応えられなかった • データエンジニア業務とアナリスト業務の両立がかなり大変 ◦ 工数増え、時間が掛かった主な原因の一つ
24 5. 今後しくじらないために
Confidential © CREATIVE SURVEY データエンジニア業務とデータアナリスト業務を分担する ⇨セルフサービスモデルの導入 今後しくじらないために
Confidential © CREATIVE SURVEY セルフサービスモデルの取り入れ方 • 基盤整理までの業務(データパイプライン、データウェアハウス層の整備) ◦ 主な担当:データエンジニア •
それ以降のデータ分析業務 ◦ 主な担当:各現場の担当者 今後しくじらないために
Confidential © CREATIVE SURVEY セルフサービスモデルの取り入れ方 • 基盤整理までの業務(データパイプライン、データウェアハウス層の整備) ◦ 主な担当:データエンジニア ◦
実際にやったこと:dbtの導入 • それ以降のデータ分析業務 ◦ 主な担当:各現場の担当者 ◦ 実際にやったこと:ダッシュボード作成 今後しくじらないために
Confidential © CREATIVE SURVEY データエンジニアがやるべきこと(基盤整備で⽬指す⽅向性) • コスト削減 • 素早くデータを届けられるようなパイプライン作り •
データの質の向上
Confidential © CREATIVE SURVEY dbtの実装 • RDSデータソースを整える ◦ 開発部や他部署の⽅が使いやすいようにデータソースを整備 •
Incrementalモデルを用いたデータの増分更新の実装 ◦ 洗い替えによるデータロードのコスト削減 データパイプラインの整備
Confidential © CREATIVE SURVEY • DATALAKE層をSnowflakeからS3へ移行 ◦ Snowflake上にDATALAKE層が必要なケースに遭遇しない ◦ データロードのコスト削減
◦ COPY句の利用→dbt×EXTERNAL STAGEの利用へ データウェアハウス層
Confidential © CREATIVE SURVEY コストが掛かって⽇時更 新できなかった dbtの導⼊(DATALAKE層をS3に移⾏前)
Confidential © CREATIVE SURVEY DATALAKE層 (Snowflake)に掛かって いたコストが0に ⽇時更新が可能になった dbtの導⼊(DATALAKE層をS3に移⾏後)
Confidential © CREATIVE SURVEY 基盤の整備の結果、現場の担当者が実際にやったこと 各現場の担当者 ⇨実際にやったこと:ダッシュボード作成 今後しくじらないために
Confidential © CREATIVE SURVEY カスタマーサクセス(CS)の⽅と連携しているプロジェクト • CSのデータ活⽤を進めることができるようになった 現場の⽅がSnowSightを⽤いて、ダッシュボードを⾃作してもらった 解約リスク指標のモニタリング
Confidential © CREATIVE SURVEY • 顧客のプロダクトデータダッシュボード作成のフローの仕組み化 1. ローカル環境でSQLが通ることを確認 2. 「依頼に必要な項⽬」を埋めてデータチームとSREチームの担当者にメンション
3. データチームのSQLレビューを経て、必要があれば現場に修正依頼を出す 4. 開発の⽅でsnowflakeへテーブルのインポート、完了次第、開発から連絡 • 依頼に必要な項⽬ a. 解析に利⽤する⽬的 i. 例:顧客の解約リスクの定量化のために、ユーザーのログイン頻度をヘルススコアに追加したいため。 b. インポートしてほしいテーブル c. 実⾏する予定のSQL(Docker環境で通ることが確認できたSQL) d. いつまでに必要か(期限) 実際にCSの⽅々とやったこと
36 6. 今後の展望
Confidential © CREATIVE SURVEY データ分析基盤の整備 • プロダクトにデータ分析基盤を活用する動きを進めている • データソースの拡充 ◦
Salesforce上のデータソースもdbtで管理できるように データ利活用の促進 • データ分析基盤の布教 • CSだけでなく、他部署にもデータ活用を推進する 今後の展望
None