Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データマネジメント新年会 〜去年のしくじりを共有し、正月ボケを解消する〜
Search
CREATIVE SURVEY Inc.
January 11, 2024
Technology
1
860
データマネジメント新年会 〜去年のしくじりを共有し、正月ボケを解消する〜
2024年 1月 10日(水)にSansan・クリエイティブサーベイ・Uniposの3社で開催したイベントに弊社インターン永井が登壇した際の資料です。
CREATIVE SURVEY Inc.
January 11, 2024
Tweet
Share
More Decks by CREATIVE SURVEY Inc.
See All by CREATIVE SURVEY Inc.
プロダクトの持続的成長を実現するための開発体制作り
creativesurvey
0
74
dbt testを導入した話
creativesurvey
0
450
SnowflakeのCI/CDフローを整備した話 / snowflake-cicd-flow-maintenance
creativesurvey
0
700
【技術負債も解消しつつ顧客価値を最大化】ストリームアラインドチームでの挑戦と成果
creativesurvey
0
33
プロダクトエンジニアを支えるSREの動きと理想
creativesurvey
0
210
クリエイティブサーベイ社でのStreamlit活用事例
creativesurvey
0
270
STI導入で開発スピードアップ!一元管理で外部連携をスムーズに
creativesurvey
0
55
新規機能の開発における_早く価値を届ける開発の取り組み.pdf
creativesurvey
0
130
入社1ヶ月目でSREチームの方針と あり方を見直している話
creativesurvey
0
1.2k
Other Decks in Technology
See All in Technology
Perlで始めるeBPF: 自作Loaderの作り方 / Getting started with eBPF in Perl_How to create your own Loader
takehaya
1
830
LeSSはスクラムではない!?LeSSにおけるスクラムマスターの振る舞い方とは / Scrum Master Behavior in LeSS
toma_sm
0
170
tenntennはなんでnewmoにnew社したの? - YAPC::Hakodate 2024
tenntenn
PRO
0
180
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
390
小さな勉強会の始め方、広げ方、あるいは友達の作り方 / How to Start, Grow, and Build Connections with Small Study Groups
ar_tama
6
2.5k
【shownet.conf_】ネットワークテストの最適化と利便性の追求
shownet
PRO
0
320
UE5の雑多なテク
ryuichikawano
0
370
C# 13 / .NET 9 の新機能 (RC 1 時点)
nenonaninu
1
1.3k
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
2
220
Oracle Database 23ai 新機能#4 Application Continuity
oracle4engineer
PRO
0
120
AI時代のアジャイル開発(XP祭り2024版) / Agile Development in the AI Era in XPJUG
takaking22
13
3.6k
Semantic Kernel の Agent 機能試してみた!
okazuki
1
140
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
Facilitating Awesome Meetings
lara
49
6k
The Invisible Customer
myddelton
119
13k
GraphQLとの向き合い方2022年版
quramy
43
13k
Six Lessons from altMBA
skipperchong
26
3.4k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
110
6.9k
Ruby is Unlike a Banana
tanoku
96
11k
A better future with KSS
kneath
237
17k
Robots, Beer and Maslow
schacon
PRO
157
8.2k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
How GitHub (no longer) Works
holman
311
140k
Transcript
データエンジニアが アナリスト業務で得た学びと セルフサービスモデルの実現 開発部 インターン生 永井 僚
Confidential © CREATIVE SURVEY Outline 1. 導⼊ 2. 去年いちばんのしくじり 3.
しくじりの背景 4. しくじりについての深掘り 5. 今後しくじらないために 6. 今後の展望
3 1. 導⼊
© 2023 CREATIVE SURVEY INC. All Rights Reserved. 自己紹介 永井僚
クリエイティブサーベイ株式会社 開発部インターン生 2019年4月明治大学総合数理学部入学。 2023年4月同大学院先端数理科学研究科入学。 ロボットシステムインテグレーション研究室にて、移動ロ ボットや深層強化学習、ネットワークロボットに関する研 究を行っている。 2023年1月よりエンジニアインターン生1号として現職。
Confidential © CREATIVE SURVEY 概要 主要株主 許認可 会社概要 会社名:クリエイティブサーベイ株式会社 設 ⽴:2014年7⽉
代表取締役:⽯野 真吾 Sansan株式会社 、株式会社フォーデジット プライバシーマーク(Pマーク)取得 国際規格ISO27001(ISMS)取得 Salesforce 正規パートナー Confidential © CREATIVE SURVEY
Confidential © CREATIVE SURVEY あらゆる顧客接点で営業機会を逃さない「Ask One」 お客様の⽤途や利⽤シーンに合わせて2つの製品ラインナップを提供しています。
Confidential © CREATIVE SURVEY 既に多くの企業様に、Ask Oneをご利⽤頂いております ※⼀部抜粋 ‧ 順不同 2023年10⽉現在
Confidential © CREATIVE SURVEY データチームとは • データ分析基盤の構築 ◦ プロダクトが保存しているDBのデータをデータ分析基盤に統合 •
データ利活⽤の促進に向けた動き ◦ 契約企業ごとの解約リスクのスコアリング ◦ ヒアリングからダッシュボード作成
Confidential © CREATIVE SURVEY データチームの紹介 是枝 達也 永井 僚 (Sansanの⼤澤秀⼀さんが2024より参加)
Confidential © CREATIVE SURVEY データ分析基盤のアーキテクチャ
11 2. 去年いちばんのしくじり
Confidential © CREATIVE SURVEY セールスとマーケティングチーム(S&M)向けの ダッシュボード作成プロジェクト がポシャったこと 去年いちばんのしくじりは...
Confidential © CREATIVE SURVEY 参画時期 2023年1月~2023年2月 (期間:2ヶ月) 担当工程 企画 /
要件定義 / 設計 / コーディング / 運用・保守 / データ分析 担当職種 データエンジニア / データアナリスト 去年いちばんのしくじりの概要
14 3. しくじりの背景
Confidential © CREATIVE SURVEY • S&Mの指標がクローズドだったため、S&Mチームの上司しか確認できない • メンバーが個別にスプレッドシートに書き出したダッシュボードを活用 ◦ 各人の業務負担の増加
◦ 現場の業務が増えていた S&Mチームのデータ分析上の主要な課題
Confidential © CREATIVE SURVEY データ分析基盤の整備とダッシュボード作成により 誰でも見られるダッシュボードを作ろう! 課題の解決のためのアプローチ
17 4. しくじりについての深掘り
Confidential © CREATIVE SURVEY S&Mチームの上司に課題のヒアリング • どういうダッシュボードが欲しいのか聞いた ダッシュボード作成に向けて取り組んだこと
Confidential © CREATIVE SURVEY 現場がダッシュボードで欲しい情報 • 時系列で顧客の行動が追えること その他の課題 • 上司しかダッシュボードが見られない(重要)
◦ みんなが見られるダッシュボードを作成したいと感じた ヒアリングから⾒つかった課題
Confidential © CREATIVE SURVEY ダッシュボード作成 • Amazon QuickSight上での可視化 ◦ トレンド分析とファネル分析のダッシュボードの作成
データ分析基盤の整備 • 60名規模が扱うデータ分析基盤の構築 ◦ データの自動更新 課題に対するアプローチ
Confidential © CREATIVE SURVEY • トレンド分析とファネル分析による顧客行動の可視化 Amazon QuickSightを使⽤した顧客⾏動の可視化
Confidential © CREATIVE SURVEY • 時系列での顧客行動の予測 • ダッシュボードの属人化の撤廃 という当初掲げていた課題は解決したものの、現場の方々に浸透しなかった 当初掲げていた課題は解決したものの…
Confidential © CREATIVE SURVEY プロジェクトを通して⾒つけた予期せぬ課題‧反省点 • 現場の方々に浸透しなかった ◦ S&Mチームの上司にしか課題のヒアリングを行わなかった ◦
上司の方しか求めていなかった、スプシで十分だった • 現場レベルの人の巻き込みが足りなかった ◦ 他部署との連携は、自部署完結のプロジェクトに比べて障壁が増える ▪ (まずは自部署でデータ利活用の経験を積んでも良かった) • ヒアリングからダッシュボード作成を行うまでに時間が掛かってしまった ◦ S&Mチームのタイムリーな要求分析に応えられなかった • データエンジニア業務とアナリスト業務の両立がかなり大変 ◦ 工数増え、時間が掛かった主な原因の一つ
24 5. 今後しくじらないために
Confidential © CREATIVE SURVEY データエンジニア業務とデータアナリスト業務を分担する ⇨セルフサービスモデルの導入 今後しくじらないために
Confidential © CREATIVE SURVEY セルフサービスモデルの取り入れ方 • 基盤整理までの業務(データパイプライン、データウェアハウス層の整備) ◦ 主な担当:データエンジニア •
それ以降のデータ分析業務 ◦ 主な担当:各現場の担当者 今後しくじらないために
Confidential © CREATIVE SURVEY セルフサービスモデルの取り入れ方 • 基盤整理までの業務(データパイプライン、データウェアハウス層の整備) ◦ 主な担当:データエンジニア ◦
実際にやったこと:dbtの導入 • それ以降のデータ分析業務 ◦ 主な担当:各現場の担当者 ◦ 実際にやったこと:ダッシュボード作成 今後しくじらないために
Confidential © CREATIVE SURVEY データエンジニアがやるべきこと(基盤整備で⽬指す⽅向性) • コスト削減 • 素早くデータを届けられるようなパイプライン作り •
データの質の向上
Confidential © CREATIVE SURVEY dbtの実装 • RDSデータソースを整える ◦ 開発部や他部署の⽅が使いやすいようにデータソースを整備 •
Incrementalモデルを用いたデータの増分更新の実装 ◦ 洗い替えによるデータロードのコスト削減 データパイプラインの整備
Confidential © CREATIVE SURVEY • DATALAKE層をSnowflakeからS3へ移行 ◦ Snowflake上にDATALAKE層が必要なケースに遭遇しない ◦ データロードのコスト削減
◦ COPY句の利用→dbt×EXTERNAL STAGEの利用へ データウェアハウス層
Confidential © CREATIVE SURVEY コストが掛かって⽇時更 新できなかった dbtの導⼊(DATALAKE層をS3に移⾏前)
Confidential © CREATIVE SURVEY DATALAKE層 (Snowflake)に掛かって いたコストが0に ⽇時更新が可能になった dbtの導⼊(DATALAKE層をS3に移⾏後)
Confidential © CREATIVE SURVEY 基盤の整備の結果、現場の担当者が実際にやったこと 各現場の担当者 ⇨実際にやったこと:ダッシュボード作成 今後しくじらないために
Confidential © CREATIVE SURVEY カスタマーサクセス(CS)の⽅と連携しているプロジェクト • CSのデータ活⽤を進めることができるようになった 現場の⽅がSnowSightを⽤いて、ダッシュボードを⾃作してもらった 解約リスク指標のモニタリング
Confidential © CREATIVE SURVEY • 顧客のプロダクトデータダッシュボード作成のフローの仕組み化 1. ローカル環境でSQLが通ることを確認 2. 「依頼に必要な項⽬」を埋めてデータチームとSREチームの担当者にメンション
3. データチームのSQLレビューを経て、必要があれば現場に修正依頼を出す 4. 開発の⽅でsnowflakeへテーブルのインポート、完了次第、開発から連絡 • 依頼に必要な項⽬ a. 解析に利⽤する⽬的 i. 例:顧客の解約リスクの定量化のために、ユーザーのログイン頻度をヘルススコアに追加したいため。 b. インポートしてほしいテーブル c. 実⾏する予定のSQL(Docker環境で通ることが確認できたSQL) d. いつまでに必要か(期限) 実際にCSの⽅々とやったこと
36 6. 今後の展望
Confidential © CREATIVE SURVEY データ分析基盤の整備 • プロダクトにデータ分析基盤を活用する動きを進めている • データソースの拡充 ◦
Salesforce上のデータソースもdbtで管理できるように データ利活用の促進 • データ分析基盤の布教 • CSだけでなく、他部署にもデータ活用を推進する 今後の展望
None