Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データマネジメント新年会 〜去年のしくじりを共有し、正月ボケを解消する〜
Search
CREATIVE SURVEY Inc.
January 11, 2024
Technology
1
920
データマネジメント新年会 〜去年のしくじりを共有し、正月ボケを解消する〜
2024年 1月 10日(水)にSansan・クリエイティブサーベイ・Uniposの3社で開催したイベントに弊社インターン永井が登壇した際の資料です。
CREATIVE SURVEY Inc.
January 11, 2024
Tweet
Share
More Decks by CREATIVE SURVEY Inc.
See All by CREATIVE SURVEY Inc.
スタートアップのデータ基盤2年目におけるデータプロダクトへの挑戦 / challenge-to-data-products-in-the-second-year-of-startup-data-platform
creativesurvey
0
41
プロダクトの持続的成長を実現するための開発体制作り
creativesurvey
0
260
dbt testを導入した話
creativesurvey
0
580
SnowflakeのCI/CDフローを整備した話 / snowflake-cicd-flow-maintenance
creativesurvey
0
890
【技術負債も解消しつつ顧客価値を最大化】ストリームアラインドチームでの挑戦と成果
creativesurvey
0
52
プロダクトエンジニアを支えるSREの動きと理想
creativesurvey
0
280
クリエイティブサーベイ社でのStreamlit活用事例
creativesurvey
0
340
STI導入で開発スピードアップ!一元管理で外部連携をスムーズに
creativesurvey
0
71
新規機能の開発における_早く価値を届ける開発の取り組み.pdf
creativesurvey
0
140
Other Decks in Technology
See All in Technology
どちらを使う?GitHub or Azure DevOps Ver. 24H2
kkamegawa
0
600
Microsoft Azure全冠になってみた ~アレを使い倒した者が試験を制す!?~/Obtained all Microsoft Azure certifications Those who use "that" to the full will win the exam! ?
yuj1osm
1
110
フロントエンド設計にモブ設計を導入してみた / 20241212_cloudsign_TechFrontMeetup
bengo4com
0
1.9k
AIのコンプラは何故しんどい?
shujisado
1
190
AWS re:Invent 2024で発表された コードを書く開発者向け機能について
maruto
0
180
WACATE2024冬セッション資料(ユーザビリティ)
scarletplover
0
190
How to be an AWS Community Builder | 君もAWS Community Builderになろう!〜2024 冬 CB募集直前対策編?!〜
coosuke
PRO
2
2.8k
2024年にチャレンジしたことを振り返るぞ
mitchan
0
130
AI時代のデータセンターネットワーク
lycorptech_jp
PRO
1
280
[Ruby] Develop a Morse Code Learning Gem & Beep from Strings
oguressive
1
150
podman_update_2024-12
orimanabu
1
260
NilAway による静的解析で「10 億ドル」を節約する #kyotogo / Kyoto Go 56th
ytaka23
3
370
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
27
5.3k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Building Better People: How to give real-time feedback that sticks.
wjessup
365
19k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
Rebuilding a faster, lazier Slack
samanthasiow
79
8.7k
Designing for humans not robots
tammielis
250
25k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
229
52k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
48
2.2k
Keith and Marios Guide to Fast Websites
keithpitt
410
22k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
810
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
BBQ
matthewcrist
85
9.4k
Transcript
データエンジニアが アナリスト業務で得た学びと セルフサービスモデルの実現 開発部 インターン生 永井 僚
Confidential © CREATIVE SURVEY Outline 1. 導⼊ 2. 去年いちばんのしくじり 3.
しくじりの背景 4. しくじりについての深掘り 5. 今後しくじらないために 6. 今後の展望
3 1. 導⼊
© 2023 CREATIVE SURVEY INC. All Rights Reserved. 自己紹介 永井僚
クリエイティブサーベイ株式会社 開発部インターン生 2019年4月明治大学総合数理学部入学。 2023年4月同大学院先端数理科学研究科入学。 ロボットシステムインテグレーション研究室にて、移動ロ ボットや深層強化学習、ネットワークロボットに関する研 究を行っている。 2023年1月よりエンジニアインターン生1号として現職。
Confidential © CREATIVE SURVEY 概要 主要株主 許認可 会社概要 会社名:クリエイティブサーベイ株式会社 設 ⽴:2014年7⽉
代表取締役:⽯野 真吾 Sansan株式会社 、株式会社フォーデジット プライバシーマーク(Pマーク)取得 国際規格ISO27001(ISMS)取得 Salesforce 正規パートナー Confidential © CREATIVE SURVEY
Confidential © CREATIVE SURVEY あらゆる顧客接点で営業機会を逃さない「Ask One」 お客様の⽤途や利⽤シーンに合わせて2つの製品ラインナップを提供しています。
Confidential © CREATIVE SURVEY 既に多くの企業様に、Ask Oneをご利⽤頂いております ※⼀部抜粋 ‧ 順不同 2023年10⽉現在
Confidential © CREATIVE SURVEY データチームとは • データ分析基盤の構築 ◦ プロダクトが保存しているDBのデータをデータ分析基盤に統合 •
データ利活⽤の促進に向けた動き ◦ 契約企業ごとの解約リスクのスコアリング ◦ ヒアリングからダッシュボード作成
Confidential © CREATIVE SURVEY データチームの紹介 是枝 達也 永井 僚 (Sansanの⼤澤秀⼀さんが2024より参加)
Confidential © CREATIVE SURVEY データ分析基盤のアーキテクチャ
11 2. 去年いちばんのしくじり
Confidential © CREATIVE SURVEY セールスとマーケティングチーム(S&M)向けの ダッシュボード作成プロジェクト がポシャったこと 去年いちばんのしくじりは...
Confidential © CREATIVE SURVEY 参画時期 2023年1月~2023年2月 (期間:2ヶ月) 担当工程 企画 /
要件定義 / 設計 / コーディング / 運用・保守 / データ分析 担当職種 データエンジニア / データアナリスト 去年いちばんのしくじりの概要
14 3. しくじりの背景
Confidential © CREATIVE SURVEY • S&Mの指標がクローズドだったため、S&Mチームの上司しか確認できない • メンバーが個別にスプレッドシートに書き出したダッシュボードを活用 ◦ 各人の業務負担の増加
◦ 現場の業務が増えていた S&Mチームのデータ分析上の主要な課題
Confidential © CREATIVE SURVEY データ分析基盤の整備とダッシュボード作成により 誰でも見られるダッシュボードを作ろう! 課題の解決のためのアプローチ
17 4. しくじりについての深掘り
Confidential © CREATIVE SURVEY S&Mチームの上司に課題のヒアリング • どういうダッシュボードが欲しいのか聞いた ダッシュボード作成に向けて取り組んだこと
Confidential © CREATIVE SURVEY 現場がダッシュボードで欲しい情報 • 時系列で顧客の行動が追えること その他の課題 • 上司しかダッシュボードが見られない(重要)
◦ みんなが見られるダッシュボードを作成したいと感じた ヒアリングから⾒つかった課題
Confidential © CREATIVE SURVEY ダッシュボード作成 • Amazon QuickSight上での可視化 ◦ トレンド分析とファネル分析のダッシュボードの作成
データ分析基盤の整備 • 60名規模が扱うデータ分析基盤の構築 ◦ データの自動更新 課題に対するアプローチ
Confidential © CREATIVE SURVEY • トレンド分析とファネル分析による顧客行動の可視化 Amazon QuickSightを使⽤した顧客⾏動の可視化
Confidential © CREATIVE SURVEY • 時系列での顧客行動の予測 • ダッシュボードの属人化の撤廃 という当初掲げていた課題は解決したものの、現場の方々に浸透しなかった 当初掲げていた課題は解決したものの…
Confidential © CREATIVE SURVEY プロジェクトを通して⾒つけた予期せぬ課題‧反省点 • 現場の方々に浸透しなかった ◦ S&Mチームの上司にしか課題のヒアリングを行わなかった ◦
上司の方しか求めていなかった、スプシで十分だった • 現場レベルの人の巻き込みが足りなかった ◦ 他部署との連携は、自部署完結のプロジェクトに比べて障壁が増える ▪ (まずは自部署でデータ利活用の経験を積んでも良かった) • ヒアリングからダッシュボード作成を行うまでに時間が掛かってしまった ◦ S&Mチームのタイムリーな要求分析に応えられなかった • データエンジニア業務とアナリスト業務の両立がかなり大変 ◦ 工数増え、時間が掛かった主な原因の一つ
24 5. 今後しくじらないために
Confidential © CREATIVE SURVEY データエンジニア業務とデータアナリスト業務を分担する ⇨セルフサービスモデルの導入 今後しくじらないために
Confidential © CREATIVE SURVEY セルフサービスモデルの取り入れ方 • 基盤整理までの業務(データパイプライン、データウェアハウス層の整備) ◦ 主な担当:データエンジニア •
それ以降のデータ分析業務 ◦ 主な担当:各現場の担当者 今後しくじらないために
Confidential © CREATIVE SURVEY セルフサービスモデルの取り入れ方 • 基盤整理までの業務(データパイプライン、データウェアハウス層の整備) ◦ 主な担当:データエンジニア ◦
実際にやったこと:dbtの導入 • それ以降のデータ分析業務 ◦ 主な担当:各現場の担当者 ◦ 実際にやったこと:ダッシュボード作成 今後しくじらないために
Confidential © CREATIVE SURVEY データエンジニアがやるべきこと(基盤整備で⽬指す⽅向性) • コスト削減 • 素早くデータを届けられるようなパイプライン作り •
データの質の向上
Confidential © CREATIVE SURVEY dbtの実装 • RDSデータソースを整える ◦ 開発部や他部署の⽅が使いやすいようにデータソースを整備 •
Incrementalモデルを用いたデータの増分更新の実装 ◦ 洗い替えによるデータロードのコスト削減 データパイプラインの整備
Confidential © CREATIVE SURVEY • DATALAKE層をSnowflakeからS3へ移行 ◦ Snowflake上にDATALAKE層が必要なケースに遭遇しない ◦ データロードのコスト削減
◦ COPY句の利用→dbt×EXTERNAL STAGEの利用へ データウェアハウス層
Confidential © CREATIVE SURVEY コストが掛かって⽇時更 新できなかった dbtの導⼊(DATALAKE層をS3に移⾏前)
Confidential © CREATIVE SURVEY DATALAKE層 (Snowflake)に掛かって いたコストが0に ⽇時更新が可能になった dbtの導⼊(DATALAKE層をS3に移⾏後)
Confidential © CREATIVE SURVEY 基盤の整備の結果、現場の担当者が実際にやったこと 各現場の担当者 ⇨実際にやったこと:ダッシュボード作成 今後しくじらないために
Confidential © CREATIVE SURVEY カスタマーサクセス(CS)の⽅と連携しているプロジェクト • CSのデータ活⽤を進めることができるようになった 現場の⽅がSnowSightを⽤いて、ダッシュボードを⾃作してもらった 解約リスク指標のモニタリング
Confidential © CREATIVE SURVEY • 顧客のプロダクトデータダッシュボード作成のフローの仕組み化 1. ローカル環境でSQLが通ることを確認 2. 「依頼に必要な項⽬」を埋めてデータチームとSREチームの担当者にメンション
3. データチームのSQLレビューを経て、必要があれば現場に修正依頼を出す 4. 開発の⽅でsnowflakeへテーブルのインポート、完了次第、開発から連絡 • 依頼に必要な項⽬ a. 解析に利⽤する⽬的 i. 例:顧客の解約リスクの定量化のために、ユーザーのログイン頻度をヘルススコアに追加したいため。 b. インポートしてほしいテーブル c. 実⾏する予定のSQL(Docker環境で通ることが確認できたSQL) d. いつまでに必要か(期限) 実際にCSの⽅々とやったこと
36 6. 今後の展望
Confidential © CREATIVE SURVEY データ分析基盤の整備 • プロダクトにデータ分析基盤を活用する動きを進めている • データソースの拡充 ◦
Salesforce上のデータソースもdbtで管理できるように データ利活用の促進 • データ分析基盤の布教 • CSだけでなく、他部署にもデータ活用を推進する 今後の展望
None