スタートアップのデータ基盤2年目におけるデータプロダクトへの挑戦 / challenge-to-data-products-in-the-second-year-of-startup-data-platform

2024年12月10日（火） 01(zeroONE) 2024にに弊社エンジニア大澤が発表した際の資料です。

イベントタイトル：
01(zeroONE) 2024
https://primenumber.com/01/2024/timetable/D-2

Transcript

1. スタートアップのデータ基盤2年⽬における データプロダクトへの挑戦 1 クリエイティブサーベイ株式会社 プロダクト本部 開発部 ⼤澤 秀⼀ 2024.12.10 / 01(zeroONE) 2024
2. ⼤澤 秀⼀（Ohsawa Shuichi） 2015年にSansan株式会社へ⼊社、 名刺データ化システムのインフラ運⽤、CI/CD基盤の改善、 AWS/GCPのマルチクラウド、クラウドコスト最適化業務に従事。 途中からデータエンジニアチームリーダーとして 全社横断のデータ分析基盤の構築を⾏った後に、 2024年1⽉からグループ会社のクリエイティブサーベイに出向し SREとデータ基盤の両⽅を担当している。 @ohsawa0515 @ohsawa0515 クリエイティブサーベイ株式会社 プロダクト本部 開発部 SRE Amazon Web Servicesコスト最適化⼊⾨ （インプレスR&D）
3. Confidential © CREATIVE SURVEY ミッション 3 顧客の声を 機会に変える あらゆることが急速にデジタルに移⾏する中､少し前まで⽬の前にいた顧 客と画⾯越しに会話することも増えてきました。 CRMやMAの普及と共に属性データや⾏動データを元に顧客に アプローチすることが当たり前になった現在においても､ 顧客不在で事業が成⻑し続けることは困難です。 いつの時代も､顧客の声は事業に成⻑のきっかけをもたらしてきました。 私たちは顧客の声を事業の成⻑の機会に変えていきます。 Confidential © CREATIVE SURVEY
4. Confidential © CREATIVE SURVEY 概要 主要株主 許認可 会社概要 4 会社名：クリエイティブサーベイ株式会社 設 ⽴：2014年7⽉ 代表取締役：⽯野 真吾 Sansan株式会社 、株式会社フォーデジット プライバシーマーク（Pマーク）取得 国際規格ISO27001（ISMS）取得 Salesforce 正規パートナー Confidential © CREATIVE SURVEY 4
5. Confidential © CREATIVE SURVEY 2つのブランドでマルチチャネルフォームを提供
6. Confidential © CREATIVE SURVEY • 社内外におけるデータ利活⽤の全体像 • 今年やったこと • データ基盤2年⽬の課題と今後 • まとめ アジェンダ 6
7. Confidential © CREATIVE SURVEY 社内外におけるデータ利活⽤の全体像 7 データ連携 ETL ETL データ レイク データソース 可視化ツール データプロダクト データ基盤 DWH データ マート データ利活⽤ Salesforce
8. Confidential © CREATIVE SURVEY 今年やったこと（1）〜 dbt testの導⼊ 〜 • データソースをデータ基盤に取り込む前後でズレがないかをテストしたい • すべてのカラムとレコードにテスト実施すると時間とコストがかかる • データソースと Model の類似度を測るカスタム Generic Test を作成 ◦ それぞれの MinHash を求めて、類似度を測る ◦ 実⾏時間が対象テーブルのカラム数に⽐例しないでテストできる ◦ ビジネス要件を満たす最低限のデータ品質を担保するために unique と not_null を適⽤ ◦ 約90億レコードのデータソースに対して40分弱でチェックできるようになった
9. Confidential © CREATIVE SURVEY 今年やったこと（2）〜 データ基盤のCI/CDフロー整備 〜 9 GitHub Actions データ基盤 （本番/ステージング） 開発 Pull Request作成 Plan実⾏ マージ データ基盤 （ステージング） Apply実⾏
10. Confidential © CREATIVE SURVEY 今年やったこと（2）〜 データ基盤のCI/CDフロー整備 〜 10 GitHub Actions リリース Publish release タグ付け (vX.X.X) データ基盤 （本番） Apply実⾏
11. データ基盤2年⽬の課題
12. Confidential © CREATIVE SURVEY 課題1: データ基盤に費やせるリソースが限定的 12 • ヒト（時間）を節約するには、便利なマネージドなサービスを活⽤したいが、 カネがかかる • カネを節約するには、⾃分で仕組みを作る必要があるが、時間を費やせない • 50名強のスタートアップで⼤掛かりなデータ基盤は重い • データ基盤に割く時間が取れない • データ分析する⼈‧できる⼈が少ない • コストは最⼩限に求められがち • 費⽤対効果に⾒合わず、縮退を求められがち ヒト カネ
13. Confidential © CREATIVE SURVEY 課題1: どうすればよかったか 13 • 必要最⼩なデータ基盤の発展 ◦ 限られたリソースで最⼤限の成果を出すために知恵を絞る ◦ 本当に必要なことだけに注⼒する ▪ データモデリング、ELTツールの導⼊、作業の⾃動化などやりたいことがたくさん ▪ 本当にやらないとダメになる‧運⽤破綻する前段階になったらやる ▪ 場当たり（突貫）と仕組み化（恒久）のトレードオフ • 守るべきところは守る ◦ 権限管理、データガバナンス
14. Confidential © CREATIVE SURVEY 課題2: プロダクトの価値提供が優先される 14 Mission『顧客の声を、機会に変える』 • あらゆる顧客接点で、顧客の声をプロダクトの価値提供に変えていく ◦ ビジネスサイドからのヒアリング、全社員で展⽰会参加、顧客インタビュー etc • Mission達成に向けて、プロダクト開発は、開発部とビジネスサイドが⼀体に なって取り組んでいく • プロダクトの価値提供 >>> データ基盤が提供する価値 ◦ 課題1に関連するが、データ基盤が提供する価値向上に費やせていない ◦ ペインポイントを⾒いだせず、Nice to haveの領域に留まってしまう
15. Confidential © CREATIVE SURVEY 課題2: どうすればよかったのか 15 顧客にプロダクトをより良くつかってもらうためのデータプロダクトを提供 • 顧客⾃⾝がプロダクトのデータを活⽤するための機能 • データ活⽤に関する顧客からの声（ペインポイント）から、 本当に必要なものを提供していく そのために必要なこと チーム横断の開発体制 データエンジニアチームだけでなく 開発部全体を巻き込んでいく 安⼼して使ってもらうための データ基盤整備 データ信頼性の担保、SLO/SLIの策定etc
16. Confidential © CREATIVE SURVEY • クリエイティブサーベイにおけるデータ基盤2年⽬でやったこと‧課題を紹介 • 『顧客の声を、機会に変える』ために、顧客がデータ活⽤するための データプロダクトの提供と、それを⽀えるデータ基盤を整備する必要がある • スタートアップのフェーズならではの課題ではあるが、良い意味で データエンジニアという枠に縛られず、データ基盤やデータプロダクト開発に 挑戦でき、事業に貢献できる貴重なフェーズである まとめ 16