再現性のある成果を出すデータエンジニアになりたい

2024/01/16に開催された「みんなの考えた最強のデータアーキテクチャ'24新春-最新版SP！」の登壇資料です
https://datatech-jp.connpass.com/event/301807/

Transcript

1. © Unipos Inc. All Rights Reserved. 再現性のある成果を出す データエンジニアになりたい Unipos株式会社 ゲンシュン 0
2. © Unipos Inc. All Rights Reserved. 本 ⽇ の お 品 書 き 1 l⾃⼰紹介 l現在のアーキテクチャに⾄った背景 lポエム n⽬的を何度も振り返ったり再設計しなきゃ n組織の⼒学使わないと難しそう lまとめ ※キャプチャとか録画とかwelcomeです〜 本⽇のお品書き
3. © Unipos Inc. All Rights Reserved. 将来の夢は化学者だったゲンシュンです ⾃ ⼰ 紹 介 2 ⻘酸カリ!
4. © Unipos Inc. All Rights Reserved. 現在はunipos株式会社コーポレート部CDP企画室のゲンシュンです。 ⾃ ⼰ 紹 介 3 2016年 2018年 2019年 2021年 2020年 フロントエンド エンジニア 新卒エンジニア 採⽤責任者 QAエンジニア PM データエンジニア イマココ!! 2023年
5. © Unipos Inc. All Rights Reserved. 現状のアーキテクチャに⾄るまで 4
6. © Unipos Inc. All Rights Reserved. 超初期フェーズ。何も無いのでデータをBQに集約させる。スケジュールクエリでBQから BQへ分析したいテーブルを作る。DataStudioで⾒る。 現 状 の ア ー キ テ ク チ ャ に ⾄ る ま で 5 すべてのデータを ここへ集約 分析したい情報.sqlを量産 プロダクト オーナー エンジニア アナリスト データ基盤
7. © Unipos Inc. All Rights Reserved. 分析対応とデータ⺠主化に伴い、BIツールと権限周りをLookerに任せる。 現 状 の ア ー キ テ ク チ ャ に ⾄ る ま で 6 すべてのデータを ここへ集約 アナリスト データ基盤 カスタマー サクセス プロダクト オーナー エンジニア
8. © Unipos Inc. All Rights Reserved. dbtを導⼊。DWHはすべてdbtで実装。 プロダクトサイド都合はdbt、bizサイド(分析)都合はLookerという責務で分離 現 状 の ア ー キ テ ク チ ャ に ⾄ る ま で 7 fctテーブル dimテーブル 集計テーブル すべてのデータを BQへ集約 データレイク データウェアハウス データマート
9. © Unipos Inc. All Rights Reserved. ビジネスサイドのデータサイロ化とデータ利活⽤への課題が急務になったため データ基盤チーム解散。CDP基盤の⽴ち上げ開始 現 状 の ア ー キ テ ク チ ャ に ⾄ る ま で 8 すべてのデータを BQへ集約 データレイク データウェアハウス データマート CDP基盤 サイロ化された データ群
10. © Unipos Inc. All Rights Reserved. データ基盤の成果とは 9
11. © Unipos Inc. All Rights Reserved. どんな課題を解消できたら成果が出たと判断出来るんだろう ポ エ ム 10 lデータを1つに統合できた時？ lデータ⺠主化の推進が⽣まれた時？
12. © Unipos Inc. All Rights Reserved. データ基盤ってかなり難しいPrjでは 11
13. © Unipos Inc. All Rights Reserved. 1部署1チームに仕事が閉じられない ポ エ ム 12 l仕事内容や領域が多岐にわたるのに、データエンジニアは少数 l価値がわかられづらい lテクいことして良いもの出来たのに、使われない l技術やデータだけでなく、組織そのものに向き合う必要がある
14. © Unipos Inc. All Rights Reserved. 誰が望む何を解決するもの？ 13
15. © Unipos Inc. All Rights Reserved. データ基盤の誕⽣理由を思い出す、振り返る、再設計する ポ エ ム 14 l誰かが、何かの課題を感じて、それの⼿段がデータ基盤であるはず n経営層や事業企画が、意思決定の判断材料に⽋けているので、統合したい nプロダクト部が、機能や施策の利⽤状況を網羅的に⾒るため、データ欲しい l現状が◯◯で未来△△になってると解消される ← この整理⼤事 nやるべきことの取捨選択と何のためにやってるんだっけ？を明確に
16. © Unipos Inc. All Rights Reserved. 組織の⼒学を借りなければ 15
17. © Unipos Inc. All Rights Reserved. データ基盤チームだけで完結できる仕事量じゃない..! ポ エ ム 16 lデータ構造→エンジニア nシステム改修やメタデータ管理に翻弄される l利⽤→マネージャー、現場メンバー n浸透施策やっても全然運⽤に乗らない l分析依頼→多⽅⾯ n分析依頼が多⽅⾯
18. © Unipos Inc. All Rights Reserved. 我々がつねにつらい状況はつくらないように組織の⼒学を使う 以下⾃分たちのケースです ポ エ ム 17 lプロダクト部がデータを元に機能開発意思決定したい課題 n開発プロセスに⼊り込む→開発フロー徹底 nデータ構造 lデータ⺠主化、POが⾃分で解析、CSがデータで判断 nlooker導⼊、データリテラシー、可視範囲 lビジネス側のサイロ化、事業企画が統合的に意思決定 n事業企画として依頼、当事者意識を持たせる、オペレーション設計
19. © Unipos Inc. All Rights Reserved. まとめ ま と め 18 l「誰が感じる課題で、何を解決したいんだろう」を整理 lAs is to Be → ⽬的達成 → 組織の⼒学を活⽤したい タスクとして実装しておしまい！にならないように！
20. © Unipos Inc. All Rights Reserved. ま と め 19 @gen_shun 趣味ブログ gen_shun gen_shun
21. © Unipos Inc. All Rights Reserved. +39pt Thank you! 20