全社横断データ活用推進のコツと その負債とのつき合い方

2024年10月17日に開催された「Yappli Tech Conference 2024」の発表資料です。

アーカイブ動画：https://www.youtube.com/watch?v=E1sVro3XB8c&t=28s

Transcript

1. Yappli Tech Conference 2024.10.17 全社横断データ活⽤推進のコツと その負債とのつき合い⽅
2. Speaker 開発統括本部 プロダクト開発本部 データサイエンス室 室⻑ 阿部 昌利 • 2020年4⽉にヤプリに⼊社 • 社会⼈当初からデータサイエンティスト としてキャリアを積む。データ活⽤キャ リア14年⽬
3. 今⽇のゴール • みなさまが別部⾨の⽅にデータ活⽤を持ちかけたくなる • その先のデータ活⽤の負債を引き受けたくなる
4. 全社横断的なデータ活⽤の例
5. アプリログ Cloud Run, DataFlow, Pub/Sub 社員 顧客 業務の賜物 データ転送 データマート作成 社内向け / 社外向け問わず共通のデータ基盤
6. アプリログ Cloud Run, DataFlow, Pub/Sub 社員 顧客 業務の賜物 データ転送 データマート作成 分析⽤データは BigQueryに集約 社内向け / 社外向け問わず共通のデータ基盤
7. アプリログ Cloud Run, DataFlow, Pub/Sub 社員 顧客 業務の賜物 データ転送 データマート作成 データ転送 120 データマート：170 ワークフロー：55 社内向け / 社外向け問わず共通のデータ基盤
8. DS室 現在4名。2020年4⽉からの毎年の⼈数推移は、 [1名 → 1名 → 1名 → 3名 → 4名]
9. DS室
10. マーケ‧セールスKPI可視化 01_全社横断的なデータ活⽤の例 1 • データ元：Salesforce レポート。成果物：Lookerダッシュボード • 作成期間：1ヶ⽉。使⽤年数：2021年1⽉〜 • ⽬的：リード獲得から商談進捗、受注、計上までを⼀気通貫で計測したい • ポイント ◦ ⾃社のSalesforceの使い⽅とデータ構造のキャッチアップ ◦ ビジネスロジックはナマモノなので、変化に対応しやすいつくりにする
11. DS室
12. 01_全社横断的なデータ活⽤の例 広告効果レポート⾃動化 2 • データ元：AppsFlyer、Apple Search Ads。成果物：Googleスプレッドシート • 作成期間：都度1~2⽇。使⽤年数：2022年12⽉〜 • ⽬的：広告運⽤代⾏サービスのレポーティング⾃動化による⼯数削減 • ポイント ◦ データ取得上のAPI制限に引っかかりやすいので、契約や仕様を確認する ◦ 売上拡⼤に貢献しやすいので、提案⽤に別途分析する
13. DS室
14. 01_全社横断的なデータ活⽤の例 オフィス出社⽇数レポーティング 3 • データ元：Googleドライブ[csvファイル]。成果物：Googleスプレッドシート • 作成期間：5⽇。使⽤年数：2024年2⽉〜 • ⽬的：⽉初に受領する従業員の⼊退館ログの集計⾃動化 • ポイント ◦ センシティブなデータなので権限管理を厳密にする ◦ 更新が⽉初の第1営業⽇と、カレンダー上は不規則なので、⼈事担当が TROCCOを⼿動更新する形で運⽤中（ボタンを押すだけなので簡単！）
15. DS室
16. 01_全社横断的なデータ活⽤の例 新プロダクトのデータ提供 4 • データ元：MySQL。成果物：Looker Studio • 作成期間：1ヶ⽉。使⽤年数：2023年9⽉〜 • ⽬的：新プロダクト「Yappli CRM」のアナリティクス提供 • ポイント ◦ サービス⽤のデータベースもTROCCOで簡単に連携 ◦ カスタマーサクセス担当と⼀緒に作成して、まずは社員が利⽤してブラッ シュアップ。それから顧客へ展開
17. データ活⽤推進にあたって 意識していること
18. ⼩規模なデータ活⽤の基本的な流れ 02_データ活⽤推進にあたって意識していること 要件を叶えるための データを集める Point 最終的にデータ更新 する場合に、無理な く運⽤できるように ⾒据えておく データ取得 分析‧アウト プット試作 アウトプット 確定‧作成 ワーク フロー化 試作したアウトプッ トを叩き台に⽤途や 施策を議論 Point 実データを⾒ながら でないと、⼈はイ メージを持つのが難 しい ダッシュボードやア ラートシステムな ど、データ活⽤に必 要な成果物を作成す る Point アクションに直結す る最⼩限のデータに する 定期的にデータを更 新するワークフロー を作成する Point 総じて「あれもこれ も」となりやすい が、⼀番肝となる データからクイック に始める
19. ⼩規模なデータ活⽤の基本的な流れ 02_データ活⽤推進にあたって意識していること 要件を叶えるための データを集める Point 最終的にデータ更新 する場合に、無理な く運⽤できるように ⾒据えておく 試作したアウトプッ トを叩き台に⽤途や 施策を議論 Point 実データを⾒ながら でないと、⼈はイ メージを持つのが難 しい ダッシュボードやア ラートシステムな ど、データ活⽤に必 要な成果物を作成す る Point アクションに直結す る最⼩限のデータに する 定期的にデータを更 新するワークフロー を作成する Point 総じて「あれもこれ も」となりやすい が、⼀番肝となる データからクイック に始める アナリティクス エンジニア リング エンジニア リング データ取得 分析‧アウト プット試作 アウトプット 確定‧作成 ワーク フロー化
20. ETLツールと分担 02_データ活⽤推進にあたって意識していること 得意 得意 得意 データ取得 分析‧アウト プット試作 アウトプット 確定‧作成 ワーク フロー化 データ元によって取 得の条件が異なり、 学習コストが高い 安定的に動き、メン テナンスしやすい仕 組みは開発コストが 高い データ活用
 メンバー
 
 
 
 ETLツール

21. データ活⽤は試⾏錯誤が重要。 コストの⾼い部分をETLツールに任せて、 データ活⽤を爆速化する 02_データ活⽤推進にあたって意識していること
22. データ 収集 ワーク フロー化 顧 客 顧 客 アウト プット 社内 ニーズ ヒアリング 相談 1. エンジニアリング ツールの⼒で⼯数を削減しやすい 3. エンジニアリング ツールの⼒で⼯数を削減しやすい 2. アナリティクス エンジニアリング部分を 省⼒化できていれば、こ のパートに注⼒してサイ クルを重ねやすい。その ためのTipsを次ページから 紹介します データ組織の⼈数‧予算拡⼤。更なるデータ活⽤ サイクルが回るに 連れて、社内の⾵向きが だんだん変わる
23. 全社に対してデータを発信する 場所をつくる Tips 1 02_データ活⽤推進にあたって意識していること
24. Tips 1. データの発信場所をつくる 02_データ活⽤推進にあたって意識していること 例）Slackチャンネルでニュースを発信 例）締め会で発表枠をもらう 「あいつらにデータを渡せば何かやってくれそう」の ポジションを確⽴する
25. ⾃分が意思決定者のつもりで、 成果物を作成する Tips 2 02_データ活⽤推進にあたって意識していること
26. Tips 2. 意思決定できるデータ活⽤をする 02_データ活⽤推進にあたって意識していること 基本的に、ネクストアクションとセットにして成果物を渡す。 そうすると、現場で役⽴つデータ活⽤を積み上げられる。相談が あった場合も「⾔われたまま出す」は⼤体NG。まずヒアリングする メンションする ネクストアクションの ためのリンクを貼る
27. マネタイズに結びつく データ活⽤を実現する or 計画を描く ※間接的でも成果として認められればOK Tips 3 02_データ活⽤推進にあたって意識していること
28. アプリログ Cloud Run, DataFlow, Pub/Sub 社員 顧客 業務の賜物 社内外向けのデータアウトプットにTROCCOを活⽤
29. 無償 有償 CMS ダッシュボード Yappli 管理画⾯のトップに 表⽰されるダッシュボード Yappli Analytics アプリログを網羅した分析や、 機能別に特化した分析が可能な ダッシュボード。CRM版もあり Yappli Data Hub アプリ内の⾏動データや属性データを ユーザ単位で分析するためのデータ連携や、 カスタムダッシュボードのサービス 内製のデータ送信機構 & 内製 顧客向けのログ分析サービスを開発‧運⽤ プロフィットセンターとしての価値を⽰すと活動しやすくなる
30. データ活⽤推進に まつわる負債
31. データ負債は⼤きく2種類あると 考えています 03_データ活⽤推進にまつわる負債
32. データ基盤⾃体の技術的負債 1 • データのワークフローや技術選定における負債  例）テーブルにパーティションやクラスターを設定しておらず、不要なコストがかかっている  例）集計結果をインサートできるテーブルを洗い替えで更新しており、コストが増え続けている  例）本来マスタで対応すべき箇所を、ハードコーディングしてDRY原則に反している データ基盤に罪はないが、データ基盤で対応が求められる負債 2 03_データ活⽤推進にまつわる負債 • 当時リーズナブルな⽅針でデータ活⽤を実施したが、現在は負債に なってしまったものたち。負債と対応例は次ページ以降 • この負債への対応の仕⽅に正解はない • データ活⽤組織のつらみや嬉しみに直結しやすい • ⼀⽅、データ活⽤組織の社内のおけるプレゼンスにも影響する
33. データ基盤⾃体の技術的負債 1 • データのワークフローや技術選定における負債  例）テーブルにパーティションやクラスターを設定しておらず、不要なコストがかかっている  例）集計結果をインサートできるテーブルを洗い替えで更新しており、コストが増え続けている  例）本来マスタで対応すべき箇所を、ハードコーディングしてDRY原則に反している データ基盤に罪はないが、データ基盤で対応が求められる負債 2 • 当時リーズナブルな⽅針でデータ活⽤を実施したが、現在は負債に なってしまったものたち。負債と対応例は次ページ以降 • この負債への対応の仕⽅に正解はない • データ活⽤組織のつらみや嬉しみに直結しやすい • ⼀⽅、データ活⽤組織の社内のおけるプレゼンスにも影響する 03_データ活⽤推進にまつわる負債 全社的に データ活⽤を 推進するほど 貯まりやすい
34. データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債 ＜過去の意思決定に起因＞ お⾦で解決してデータを取 得していたが、会社の経済 状況が悪化したので、内製 にしたい
35. データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債 ＜過去の意思決定に起因＞ お⾦で解決してデータを取 得していたが、会社の経済 状況が悪化したので、内製 にしたい トラッキングの基盤 をGA（UA）から内 製基盤へ
36. データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債 ＜過去の意思決定に起因＞ お⾦で解決してデータを取 得していたが、会社の経済 状況が悪化したので、内製 にしたい ＜連携システムに起因＞ 関係システムの運⽤⽅法が データ活⽤に適しておら ず、必要なデータを得るた めに、複雑な⼯程が必要に なってしまった
37. データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債 ＜過去の意思決定に起因＞ お⾦で解決してデータを取 得していたが、会社の経済 状況が悪化したので、内製 にしたい ＜連携システムに起因＞ 関係システムの運⽤⽅法が データ活⽤に適しておら ず、必要なデータを得るた めに、複雑な⼯程が必要に なってしまった BIツールのワークフ ローを刷新。 Salesforceのデータ 転送部分から⼿術
38. データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債 ＜過去の意思決定に起因＞ お⾦で解決してデータを取 得していたが、会社の経済 状況が悪化したので、内製 にしたい ＜連携システムに起因＞ 関係システムの運⽤⽅法が データ活⽤に適しておら ず、必要なデータを得るた めに、複雑な⼯程が必要に なってしまった ＜会社の⼒学に起因＞ ビジネスメンバーの意向が 強く、拙速な拡張を繰り返 した結果、膨⼤な前処理が 必要になってしまった
39. データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債 ＜過去の意思決定に起因＞ お⾦で解決してデータを取 得していたが、会社の経済 状況が悪化したので、内製 にしたい ＜連携システムに起因＞ 関係システムの運⽤⽅法が データ活⽤に適しておら ず、必要なデータを得るた めに、複雑な⼯程が必要に なってしまった ＜会社の⼒学に起因＞ ビジネスメンバーの意向が 強く、拙速な拡張を繰り返 した結果、膨⼤な前処理が 必要になってしまった dbtを導⼊して 適切な層で 然るべき処理を実施
40. データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債 ＜過去の意思決定に起因＞ お⾦で解決してデータを取 得していたが、会社の経済 状況が悪化したので、内製 にしたい ＜連携システムに起因＞ 関係システムの運⽤⽅法が データ活⽤に適しておら ず、必要なデータを得るた めに、複雑な⼯程が必要に なってしまった ＜会社の⼒学に起因＞ ビジネスメンバーの意向が 強く、拙速な拡張を繰り返 した結果、膨⼤な前処理が 必要になってしまった ＜期待値の乖離に起因＞ 本来的に⼀致し得ないデー タなのに、⼀致するものと して公開されてしまってい た
41. データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債 ＜過去の意思決定に起因＞ お⾦で解決してデータを取 得していたが、会社の経済 状況が悪化したので、内製 にしたい ＜連携システムに起因＞ 関係システムの運⽤⽅法が データ活⽤に適しておら ず、必要なデータを得るた めに、複雑な⼯程が必要に なってしまった ＜会社の⼒学に起因＞ ビジネスメンバーの意向が 強く、拙速な拡張を繰り返 した結果、膨⼤な前処理が 必要になってしまった ＜期待値の乖離に起因＞ 本来的に⼀致し得ないデー タなのに、⼀致するものと して公開されてしまってい た カスタマーサクセス 部⾨と連携して、 指標を刷新
42. データ基盤に集まる負債例 03_データ活⽤推進にまつわる負債 ＜過去の意思決定に起因＞ お⾦で解決してデータを取 得していたが、会社の経済 状況が悪化したので、内製 にしたい ＜連携システムに起因＞ 関係システムの運⽤⽅法が データ活⽤に適しておら ず、必要なデータを得るた めに、複雑な⼯程が必要に なってしまった ＜会社の⼒学に起因＞ ビジネスメンバーの意向が 強く、拙速な拡張を繰り返 した結果、膨⼤な前処理が 必要になってしまった ＜期待値の乖離に起因＞ 本来的に⼀致し得ないデー タなのに、⼀致するものと して公開されてしまってい た トラッキングの基盤 をGA（UA）から内 製基盤へ BIツールのワークフ ローを刷新。 Salesforceのデータ 転送部分から⼿術 dbtを導⼊して 適切な層で 然るべき処理を実施 カスタマーサクセス 部⾨と連携して、 指標を刷新
43. ただこれらの負債はチャンスでもあった 03_データ活⽤推進にまつわる負債
44. データ活⽤推進に起因する 負債との付き合い⽅
45. 負債がチャンスになる例 04_データ活⽤推進に起因する負債との付き合い⽅ • 経済的リソースや⼈的リソースに関 わる負債 • ワークフローの処理の複雑さに関わ る負債 • 数字の正確性や更新性、⼀覧性に関 わる負債 負債の種類 得られるメリット • → 〜円コスト削減しました •   〜⼈⽇削減しました • → 計算速度が爆速になりました •   変更対応が⼀瞬で出来ます • → 信じられる数字をいつでも⼀箇所で •   ⾒られるようになりました
46. 負債がチャンスになる例 04_データ活⽤推進に起因する負債との付き合い⽅ • 経済的リソースや⼈的リソースに関 わる負債 • ワークフローの処理の複雑さに関わ る負債 • 数字の正確性や更新性、⼀覧性に関 わる負債 負債の種類 得られるメリット • → 〜円コスト削減しました •   〜⼈⽇削減しました • → 計算速度が爆速になりました •   変更対応が⼀瞬で出来ます • → 信じられる数字をいつでも⼀箇所で •   ⾒られるようになりました データエンジニア リングっていいね！ という評価
47. 基盤起因ではないのに、 データ基盤で対応が必要な負債 ニーズが実証されているデータ活⽤ 04_データ活⽤推進に起因する負債との付き合い⽅ ≒
48. 負債まで育ったデータ基盤の瑕疵は 解決したもん勝ち (⽬の前の⼈からありがとうをもらえる、職務経歴書にビジネス貢献度合いを書けるようになる、 ビジネスや会社への思いやりがあるキャラになれる、偉い⼈の覚えがよくなる、などなど) 04_データ活⽤推進に起因する負債との付き合い⽅
49. 集まってきた負債と付き合うコツ 04_データ活⽤推進に起因する負債との付き合い⽅ ※あくまでも個⼈の体験に基づきます。組織の状況や⼈によって、参考になる/ならないが、かなり分かれると考えます • 負債に優先順位をつける ◦ 私が優先度を⾼くする負債 ▪ ⼼が削られる負債や、時間が奪われる負債 ▪ ビジネスインパクトが⼤きい負債 ▪ 経営陣に関わる負債 • 負債をさらに⼤きくする ◦ 可能ならばできるだけあとで解決する。時間が経った⽅が、より良いソリューションが⼿に ⼊っていたり、途中でニーズとともに負債が消滅したりするため。場合によってはリーズナブ ルな⽌⾎対応だけする • 負債をみんなで解決する⽬標として捉える ◦ データ負債は誰かを憎みがち。が、基本的には誰も悪くない。過去の⼈たちが頑張った結 果、たまたま今の状況になっているだけ。だから⼀緒に解決しましょうと持ちかける
50. 負債になるまでデータ活⽤を 進めて、喜んで解決していきま しょう！