事業をデータエンジニアリングする / data-engineering-for-business

イベントページ
https://supporterz-seminar.connpass.com/event/347922/

データエンジニアの本質的な役割とは、単なるデータ基盤の構築
にとどまらず、「事業そのものをデータでエンジニアリングすること」にある
と考えています。
本発表では、事業開発会社でのデータ基盤構築から、データチームの立ち上げ、
そして、現在進行形でデータドリブン経営へと変革を進める事業会社における、
実践的なデータエンジニアの取り組みと成長の軌跡をお話しします。
フェーズごとに変化する事業課題に対して、データエンジニアが
どのように価値を創出し、組織の進化を支えてきたのか。
具体的な事例を通じて、データエンジニアリングの本質に迫ります。

Transcript

1. 事業をデータエンジニアリングする データエンジニアの未来@サポーターズCoLab 近森 淳平（チカモリ　ジュンペイ） @pei0804
2. 事業にとって、 データエンジニアとは何なのか？
3. データ基盤を作る人？
4. それだけ？
5. データ基盤を作るのも大事。 けど、もっとやれることはあるし、 これからは作ってからが大事な時代になる。
6. データ基盤構築は民主化されつつある。
7. データ基盤作るだけだと、 力量不足になる時代が、遠くない未来に来る。
8. 作った先の課題を解く必要が出てきた。
9. 事業をデータエンジニアリングしよう
10. アジェンダ • 自己紹介 • データエンジニア界で起きていること • 事業をデータエンジニアリングする • CARTA MARKETING FIRMをデータエンジニアリングする
11. アジェンダ • 自己紹介 • データエンジニア界で起きていること • 事業をデータエンジニアリングする • CARTA MARKETING FIRMをデータエンジニアリングする
12. 自己紹介 ぺい @pei0804 近森淳平(チカモリ　ジュンペイ) VP of Data @ CARTA MARKETING FIRM / CARTA HOLDINGS 2024, 2025 Snowflake Data Superheroes
13. アジェンダ • 自己紹介 • データエンジニア界で起きていること • 事業をデータエンジニアリングする • CARTA MARKETING FIRMをデータエンジニアリングする
14. データエンジニア界で起きていること
15. データ基盤構築の民主化
16. 一昔前は、データエンジニアリングには 多くの技術的課題がありました。
17. よく見かけるデータエンジニアリングの技術的課題 • データの統合 ◦ 様々な場所に散在したデータを集める。 • 大量データ処理 ◦ 現実的な時間で処理しきれるようにする。 • データパイプライン構築 ◦ 複雑なジョブツリーの管理 • インフラ管理 ◦ 様々な処理を支えるインフラ管理
18. 昨今データエンジニアリングの技術的課題は、 多くが一般化されつつあります。
19. データ基盤構築するだけなら、 高度な専門知識が不要になりつつある。
20. 前だと雑に作るだけでも、 結構大変だったけど、 いまは本当にさくっと作れる。
21. 毎日ペタバイト級のデータがロードされる。 パブリッククラウドが使えない。 こういった現場では、 まだまだ技術的課題があります。 頑張っていきましょう💪
22. どのように一般化されているのか
23. OSSや便利なサービスの登場
24. https://notion.castordoc.com/modern-data-stack-guide
25. 具体的にどのように解決されたか ※抜粋
26. データ取り込みの進化 通常データは様々な場所に散在しています。 以前はデータウェアハウスへの取り込みだけでも多大な労力を 要しました。各データソースのAPI理解や取り込み処理の実装には 高度な開発スキルが必要です。 しかし現在では、Fivetran、TROCCO、Airbyteなどの 専用ツールの登場により、この仕事は大幅に効率化されました。
27. データ処理の進化 かつてデータ処理の壁となっていたリソース制約やクラスター管理の 複雑さは、Snowflake、BigQuery、Databricks、Redshiftといった クラウドデータウェアハウスの登場により解消されました。 データエンジニアはインフラ管理から解放され、 柔軟なリソースのスケーリングが可能になりました。
28. データパイプライン構築の進化 データパイプラインは「タスクセントリック」から 「アセットセントリック」へと進化し、 複雑な依存関係管理が大幅に簡素化されました。 従来はAirflowなどで明示的に処理順序を指定する必要がありましたが、 dbtやDagsterでは必要なデータを記述するだけで依存関係が 自動的に追跡されます。これにより開発者はデータ自体に集中でき、 パイプラインの構築・保守効率が飛躍的に向上し、拡張性も高まりました。
29. 他の様々な技術課題についても、 日々解決されつつある。
30. しかも、昨今では日本語で、 データエンジニアリングの情報に アクセスできる。
31. 技術も手法も民主化しつつある。
32. これが今起きていること。
33. どれぐらいのスピード感で、 この業界は進化しているか？
34. https://multithreaded.stitchfix.com/blog/2016/03/16/engineers-shouldnt-write-etl/
35. 先駆的アイデアから一般常識へ 2016年、Stitch Fix社が提唱した「Engineers Shouldn't Write ETL」。 それまで当然視されていた「データサイエンティストが考え、エンジニアが実装す る」という分断された役割から、「データサイエンティストが 自らデータ加工を行い、エンジニアは土台となる仕組みを提供する」 という協業モデルへの転換を促したのです。 当時は革新的だったこの考え方も、現在では便利なツールやクラウドの 普及により、多くの企業で標準的な手法となっています。 わずか数年で先進的な取り組みが当たり前になる。これこそがデータエンジニアリ ングの進化スピードを物語る象徴的な例といえるでしょう。
36. これを初めて読んだとき、 雷に打たれたような衝撃を受けました。
37. これ2016年だと・・・（私が読んだのは2022年） めちゃくちゃ進んでるやんけ・・・
38. 衝撃と同時に、今ならこれを実行するために 必要なツールが揃っていると気付いた。
39. 実例：開発体制を協業へ 「Engineers Shouldn't Write ETL」を読 んで、「これだ！」と確信し、 データエンジニアは仕組みづくりを 担当し、機械学習エンジニアは その仕組みを活用して業務を 行うという協業体制に移行しました。 https://speakerdeck.com/pei0804/engineers-in-carta-vol3-data-engineer?slide=45
40. このような変革が実現できたのは、 便利なツールが揃っていたから。
41. 技術課題のハードルが下がった結果、 真の課題が見え始めた。
42. https://www.getdbt.com/resources/reports/state-of-analytics-engineering-2024
43. https://www.getdbt.com/resources/reports/state-of-analytics-engineering-2024
44. データ活用の真の難題 • データ品質の問題 ◦ データ実務者の57%が直面する最大の課題（2022年の41%から増加） • ステークホルダーのデータリテラシー不足 ◦ 約50%の実務者が課題として挙げる人的要素 • データオーナーシップの曖昧さ ◦ 約50%が挙げる「誰がこのデータに責任を持つのか」という組織的問題 技術的課題（データ変換の構築など）は解決されつつあるが、 人・組織・文化に関連する課題が拡大している
45. 「データ基盤を作る人」だけでは力不足になる アンケート結果が示すのは、日本のデータエンジニアの未来予想図です。 課題として挙げられていた • データ品質 • データリテラシー不足 • オーナーシップの曖昧さ これらの主要課題は技術ではなく、組織と人に関わる問題です。 「データ基盤構築」だけでは真の課題は解けないことを示しています。
46. そうだ。 事業をデータエンジニアリングしよう
47. アジェンダ • 自己紹介 • データエンジニア界で起きていること • 事業をデータエンジニアリングする • CARTA MARKETING FIRMをデータエンジニアリングする
48. 「事業をデータエンジニアリングする」とは
49. データを軸に事業の仕組みを構築し、 事業の価値を高める
50. 平たく言うと、 データに関する全部をやる。
51. データエンジニアリングが行き着く先は、 組織や人、そして、事業の課題。
52. 技術の枠に囚われると、 出せる価値にアッパーが出来てしまう。
53. データで事業を変革できるのか？ 多くの人がそう疑問に思います
54. 私はできると信じている
55. 本質的にはデータとは 人間の行動であり、事業そのものです
56. データとは データは、個々の事実・数値、情報、統計、変数の項目である。 より厳密には、データとは1人または複数の人や物や事象に関する 定性的または定量的な値の集まりである。 引用 データ - Wikipedia
57. データとは、人であり、事業 データとは、人間活動の痕跡そのものであり、 事業は、人々が価値を紡ぎ出すプロセスです。 データの質と活用度を高めることは、 事業の本質的価値と成果を直接的に向上させることに他なりません。
58. 組織全体でデータを戦略的に活用することは、 社員一人ひとりの創造性と貢献度を 最大化することと同義です
59. CARTA MARKETING FIRMでは、 この野望を現実にするための挑戦を 日々重ねています。
60. アジェンダ • 自己紹介 • データエンジニア界で起きていること • 事業をデータエンジニアリングする • CARTA MARKETING FIRMをデータエンジニアリングする
61. CARTA MARKETING FIRMを データエンジニアリングする
62. データ成熟度で理解する CARTA MARKETING FIRMの現在地
63. https://www.heap.io/blog/the-four-stages-of-data-maturity
64. データ成熟度の4段階 • Data-exploring ◦ データ収集はしているが活用できておらず、意思決定は直感に頼る段階。 • Data-informed ◦ データの価値を認識し始め、分析ツールやデータスタックへの投資が始まる段階。 • Data-driven ◦ データが意思決定の中心となり、組織全体でデータ活用が浸透する段階。 • Data-transformed ◦ データが組織のDNAとなり、すべての活動がデータに基づいて最適化される段階。
65. データ成熟度の4段階 • Data-exploring ◦ データ収集はしているが活用できておらず、意思決定は直感に頼る段階。 • Data-informed ◦ データの価値を認識し始め、分析ツールやデータスタックへの投資が始まる段階。 • Data-driven ◦ データが意思決定の中心となり、組織全体でデータ活用が浸透する段階。 • Data-transformed ◦ データが組織のDNAとなり、すべての活動がデータに基づいて最適化される段階。 CARTA MARKETING FIRMはここだと思う。
66. データ成熟度の4段階 • Data-exploring ◦ データ収集はしているが活用できておらず、意思決定は直感に頼る段階。 • Data-informed ◦ データの価値を認識し始め、分析ツールやデータスタックへの投資が始まる段階。 • Data-driven ◦ データが意思決定の中心となり、組織全体でデータ活用が浸透する段階。 • Data-transformed ◦ データが組織のDNAとなり、すべての活動がデータに基づいて最適化される段階。 ここを目指している。
67. しかし、道のりは簡単ではない
68. https://www.heap.io/blog/the-four-stages-of-data-maturity す ご い 高 い 壁
69. Data-drivenへの壁：技術から人へのシフト Data-informedまではエンジニアのマンパワーとツールの力で達成可能ですが、 Data-drivenへの移行は全く異なる性質の課題です。 この段階では技術より「人」が中心課題となり、 組織文化や意思決定プロセス、個々の行動様式を変える必要があります。 最新のデータ基盤を導入しても組織の行動が 変わらなければ真のData-drivenは実現しません。 ここからの道のりは、技術的課題から組織変革へと本質が変わるのです。
70. Data-drivenへ 向かうためにやっていること
71. RevOpsの導入 RevOpsの考え方を経営に導入し、 部門間の壁を越えて収益最大化を 目指しています。 短期的な課題解決と 長期的なビジョンを両立させながら、 データを経営資本として活用することを 目標にデータ活用を推進中。 https://speakerdeck.com/pei0804/path-to-revops
72. 何のために、RevOpsに取り組むか。
73. https://primenumber.com/events/01-p-1 THE RevOps 〜The Model型ビジネスモデルで成果を出すためのデータ活用術〜
74. https://primenumber.com/events/01-p-1 THE RevOps 〜The Model型ビジネスモデルで成果を出すためのデータ活用術〜
75. https://primenumber.com/events/01-p-1 THE RevOps 〜The Model型ビジネスモデルで成果を出すためのデータ活用術〜
76. 設定されたKPIに対して、 みんなベストを尽くしている
77. こういった現象はツールやデータが、 サイロしていると起きやすい。
78. 全体最適を加味したKPIを設定したい。 しかし、そのためには、レベニュープロセスを 横断的に見れる必要がある。
79. これを実行するためのHowとしてのRevOps。
80. 部門間を超えた連携を、 データで実現する
81. データを接着剤に、 組織を一つにしたい。
82. 何のために組織を一つにするか
83. ただの図体でかい企業にならないため
84. 4社統合で発生した壁（≒サイロ） CARTA MARKETING FIRMは、2023年10月1日にCARTA HOLDINGS内の 4社が事業強化戦略に基づいて統合して誕生した会社です。 会社統合を経験したことがある人なら理解できるでしょうが、 話す言葉からデータ、ツールに至るまで、あらゆる面で相違点があります。 これはデータのサイロというよりも、 人間の間に存在するサイロのような状態です。 私はこのような状態のまま事業を進め続けることにリスクを感じました。
85. 違うデータを見ていると、言葉も合わない データは言語のように機能します。 同じデータを共有していれば共通言語として相互理解を促進しますが、 異なるデータを参照していると言葉の壁が生じます。 使用する用語も違うため、会話の内容を理解するのが難しくなります。 故に部門間のコラボレーションのハードルは高くなるため、 統合後にシナジーが生まれにくくなります。
86. でかい組織になったメリットを最大化する 統合によって、組織内の人材の多様性は急速に高まりました。 このレベルの多様性を採用だけで実現するのは容易ではないでしょう。しか し、秩序のない多様性はカオス状態を生み出します。 理想的には適切な秩序を築きながら多様性の利点を活かすこと。 この課題解決にデータが重要な役割を果たすと考えている。
87. まず、データから統合していく そして、人の営みも統合していく。
88. データで共通言語作る。
89. そのためのHowとして、 Data-drivenを目指している。
90. 一つの生き物のように動く でかい企業になりたい。
91. そのために、 事業をデータエンジニアリングする。
92. データ成熟度の4段階 • Data-exploring ◦ データ収集はしているが活用できておらず、意思決定は直感に頼る段階。 • Data-informed ◦ データの価値を認識し始め、分析ツールやデータスタックへの投資が始まる段階。 • Data-driven ◦ データが意思決定の中心となり、組織全体でデータ活用が浸透する段階。 • Data-transformed ◦ データが組織のDNAとなり、すべての活動がデータに基づいて最適化される段階。 これが実現できてる世界見たくないですか？
93. 【PR】We're hiring 【アナリティクスエンジニア】データ活用の可能性を引き出し、新たな価値創造に挑戦 https://hrmos.co/pages/cartaholdings/jobs/cmf-e04 【データエンジニア】データの源泉から価値創造までエンジニアリングする https://hrmos.co/pages/cartaholdings/jobs/cmf-e05
94. https://findy.connpass.com/event/349580/