Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
マルチプロダクトのデータ基盤設計 〜データメッシュを運用して見えた課題と伸びしろ〜
Search
Noriaki Hiraki
July 10, 2025
Technology
0
44
マルチプロダクトのデータ基盤設計 〜データメッシュを運用して見えた課題と伸びしろ〜
db tech showcase 2025 Tokyo
Noriaki Hiraki
July 10, 2025
Tweet
Share
More Decks by Noriaki Hiraki
See All by Noriaki Hiraki
ファインディにおける Dataform ブランチ戦略
hiracky16
0
320
マルチプロダクトのデータ基盤設計〜データメッシュへのリアーキテクチャで見えた課題と伸びしろ〜
hiracky16
0
420
Dataform を使った GAS によるデータ運用からの脱却
hiracky16
4
2.1k
Other Decks in Technology
See All in Technology
Goでマークダウンの独自記法を実装する
lag129
0
210
そのコンポーネント、サーバー?クライアント?App Router開発のモヤモヤを可視化する補助輪
makotot
3
280
事業価値と Engineering
recruitengineers
PRO
1
180
サービスロボット最前線:ugoが挑むPhysical AI活用
kmatsuiugo
0
190
LLMエージェント時代に適応した開発フロー
hiragram
1
410
Yahoo!ニュースにおけるソフトウェア開発
lycorptech_jp
PRO
0
330
Preferred Networks (PFN) とLLM Post-Training チームの紹介 / 第4回 関東Kaggler会 スポンサーセッション
pfn
PRO
1
170
MySQL HeatWave:サービス概要のご紹介
oracle4engineer
PRO
4
1.7k
歴代のWeb Speed Hackathonの出題から考えるデグレしないパフォーマンス改善
shuta13
6
600
.NET開発者のためのAzureの概要
tomokusaba
0
230
kintone開発チームの紹介
cybozuinsideout
PRO
0
73k
モバイルアプリ研修
recruitengineers
PRO
2
210
Featured
See All Featured
Embracing the Ebb and Flow
colly
87
4.8k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Become a Pro
speakerdeck
PRO
29
5.5k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.4k
Side Projects
sachag
455
43k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
183
54k
Navigating Team Friction
lara
189
15k
Into the Great Unknown - MozCon
thekraken
40
2k
How GitHub (no longer) Works
holman
315
140k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
The Straight Up "How To Draw Better" Workshop
denniskardys
236
140k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Transcript
マルチプロダクトのデータ基盤設計 〜データメッシュを運用して見えた課題と伸びしろ〜 db tech showcase 2025 Tokyo ファインディ株式会社 CTO 室データソリューションチーム
開 功昂(hiracky16)
自己紹介
3 自己紹介 Findy / データエンジニア 開 功昂 / Noriaki Hiraki
/ @hiracky16 • 2023/11 にファインディの CTO 室データソリュー ションチームにジョイン 🙌 • マルチプロダクトデータ基盤を設計開発をリード • サッカー⚽とかポッドキャスト 🎙が好きです
挑戦するエンジニアの プラットフォームをつくる。 テクノロジーによる社会変⾰の時代に最も必要なことは、エンジニアの可能性を拡げることです。 Findyは、アルゴリズムとヒューマニティの融合によって、 すべてのエンジニアが不安なく挑戦できる世界共通のプラットフォームをつくります。 個⼈のチャンスを⽣み出し、組織の⽣産性を向上させ、社会の⼈材資産を好循環させる。 エンジニアプラットフォームが、デジタル社会の発展を加速していきます。 ビジョン © Findy
Inc. 4
5 ファインディの事業
6 組織プラットフォーム事業 「組織」を見える化するアルゴリズム チームの生産性を可視化し、開発者体験を向上するためのアナリティクスツール 開発リードタイムの見える化 定量的なデータを活用して 1on1を活性化 自身のデータを振り返り
自己成長をスピードアップ
• 中央集権型の課題と「データメッシュ」を採用した理由 • データメッシュの 4 原則とファインディでの直近 2 年間の取り組み • データメッシュ実運用から見えてきたノウハウ
セッションで話すこと 7
ファインディの データ基盤と組織の伸びしろ
9 2 年前のファインディのデータ基盤
2 年前のファインディのデータ基盤 10
データメッシュへの 移行理由と背景
12 データメッシュとは? • 分散型のデータ基盤アーキテクチャ • 変更に対する柔軟性が向上 • コストの透明性 • きめ細かい権限管理
13 • 採用理由 ✅ ◦ 事業やチームごとにアクセス権を管理できる設計 ◦ データ蓄積や利活用の幅をより柔軟に広げられる • 懸念事項
⚠ ◦ 事業間の連携が遅くなる → ニーズがないので未考慮 ◦ データエンジニアが必要 → 採用頑張る💪 データメッシュへの移行理由と背景
データメッシュへの リアーキテクチャ
15 移行後のアーキテクチャ ※ スペースの都合で Findy, Findy Freelance のアーキテクチャを掲載
16 データメッシュに必要な 4 つの原則 分散型の データアーキテクチャ セルフサービスの データプラットフォーム プロダクトとしてのデータ フェデレーテッド・ガバナンス
17 データメッシュに必要な 4 つの原則 分散型の データアーキテクチャ セルフサービスの データプラットフォーム プロダクトとしてのデータ フェデレーテッド・ガバナンス
18 分散型のデータアーキテクチャ データメッシュの概念図 ファインディでのアーキテクチャ
19 各ドメインチームでデータを所有・管理できる体制を組織 事業ドメインに詳しいデータアナリストを募りデータオーナーとしてデータ品 質向上の活動を促す
20 データメッシュに必要な 4 つの原則 分散型の データアーキテクチャ セルフサービスの データプラットフォーム プロダクトとしてのデータ フェデレーテッド・ガバナンス
データカタログの提供 21
22 他部署へのデータシェアリング publish explore & subscribe develop query
23 データ品質に対する取り組み # GitHub Actions name: validate-sql on: pull_request: branches:
- main jobs: steps: - name: lint - name: coverage - name: dbt-build – user_count_by_skill.sql select skill, count(1) from `project_a.dataset_b.users` where created_at >= '2025-01-01' push review review review
24 データメッシュに必要な 4 つの原則 分散型の データアーキテクチャ セルフサービスの データプラットフォーム プロダクトとしてのデータ フェデレーテッド・ガバナンス
ノーコードで ETL パイプライン構築 25 ETL Reverse ETL
26 データ可視化のセルフサービス化 select changed_date, count(1) from `project_a.dataset_b.user_job_logs` where changed_date >=
'2025-01-01' explore: 転職分析 dim:change_month measure: count filter: change_date >= '2025-01-01' user_job_logs user_job_histories SELECT FROM ? logs or histories ? 月次の転職数
27 責任分界点・オーナーを明確化
28 各ドメインチームでデータ利活用をサポート データ基盤チームはドメインチームが自立してデータを管理できるように支援
29 データメッシュに必要な 4 つの原則 分散型の データアーキテクチャ セルフサービスの データプラットフォーム プロダクトとしてのデータ フェデレーテッド・ガバナンス
DMBOK で定義されるデータガバナンスの成果物(ドキュメント)を整備 データガバナンスに対する取り組み 30 全社 事業A 事業B Architecture architecture.
md architecture_ a.md architecture_ b.md Modeling modeling.md - - Security security.md security_a.md - Metadata metadata.md - - Storage storage.md - storage_b.md
31 個人情報への取り組み Policy Tag を用いた動的マスキング DLP API を用いた個人データのマスキング select text,
`function.dlp`(text) as masked_text – マスキング処理をリモート関数で提供 from messages
Terraform Private Module でインフラ構成を共通化 インフラ構成の共通化 32 publish pull &
apply
学んだ教訓と ベストプラクティス
34 システムと組織のリアーキテクトが必要 • 事業部サイドのアナリストやデータ活用者を巻き込むことが重要 • 責任範囲やオーナーを明確化することでセルフの範囲を定義
35 成果を出しながらリアーキテクチャを進める • 成果を小出しに進めなければリアーキも持続可能ではない • データエンジニアがストリームアラインドを支援、時には一緒に作業
36 Don’t Repeat Yourself • インフラは Terraform Private Module で共通化
• データは Analytics Hub で共通化することで SSoT を実現 • 共通化は工数削減やガバナンスの統一に効果がある
37 “セルフサービス” をレベルアップし続ける • 組織ごとやドメインによってセルフサービスの意味合いが違う • 技術の進歩によってアップデートし続ける必要がある DWH Transform ETL
Tool BI AI Agent?
• 社内のメディアを使ってアウトプットし続ける • テックブログ、イベントや Findy Tools への投稿でアウトプット 38 データエンジニアの採用に注力
まとめ
40 • データメッシュの 4 原則は抑えつつ設計は進めましょう • データインフラだけでなく組織構造のリアーキテクトが必要 • ドメインごとにその時の最適なセルフサービスを追求 •
データガバナンスを適用するために DRY を推進 • ファインディのイベントや Findy Tools はおすすめ まとめ
複数プロダクト横断データ基盤を設計・開発しています! 興味ある方はご応募、カジュアル面談お待ちしています→ データエンジニア 絶賛募集中です!!
ご清聴 ありがとうございました🙏