ファインディの事業拡大を支える 拡張可能なデータ基盤へのリアーキテクチャ

「事業成長に効かせるファインディ流データエンジニアリングの実践」の資料
https://findy-inc.connpass.com/event/386091/

Transcript

1. © Findy Inc. ファインディの事業拡⼤を⽀える 拡張可能なデータ基盤へのリアーキテクチャ 1 開 功昂
2. © Findy Inc. ⾃⼰紹介 2
3. © Findy Inc. 3 開 功昂（Hiraki Noriaki, hiracky16） CTO室 / データソリューションチーム / EM / データエン ジニア • 新卒で BtoB マッチングサービスを運営する会社に ⼊社し Web エンジニアとしてキャリアをスタート • 前職の AI コンサル会社ではデータエンジニアとし てデータ基盤やパイプラインの構築に従事 • 2023 年 11 ⽉にファインディにジョインしデータ基 盤の設計/開発をリード • Google Cloud の資格をいくつか所持
4. © Findy Inc. 今⽇伝えたいこと 4
5. © Findy Inc. 5 僕から伝えたいことは 3 つ 🚀ファインディの事業内容が転職やイベントだけじゃない 💡ファインディのユニークなデータ環境について 🏗ファインディのデータ基盤アーキテクチャはいろんな意味で⾯⽩い
6. © Findy Inc. 会社‧事業紹介 6
7. 会社概要 © 2024 Findy Inc. 挑戦するエンジニアの プラットフォームをつくる。 ビジョン つくる⼈がもっとかがやけば、 世界はきっと豊かになる。 経営理念 会社名 ファインディ株式会社 / Findy Inc. 代表取締役 ⼭⽥ 裕⼀朗 設⽴ 2014 年 2 ⽉ ※ 本格的な事業開始は2016年7⽉ 全従業員数 478 名 ※2026年1⽉時点 資本⾦ 19億9,692万円 ※ 資本準備⾦含む 住所 東京都品川区大崎1-2-2 アートヴィレッジ大崎セントラルタワー 5階 事業許可番号 13-ユ-308478 サービス ‧IT/Webエンジニアの転職サービス「Findy」 ‧ハイスキルなフリーランスエンジニア紹介サービス「Findy Freelance」 ‧経営と開発現場をつなぐAI戦略⽀援SaaS「Findy Team+」 ‧開発ツールのレビューサイト「Findy Tools」 ‧テックカンファレンスのプラットフォーム「Findy Conference」 ‧顧客価値を追求する、AI時代の製品開発マネジメント「Findy Insights」等 投資家 グローバル‧ブレイン、ユナイテッド、SMBCベンチャーキャピタル、KDDI、 JA三井リース、みずほキャピタル、博報堂ＤＹベンチャーズ、Carbide Ventures、等
8. © Findy Inc. ファインディが展開するエンジニアプラットフォーム サービス紹介 8
9. © Findy Inc. 9 僕から伝えたいことは 3 つ 🚀ファインディの事業内容が転職やイベントだけじゃない 👉 開発⽣産性や技術選定など多⾓的に事業を展開 💡ファインディのユニークなデータ環境について 🏗ファインディのデータ基盤アーキテクチャはいろんな意味で⾯⽩い
10. © Findy Inc. チームの紹介 10
11. © Findy Inc. 会社のビジョン：挑戦するエンジニアのプラットフォームをつくる。 チームのミッション：データとエンジニアリングの⼒で、ファイン ディの知恵を結集し、意思決定を加速させる 11
12. © Findy Inc. 12 チームのミッション 挑戦するエンジニアのプラットフォームとは… 転職や採⽤、開発⽣産性、技術選定、カンファレンスなどエンジニアリングに関するエンジニアや企業の悩 みを多⾓的にサポート データエンジニアとし て転職したい 優秀なエンジニアを採 ⽤したいな エンジニア組織の⽣産 性が知りたい 他社はどんなアーキテ クチャ…？ カンファレンスに 出展したい！ カンファレンスに参加 したい！ 副業で スキルアップしたい データ基盤の技術顧問 を雇いたい
13. © Findy Inc. ファインディが展開するエンジニアプラットフォーム サービス紹介 13
14. © Findy Inc. 14 チームのミッション 多⾓的に展開しておりエンジニアリングに関する様々なデータが集まるユニークな環境 多⾓的が故にデータや組織がサイロ化してしまう… 職歴やスキル 開発の アクティビティ 技術選定や アーキテクチャ カンファレンス 参加
15. © Findy Inc. 15 チームのミッション ミッション：データとエンジニアリングの⼒で、ファインディの知恵を結集し、意思決定を加速させる データによって組織やプロダクトをまたいだファインディならではのデータ活⽤を推進していくことがミッ ション 職歴やスキル 開発の アクティビティ 技術選定や アーキテクチャ カンファレンス参加 職歴やスキルを元に 新しいカンファレンスの レコメンデーション 新しいサービスや アーキテクチャの提案
16. © Findy Inc. 16 改めて伝えたいことは 3 つ 🚀ファインディの事業内容が転職やイベントだけじゃない 👉 開発⽣産性や技術選定など多⾓的に事業を展開 💡ファインディのユニークなデータ環境について 👉 様々なエンジニアリングのデータがあり、組織も事業も拡⼤フェーズ 🏗ファインディのデータ基盤アーキテクチャはいろんな意味で⾯⽩い 👉 ？？？
17. © Findy Inc. データ基盤のリアーキテクチャ 17
18. © Findy Inc. 18 アーキテクチャの変遷 2025 年 4 ⽉頃（主要 4 事業のデータ基盤が完成） • ⻘枠：事業≒組織をドメインとしたデータメッシュを 採⽤ • ⽩枠：事業部ごとに Google Cloud プロジェクトが存 在 • ⻩⾊枠：データソリューションチームが横断的にサ ポート • 事業ごとに技術選定がバラバラ ◦ Datastream or Embulk ◦ Dataform or dbt ◦ GitHub Actions or dbt Platform • インフラはそれぞれの Terraform リポジトリで管理 ◦ ⼀部 HCP Terraform を使いモジュールを共通化
19. © Findy Inc. 19 アーキテクチャの変遷 2026 年 4 ⽉時点（途中経過） • dbt のプロジェクトが 3 つから 5 つに増えた • Findy Team+ と Findy Tools のデータ基盤に使⽤する Google Cloud プロジェクトを統合 ◦ 3 つの Terraform のリポジトリを 1 つに統合 • IAM の単位をプロジェクトからデータセットごとに変 更 • Freelance と Team+ で Datastream を導⼊ • セルフサービス化の推進や DataOps 改善のために Looker などの SaaS を導⼊
20. © Findy Inc. 20 アーキテクチャの変遷 2026年 X ⽉（⽬指しているゴール） • Findy と Findy Freelance の Google Cloud プロジェク トを統合が完了 • 技術選定がルールに従って揃っており DataOps が省⼒ 化できていること • データエンジニアがインフラの健全化やセルフサービ ス化の推進、事業部のイネーブリングに集中出来る環 境を⽬指す
21. © Findy Inc. なぜリアーキテクチャが必要なのか？ 21
22. © Findy Inc. 22 なぜアーキテクチャ⾒直す必要が出てきたか？ 増加◎ データソース 10 倍 増加◎ 500 名弱（100名/年増加） 22 増加△ 3 名 増加◯ GC プロジェクト 6 倍
23. © Findy Inc. 23 なぜアーキテクチャ⾒直す必要が出てきたか？ 増加◎ データソース 10 倍 増加◎ 500 名弱（100名/年増加） 23 増加△ 3 名 増加◯ GC プロジェクト 6 倍 認知、業務負荷が増⼤
24. © Findy Inc. 24 ⽅針転換 データメッシュの再解釈 データメッシュの考え⽅、良さを失わずに実装 に微調整  DataOps 改善 マネージドサービスを積極的に取り⼊れて Ops を改善しやるべきことに集中 
25. © Findy Inc. 25 データメッシュで解決できたこと、⾒えてきた課題 ⭕ 解決したかったこと（メリット） • アジリティの⾼いデータ管理体制 • コストの透明性 • きめ細かい権限管理 ❌ ⾒えてきた課題（デメリット） • ドメイン間のコラボレーションの機会損失 • 分析者の関⼼と管理責任のギャップ • データエンジニアの作業の重複 • 技術選定のバラつきと属⼈化 ※ 著書内のアンチパターンに当てはまる結果に󰣻
26. © Findy Inc. 26 リアーキテクチャによってどうなったか？ ⭕ 解決できたこと（メリット） • アジリティの⾼いデータ管理体制 • きめ細かい権限管理 • インフラリソースの共有化→認知コスト低 • ドメイン間のコラボレーションの機会増加 ❌ ⾒えてきた課題（デメリット） • コストの透明性がなくなった • 分析者の関⼼と管理責任のギャップ • 技術選定のバラつきと属⼈化
27. © Findy Inc. 27 ⽅針転換 データメッシュの再解釈 データメッシュの考え⽅、良さを失わずに実装 に微調整  DataOps 改善 マネージドサービスを積極的に取り⼊れて Ops を改善しやるべきことに集中 
28. © Findy Inc. 28 Looker • 全社の BI ツールとして使⽤ • セマンティックレイヤーで事業の重要 な KPI を管理 yamory • Google Cloud の CSPM として使⽤ • コンテナイメージ等の脆弱性検知 dbt Platform • 5 プロジェクトのCI/CD、オーケスト レーションを担当 • ⼀部導⼊での効果を確認し、全プロ ジェクトに導⼊ Datastream or DuckDB on ECS • データ転送の規模に応じて使い分け • リアルタイムかつ低メンテンス⼯数 新たに 3 つの SaaS と契約 & マネジメントサービスを積極採⽤
29. © Findy Inc. 29 Looker • 全社の BI ツールとして使⽤ • セマンティックレイヤーで事業の重要 な KPI を管理 yamory • Google Cloud の CSPM として使⽤ • コンテナイメージ等の脆弱性検知 dbt Platform • 5 プロジェクトのCI/CD、オーケスト レーションを担当 • ⼀部導⼊での効果を確認し、全プロ ジェクトに導⼊ Datastream or DuckDB on ECS • データ転送の規模に応じて使い分け • リアルタイムかつ低メンテンス⼯数 新たに 3 つの SaaS と契約 & マネジメントサービスを積極採⽤ ✨ 導⼊後のメリット • DataOps の省⼒化に成功 • 事業部のメンバーや Agent Skill 化し Agent 運⽤を 移譲 • Findy Data Engineer スキルが爆誕💪
30. © Findy Inc. 30 リアーキテクチャによってどうなったか？ ⭕ 解決できたこと（メリット） • アジリティの⾼いデータ管理体制 • きめ細かい権限管理 • インフラリソースの共有化 • ドメイン間のコラボレーションの機会増加 • 技術選定が統⼀ ❌ ⾒えてきた課題（デメリット） • コストの透明性がなくなった ◦ SRE と協⼒して FinOps 体制を構築予定💰 • 分析者の関⼼と管理責任のギャップ ◦ 浮いた時間を⼈との会話やイネーブリングへ 💬
31. © Findy Inc. まとめ 31
32. © Findy Inc. 32 まとめ 🚀ファインディの事業内容が転職やイベントだけじゃない 👉 開発⽣産性や技術選定など多⾓的に事業を展開 💡ファインディのユニークなデータ環境について 👉 様々なエンジニアリングのデータがあり、組織も事業も拡⼤フェーズ 🏗ファインディのデータ基盤アーキテクチャはいろんな意味で⾯⽩い 👉 組織や事業に応じた技術選定やアーキテクチャに前向きにチャレンジできる
33. © Findy Inc. ご清聴ありがとうございました🙏 33