事業成長とAI活用を止めないデータ基盤アーキテクチャの設計思想

https://findy.connpass.com/event/399253/

Transcript

1. 事業成⻑とAI活⽤を⽌めない データ基盤アーキテクチャの 設計思想 ファインディ株式会社 開 © Findy Inc. 1
2. ⾃⼰紹介 © Findy Inc. 2
3. 開 功昂（Hiraki Noriaki, hiracky16） CTO室 / データソリューションチーム / EM / データエン ジニア • • • • 新卒で BtoB マッチングサービスを運営する会社に ⼊社し Web エンジニアとしてキャリアをスタート 前職の AI コンサル会社ではデータエンジニアとし てデータ基盤やパイプラインの構築に従事 2023 年 11 ⽉にファインディにジョインしデータ基 盤の設計/開発をリード Google Cloud の資格をいくつか所持 © Findy Inc. 3
4. アジェンダ © Findy Inc. 4
5. 本⽇話すこと • • • ※ 今回お話しする事例は、社内向けのデータ分析基盤のアーキテクチャや、AI活⽤の取り組みについ て ファインディのこの1年間の変化に対してデータ基盤のアーキテクチャの変遷 ◦ 組織規模の拡⼤やAIの台頭など、社内外の状況変化に合わせてアーキテクチャを⾒直すことの重 要性について データ基盤上での AI Agentの活⽤を加速させるために実践した取り組みの紹介 ◦ Ops 型化と AI スキル化 ◦ ターゲットを絞り効果的にイネーブリング © Findy Inc. 5
6. アジェンダ 1. 2. 3. 4. 5. 6. 会社‧事業紹介 ファインディのデータ基盤（2025 年）アーキテクチャの紹介 2025年 → 2026 年に起きた変化と課題 ファインディのデータ基盤（2026 年）アーキテクチャの紹介 振り返り まとめ © Findy Inc. 6
7. 会社‧事業紹介 © Findy Inc. 7
8. 会社概要 会社名 代表取締役 設⽴ 全従業員数 資本⾦ 住所 事業許可番号 ファインディ株式会社 / Findy Inc. ⼭⽥ 裕⼀朗 2014 年 2 ⽉ ※ 本格的な事業開始は2016年7⽉ 478 名 ※2026年1⽉時点 つくる⼈がもっとかがやけば、 世界はきっと豊かになる。 19億9,692万円 ※ 資本準備⾦含む 東京都品川区大崎1-2-2 アートヴィレッジ大崎セントラルタワー 5階 ビジョン 13-ユ-308478 ‧IT/Webエンジニアの転職サービス「Findy」 ‧ハイスキルなフリーランスエンジニア紹介サービス「Findy Freelance」 サービス 経営理念 ‧経営と開発現場をつなぐAI時代の開発資本プラットフォーム「Findy Team+」 挑戦するエンジニアの プラットフォームをつくる。 ‧開発ツールのレビューサイト「Findy Tools」 ‧テックカンファレンスのプラットフォーム「Findy Conference」 ‧仮説検証‧事業開発を加速させるAIエージェント「Findy Insights」等 投資家 グローバル‧ブレイン、ユナイテッド、SMBCベンチャーキャピタル、KDDI、 JA三井リース、みずほキャピタル、博報堂ＤＹベンチャーズ、Carbide Ventures、等 © 2024 Findy Inc.
9. サービス紹介 ファインディが展開するエンジニアプラットフォーム © Findy Inc. 9
10. ファインディのデータ基盤（2025年） アーキテクチャの紹介 © Findy Inc. 10
11. 2025 年 1 ⽉ごろのデータ基盤アーキテクチャ • • ⻘枠：事業≒組織ごとにデータ運⽤を分ける ◦ データメッシュを採⽤ ◦ 事業ごとにデータ蓄積や利活⽤の幅をより柔軟 に拡⼤ ⽩枠：Google Cloud プロジェクト ◦ • インフラや技術選定はそれぞれで管理 ⻩⾊枠：データチームが担当を決めサポート © Findy Inc. 11
12. 2025 → 2026 年に起きた変化と 直⾯した課題 © Findy Inc. 12
13. 会社概要 会社名 代表取締役 設⽴ 全従業員数 資本⾦ 住所 事業許可番号 ファインディ株式会社 / Findy Inc. ⼭⽥ 裕⼀朗 2014 年 2 ⽉ ※ 本格的な事業開始は2016年7⽉ 1 年で 100 名増 19億9,692万円 ※ 資本準備⾦含む 478 名 ※2026年1⽉時点 東京都品川区大崎1-2-2 アートヴィレッジ大崎セントラルタワー 5階 つくる⼈がもっとかがやけば、 世界はきっと豊かになる。 ビジョン 13-ユ-308478 ‧IT/Webエンジニアの転職サービス「Findy」 ‧ハイスキルなフリーランスエンジニア紹介サービス「Findy Freelance」 サービス 経営理念 ‧経営と開発現場をつなぐAI時代の開発資本プラットフォーム「Findy Team+」 挑戦するエンジニアの プラットフォームをつくる。 ‧開発ツールのレビューサイト「Findy Tools」 ‧テックカンファレンスのプラットフォーム「Findy Conference」 ‧仮説検証‧事業開発を加速させるAIエージェント「Findy Insights」等 投資家 グローバル‧ブレイン、ユナイテッド、SMBCベンチャーキャピタル、KDDI、 JA三井リース、みずほキャピタル、博報堂ＤＹベンチャーズ、Carbide Ventures、等 © 2024 Findy Inc.
14. サービス紹介 ファインディが展開するエンジニアプラットフォーム 2025 年に 4 プロダクトをローンチ © Findy Inc. 14
15. Claude Code 等のエージェントツールの登場 + BigQuery MCP 登場 ※ MCP ⾃体は 2024/11 にリリース、SaaS などに復旧し始めたのが 2025 年ごろ 導⼊後の急激な変化 エージェント等による⾃動クエリの実⾏増加伴い、 ‧BigQuery ジョブ数 ‧BigQuery コスト 3倍 2倍 © Findy Inc. 15
16. データ基盤を取り巻く数字 増加 データエンジニア 増加 BigQuery データセット増加 3名 社員数 + 100 名/年 SQL ジョブ数 3 倍 増加 Google Cloud プロジェクト増 コスト増 © Findy Inc. 16
17. データ基盤を取り巻く数字 増加 データエンジニア 増加 BigQuery データセット増加 3名 社員数 + 100 名/年 SQL ジョブ数 3 倍 認知、業務負荷が増⼤ 増加 Google Cloud プロジェクト増 コスト増 © Findy Inc. 17
18. アーキテクチャ（2025年）が抱える課題 • 新規環境の⽴ち上げ時に時間がかかる ◦ • データソースや組織の増加に伴いデータ基盤⽴ち 上げの機会が増える 事業ごとに技術選定がバラバラで運⽤が属⼈化 ◦ Datastream or Embulk ◦ Dataform or dbt © Findy Inc. 18
19. ファインディのデータ基盤（2026 年） アーキテクチャの紹介 © Findy Inc. 19
20. 課題を整理 開発‧運⽤の⾮効率化 • 事業ごとに技術選定がバラバラで属⼈化 • 新規環境の⽴ち上げ時に時間がかかる 組織拡⼤とAI活⽤による新課題 • 事業、組織拡⼤による Google Cloud プロジェク トやデータが増 ◦ ⼀⽅データエンジニアは少数精鋭 • ジョブ数の増加によるクラウドコスト増 • データ分析や解釈のガードレールが未整備 増加 増加 増加 データ量増加 Cloud Pj 増加 社員数増加 2 0 © Findy Inc. 20
21. 課題を整理 開発‧運⽤の⾮効率化 • 事業ごとに技術選定がバラバラ • 新規環境の⽴ち上げ時に時間がかかる • 運⽤がデータエンジニアのノウハウや裁量に依 存 組織拡⼤とAI活⽤による新課題 • 事業、組織拡⼤による Google Cloud プロジェク トやデータが増 ◦ ⼀⽅データエンジニアは少数精鋭 • ジョブ数の増加によるクラウドコスト増 • データ分析や解釈のガードレールが未整備 前提 • 事業、組織拡⼤による Google Cloud プロジェクトやデータが増 → 事業や組織は今後も拡⼤予定 • ジョブ数の増加によるクラウドコスト増 → AI によるジョブは今後も増加 • データエンジニアが少数精鋭 → データエンジニアは市場的に採⽤が難しい ⽅針: AI Agent が正しく運⽤、分析出来る⼟台作りに専念 • • SaaS‧マネージドサービスの積極採⽤による Ops の型化 ターゲットを絞ってデータ x AI 活⽤をイネーブリング 2 1 © Findy Inc. 21
22. SaaS‧マネージドサービスの 積極採⽤による Ops の型化 © Findy Inc. 22
23. SaaS & マネージドサービスを積極採⽤ Datastream • スキーマやテーブル追加を⾃動追 従のため低メンテナンス⼯数 • ニアリアルタイムなデータニーズ の実現 dbt Platform Looker yamory • 6 プロジェクトのCI/CD、オーケ ストレーションを担当 • ⼀部導⼊での効果を確認し、全プ ロジェクトに導⼊ • 全社の BI ツールとして使⽤ • • セマンティックレイヤーで事業の 重要な KPI を管理 Google Cloud の CSPM として使 ⽤ • コンテナイメージ等の脆弱性検知 © Findy Inc. 23
24. Google Cloud プロジェクトと使⽤技術の統⼀ 2026 年 7 ⽉時点（途中経過） • BigQuery に使⽤する Google Cloud プロジェクトを統 合（WIP） ◦ • Terraform リポジトリの統⼀（4 つから 1 つへ） 技術標準を定める ◦ Data Transform ツールを dbt へ統⼀（WIP） ◦ Freelance と Team+ で Datastream を導⼊ © Findy Inc. 24
25. 役割の明確化（イネーブリングとプラットフォーム） イネーブリング • • 事業サイドがデータ活⽤をサポート チームで定めた「⾏動指針」に基づき 現場のニーズを解決 🎯 主要KPI イネーブリングできた⼈数やエージェント プラットフォーム • イネーブリングの活動でうまくいった 取り組みを横展開 • 直近はコストやトイル削減に専念 🎯 主要KPI 削減できたコスト、トイルの数 © Findy Inc. 2 5
26. 技術標準や Ops の型化をプラットフォームで担当 • Google Cloud プロジェクトと使⽤技術の統⼀によりプラットフォーム化 ◦ インフラリソースを module 化して共通利⽤を可能に ◦ 技術標準を定めたことによる Ops の型化 ▪ 型化 ≒ AI スキル化 ▪ Findy Data Engineering プラグインが誕⽣ ▪ 事業部サイドでも運⽤が出来る状態へ • セキュリティやコストの対策範囲を限定し確実に対応が⾏き渡るようにする • データ基盤運⽤の⼯数を削減し、コア業務であるイネーブリングに集中 © Findy Inc. 26
27. ターゲットを絞って データ x AI 活⽤をイネーブリング © Findy Inc. 27
28. ターゲットを絞ってデータ x AI 活⽤をイネーブリング 組織のデータ x AI 活⽤度合いを三段階に整理し、注⼒ターゲットを明確化 データヘビー層 データ顕在層 データ潜在層 BigQuery コンソール上で SQL を定常的に書いていた⼈ SQL は書けないがデータを使い たい⼈ SQL は書けないためデータを使 うことを諦めている⼈ 対応⽅針 対応⽅針 対応⽅針 データイネーブリング対象外 【注⼒】AI Agent を整備 データイネーブリング対象外 ※ BigQuery MCP を⾃分で設定 して数字の確認もできる⼈が多 いためそもそもイネーブリング の必要がない この層に対して AI Agent を整備 し、データ活⽤の底上げを推進 誤った活⽤を独⾃に進めてしま うリスク リソース配分を考慮し、本 フェーズでのイネーブリングの ⽀援対象外とする © Findy Inc. 28
29. Looker の会話分析でデータ抽出や分析を省⼒化 • • データイネーブリングの取り組みで整備をし始め ていたセマンティックレイヤーを元に Looker の 会話分析を活⽤ Looker にログイン出来る⼈であれば利⽤ができ るため運⽤も⼿軽（極⼒マネージドの⽅針） © Findy Inc. 29
30. フィードバックサイクルを回し回答精度を上げる • • 社内のメンバーからの FB を元に評価ケースを⽤意 ◦ Explore やコンテキストを変更するたびに評価し直し改善を確認 データチームとしても気づけなかった改善点が浮き彫りに ◦ 現場で使われるユビキタス⾔語の整理やデータモデリングの⾒直しに繋がる © Findy Inc. 30
31. 振り返り 良かったこと • AI x データへの成熟度別に⽅針を決めてチーム で効果的にイネーブリング出来る体制を整えら れたこと • Looker など SaaS を使って⽐較的⼯数をかけ ずに運⽤出来る状態なこと • セマンティックレイヤーによって使⽤するデー タの限定や指標の⼀貫性を担保できた前提で AI Agent の活⽤、改善ができていること ⾒えてきた課題 • データ品質と指標の説明可能性 ◦ ◦ • 外部向けや経営層向けにデータを提供する 機会が増えた 品質や定義を説明出来る（または AI が説明 出来る）状態を⽬指す コストの適正化 ◦ AI Agent に投資していきたいがコストの増 加は最⼩限に抑えたい © Findy Inc. 31
32. まとめ • • • ファインディのデータを取り巻く環境では⽇々変化している ◦ AI によるデータ活⽤が活発化 ◦ 事業や組織の拡⼤によるデータ量も増加 ◦ ⼀⽅で、データエンジニアのチームは少数精鋭になりがち ファインディのデータチームにおいては 2 つの側⾯で AI 活⽤ ◦ SaaSやマネージドサービスを積極採⽤して Ops を型化（≒ AI スキル化） ◦ セマンティックレイヤーを整備し安全‧正確に AIを使える環境を提供 今後の展望 ◦ データ品質と指標の説明可能性の向上 ◦ AI Agent によるデータ活⽤の最⼤化とコストの適正化 © Findy Inc. 32
33. データエンジニア 絶賛募集中です！！ 複数プロダクト横断データ基盤を設計・開発しています！ 興味ある方はご応募、カジュアル面談お待ちしています→ © Findy Inc. 33
34. ご清聴ありがとうございました🙏 © Findy Inc. 34