FivetranとGoogleCloudにより実現するセールスデータの統合と分析への活用

FivetranとGoogle Cloudで始めるモダンデータスタック(https://go.fivetran.com/events/fivetran-google-clouddeshi-merumodandetasutatuku)でお話させてもらったときの資料です。

Transcript

1. FivetranとGoogleCloudにより実現する セールスデータの統合と分析への活用 2024/06/19 FivetranとGoogle Cloudで始めるモダンデータスタック
2. 自己紹介 石井 正浩 / @marufeuille 2022/8 タイミー入社 & DREチームJoin データ基盤の開発・運用やってます。最近はデータ コントラクトの実現を悩んでます。 趣味でコーヒー☕淹れたり、煎ったりしてます
3. 目次 • タイミーのデータ基盤と 扱うデータについて • Fivetranの活用 • GoogleCloudの活用 • まとめと今後の展望
4. 1 タイミーのデータ基盤と 扱うデータについて
5. タイミーが扱うデータは どんなものがあり、どのように使っているの でしょうか
6. タイミーの実績 スキマ バイト No.1 ※1 ※2 [調査方法]インターネット調査 [調査期間]2024 年 2 月 9 日~11 日 [調査概要]スキマバイトアプリサービスの実態調査 [調査 委託先]株式会社マクロミル 利用率 ・リピート率 ※1 ※2 導入事業者数 98,000企業 ワーカー数 700万人
8. アプリケーション上のデータ ワーカー様 ワーカー 登録した DB ユーザ情報が 生成される 案件に マッチングした マッチング情報が 生成される 実際に働いた 働いたという情報が 生成される クライアント企業様 ワーカー様 求人を出す 求人情報が 生成される ワーカー様と やりとりをする やり取りに関する情報が 生成される
9. 商談に関するデータ クライアント企業様 タイミーのセールス/CS 商談 商談結果を記入 クライアント企業様 固有のデータ
10. データ活用の例 利用状況をみてク ライアント企業様 へリテンション施 策が打ちたい セールス DS/エンジニア クライアント企業 担当者様 勤務する ワーカー様の 一覧がほしい ワーカー様へ案件の レコメンドがしたい 必要なデータの鮮度(例) 先月分が揃っていれば良い 前日分まで揃っていてほしい 直前1時間分がほしい
11. まとめると
12. 全体感 DB app log クライアント企業様 ワーカー様 Timee App 管理画面 行動 履歴 DB app log 行動 履歴 タイミーのセールス/CS データ 基盤 商談 その他 外部データ Timee App 様々なデータソースを統合し、ユーザニーズに合わせて提供していく必要がある 様々なニーズ
13. タイミーのデータ基盤に求められる特性 - 様々なデータソースをコスト低く扱えないといけない - 異なるユーザニーズを満たしたデータ提供も必要である - 複数のデータを統合して扱う必要がある
14. 2 Fivetranの活用
15. 以前のデータ基盤の入口(簡略版) データ 基盤 SaaS類 Embulk (バッチ処理) Timee App
16. 課題感 状態 データソースの追加が大変 embulkのプラグインとして公開されていればすぐ。な い場合自前でプラグインを書かないといけない(ruby or javaだが、チーム内でメンテナンスは困難) インフラ管理が大変 インフラ(OSレベル)の管理が必要。 障害調査が大変 ログが読みにくい... SaaSからのデータ連携が大変 SaaSはエンドポイント単位でAPI limitが制限されてい るが、1つのSaaSから複数オブジェクトを転送する場 合にアクセスの制御ができない 一言でいうと、運用がツライ
17. 導入後のデータ基盤の入口(簡易版) データ 基盤 SaaS類 高頻度の 差分転送
18. データソースの追加 Lite Connectorによる未対応SaaSへの対応 https://fivetran.com/docs/by-request-program SmartHRコネクタをリクエストしたときの動き 初回打ち合わせ 2月頃 Dev版リリース 4月中旬頃 Fivetran社開発期間 Timee検証中 多数のコネクタにデフォルトで対応 設定も簡単
19. SaaSのrate limitのハンドリング 連携頻度(Sync Frequency)を指定しておけば、適切にアクセスを調整しつつ、 失敗しても自動で再実行されていくので、ほぼNoOps化
20. 運用がツラいは劇的に改善 embulk等は38件(58時間=7人日分) Fivetran に関するものはたったの 3件(1.5時間分) ※ 2023/11時点の抽出です
21. 3 GoogleCloudの活用
22. データ基盤の構成 BigQuery Datastream DataLake Data Warehouse DataMart Looker LookerStudio SpreadSheet Timee App SaaS類
23. データ基盤 on GoogleCloudの良いところ 1. BigQueryによるデータの統合と活用の価値 2. Datastreamによるデータ基盤適用業務の増加
24. データ基盤上でデータを統合する価値 Timee App データ基盤 ・・・
25. Salesforceとアプリケーションデータの連携 データ基盤 data modeling 社内ユーザ 慣れたSalesforce上で よくあるものを 閲覧/分析可能 Timee App data model より高度な分析 売上等
26. DataStreamによるニアリアルタイム連携 BigQuery Datastream DataLake Timee App Embulk Timee App 導入前 導入後 データが 生成される データ基盤上で 利用可能になる SLO 1日 SLO 15分
27. DataStreamによる導入前後の業務の変化 BigQuery Datastream DataLake Timee App Embulk Timee App 導入前 導入後 よりリアルタイム性が高い業務 SLO1日で十分な業務 一本化
28. 4 まとめと今後の展望 (と、宣伝)
29. まとめ - 様々なデータの取り込みがユーザニーズを満たし、かつ運 用コストも低い状態にできている - BigQueryに取り込んだデータを統合することで、単体のと きよりもデータの価値を向上できている with
30. 今後について データ基盤のユースケースを拡張し、社内のデータを使った施策が回る基盤に データ基盤 データを 使った施策 データを使った施策で 集めたデータは基盤上で 利用可能 データ連携 他、様々なSaaSや 外部ソース リテンション 機械学習・AI 出勤簿 ・ ・ ・
31. (宣伝)弊チームの最近の発表 https://speakerdeck.com/chikushi/niariarutaimunodetaji-pan-w ogou-zhu-site-shi-shi-xing-woxiang-shang-sasetahua https://speakerdeck.com/yuinishiyama9/appsheetwoshi-tutadet apin-zhi-nogai-shan https://speakerdeck.com/ttccddtoki/dmbokwocan-kao-nisitadet amanezimentonoqu-rizu-mi https://speakerdeck.com/marufeuille/four-keysniyorudataopsga i-shan-nodi-bu
32. いっしょにデータ品質を改善していきましょう！！ https://hrmos.co/pages/timee/jobs/1682251404118319115 We're hiring!