BigQuery データ キャンバスでデータモデリングしてみた / I tried data modeling with BigQuery Data Canvas

■イベント
#bq_sushi #19
https://bq-sushi.connpass.com/event/317348/

■発表者
技術本部 研究開発部 Architectグループ
中根 洋平

■研究開発職 採用情報
https://media.sansan-engineering.com/randd

■Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Transcript

1. Sansan株式会社 部署 名前 BigQuery データ キャンバスで データモデリングしてみた Sansan技術本部 Sansan株式会社 技術本部研究開発部 中根 洋平
2. アジェンダ • 自己紹介 • データモデリングとData Canvas • まとめ
3. ⾃⼰紹介
4. 中根 洋平 Sansan株式会社 技術本部研究開発部Architectグループ Data Direction Team インフラエンジニアとしてキャリアをスタート 42Uラックでは飽き⾜らず気がつけばクラウドエンジニアとして雲の 上に⼿を伸ばす Google Cloud を中⼼にデータエンジニア, アーキテクト, CCoEと活動 Google Cloud Partner Top Engineer 2023, 2024受賞 さらなるワクワクを求め2024年4⽉よりSansan株式会社へ データエンジニアとして参画
5. 会社概要 4 表参道本社 神山ラボ Sansan Innovation Lab 社 名 Sansan株式会社 所在地 表参道本社 東京都渋⾕区神宮前5-52-2 ⻘⼭オーバルビル13F グループ 会社 Sansan Global Pte. Ltd. （シンガポール） Sansan Global Development Center, Inc.（フィリピン） Sansan Global (Thailand) Co., Ltd.（タイ） ログミー株式会社 株式会社ダイヤモンド企業情報編集社 クリエイティブサーベイ株式会社 株式会社⾔語理解研究所 従業員数 1519名（2024年2⽉29⽇時点） 2007年6⽉11⽇ 設 ⽴ ⽀店：⼤阪、名古屋、福岡 サテライトオフィス：徳島、京都、新潟 拠 点 寺⽥ 親弘 代表者
6. 請求 ⼈や企業との出会いをビジネスチャンスにつなげる「働き⽅を変えるDXサービス」を提供 ビジネスフローにおけるさまざまな分野でサービスを展開 名刺管理 名刺DX 営業 営業DX 契約 法務DX 経理DX 個⼈向けDX 法⼈向けDX 必要な情報を すぐに⾒つけられる 情報の管理がしやすく すぐに共有できる 情報を分析・活⽤しやすく データに基づいた判断ができる SansanのDXサービスの活⽤で変わる働き⽅ 働き⽅を変えるDXサービス
7. Data Direction Team データ利活⽤促進のために 本当になんでもやります
8. データにまつわるエトセトラを全⽅位⽀援 アイデア 収集 仮説・検証 フィードバック 振り返り 運⽤・保守 管理
9. Data Direction Teamの守備範囲 ⼈脈情報 コンタクト 情報 企業情報 その他情報 契約情報 請求情報 全社横断データ基盤 企業DB データ構造化 データ連携 データ連携 名寄せ データプロダクト マネジメント Salesforce ※ Salesforce は salesforce.com, inc. の商標であり、許可のもとで使⽤しています。 各種BI 探索的 データ分析 In-house solution
10. Data Direction Teamは データを使って5分で 意思決定できる世界を作る
11. なので データ利活⽤促進のために 本当になんでもやります
12. データモデリングとData Canvas
13. 本⽇お話する「データモデリング」は広義のモデリングではなく、分析にお けるデータマートモデリングを例とします 本⽇のお話におけるデータモデリング
14. DDTの業務を例に以下のフェーズについてData Canvasを利⽤するお話をし たいと思います。 本⽇のお話におけるストーリー
15. ⼩劇場 古⽶新⽶ナカネくん
16. ペルソナ: ナカネ-san • 最近SansanにJOINしたばかりのデータエンジニア • PythonとRとSQLを嗜む • データ基盤/クラウドサービスはそこそこ • ドメイン知識はまだまだ • データ中⾝を⾒ないと不安 データエンジニアの1⽇のはじまり 今⽇も1⽇がんばるぞい
17. 事の始まりは相談から 新機能の追加案を検討するにあたり 既存ユーザーの利⽤傾向を調査をしたい (パイセン)利⽤動向のイベントデ ータなら収集済みだからすぐに出 せます (パイセン)イベント名xxxで その利⽤傾向は表せそう
18. 必要なデータは? 過去の似たような アーティファクト データに関する ドキュメント 実際のデータ
19. 実際に確認しないとわからないこともある 資料からわからないこと • サンプリングにおけるデータ量 • データ傾向・季節性 • ビジネス・プロダクト観点で必要な 要素 • SQLロジックの実装背景
20. どうしようか、、、 そんなとき
21. ホットな情報 from ネバダ Google Cloud Next '24による発表 使ってみる?
22. ちょっとその前に
23. ちょっとその前に Sansanでは⾮常にセキュリティを⼤事にしています。
24. とっても⼤事なセキュリティ ⼈脈情報 コンタクト 情報 企業情報 その他情報 契約情報 請求情報 全社横断データ基盤 企業DB データ構造化 データ連携 データ連携 名寄せ データプロダクト マネジメント Salesforce ※ Salesforce は salesforce.com, inc. の商標であり、許可のもとで使⽤しています。 各種BI 探索的 データ分析 In-house solution
25. セキュリティを守ることはもちろん、⾼セキュリティを維持し続けるために いろいろな取り組みをしています。 棚卸しドリブン開発 とっても⼤事なセキュリティ rm -rf $HOME/* 年に複数回データ棚卸し そのため本資料のデータはすべてダミーデータとなります。
26. ちょっとその前に データ基盤 アーキテクチャ図
27. データモデリング
28. モデリングの流れ 1. データへのアクセス 2. メタデータの確認 3. モデリングのためのEDA 4. モデリング 5. レビュー
29. データへのアクセス • データ基盤へのアクセスはすべてBotによるワークフローにて管理 • 恒常的にアクセスしてもよいデータは利⽤開始時に申請 • セキュアなデータは期限付き承認とし都度申請が必要 24時間たったら再申請してね
30. データキャンバスの⼀番最初は⾃然⾔語 or キーワード検索 メタデータの確認
31. テーブルノードからクエリを実施可能 モデリングのためのEDA
32. 親ノード結果を⼀時テーブルとしているため処理を経ることにより データ処理量も削減 結構便利な⼀時テーブルによるデータ処理量の削減
33. • データの可視化も可能 • AIによるサマリ(英語)もあり キャンバスのちょっと前から使えるようになった可視化
34. ノード作業毎のリレーションが視覚的 EDAもtidyに
35. Let's モデリング
36. ほぼEDAと同じ流れ • サンプリングデータから開始 • EDAの結果を基に仮説検証パターンにおける変 更ポイントを意識しCTE毎にノード化 • JOINによるハレーションには特に気をつける モデリング
37. • データキャンバスはリソースツリーに表⽰ • 共有されたキャンバスのデータは⼀時テーブルのため他のユーザーが キャンバスを開いただけでは結果は⾒えず各ノードの実⾏が必要 作ったものをレビュー
38. 1. データへのアクセス 2. メタデータの確認 3. EDA 4. モデリング 5. レビュー まとめ • IAM • データキャンバス • データキャンバス • データキャンバス • データキャンバス ⼋⾯六臂の活躍
39. • キャンバスのフローからSQLへ移⾏しやすい • 処理がBigQuery内にて完結 • データを持ち出さず共有が可能 Good
40. Good: キャンバスのフローからSQLへ移⾏しやすい with posts_answer as ( select id as post_id, creation_date as created_at, 'answer' as type, title, body, owner_user_id, cast(parent_id as string) as parent_id from foobar_posts_answers where creation_date >= timestamp("2022-01-01") ), posts_questions as ( select id as post_id, creation_date as created_at, 'question' as type, title, body, owner_user_id, parent_id from hogehoge_posts_questions where creation_date >= timestamp("2022-01-01") ), user_group_foo as (
41. • データエクスポート不要 • 処理ロジックは標準SQLのみ ◦ DDTではTransform処理はdbt中⼼ ◦ Data Canvasでの営みはポータビリティが⾼くなる(のでは?) Good: 処理がBigQuery内にて完結
42. • 確認・共有・可視化の何れの処理でもデータ移動が不要 ◦ ノートブックやスプレッドシートとの明確な差別化 ◦ 処理データはユーザーの⼀時テーブルとなるため最⻑24時間後には消える ◦ 他のユーザーが参照する際は参照ユーザーの権限にてジョブの実⾏が必須 Good: データを持ち出さず共有が可能
43. • セキュリティは完璧ではない • UXはまだまだ • AI⽣成クエリの精度 But not perfect
44. • クエリ結果は保存されないが可視化のデータは保存される Bad: セキュリティは完璧ではない
45. • ノードが増えると重くなる • 共有は良いがコラボレーションはまだまだ • ノード間の参照が分かりづらい Bad: UXはまだまだ
46. 検証したデータはメタデータが少ないからか存在しないテーブルを指定 Bad: AI⽣成クエリの精度 actionsなんてない、、、
47. まとめ
48. Good • キャンバスのフローからSQLへ移⾏しやすい • 処理がBigQuery内にて完結 • データを持ち出さず共有が可能 まとめ Bad • セキュリティは完璧ではない • UXはまだまだ • AI⽣成クエリの精度
49. まとめ どう?
50. まとめ: DDTメンバーのリアクション 使い道が限定的 ノートブックで 良いのでは? ざっくりとした モデリングなら
51. まだまだリリースされたばかりのサービス ユーザーからのフィードバックにてより良くなっていくことを期待 まとめ
52. Sansan 研究開発部 採⽤情報 https://media.sansan-engineering.com/randd
53. We're hiring! データを使って5分で 意思決定できる世界を作る