データカタログを自作したけど 運用しなかった話@Findy Lunch LT「データカタログ 事例から学ぶメタデータ管理の実態」

▼概要：
本資料は2024年11月28日、Findy社主催のFindy Lunch LT「データカタログ 事例から学ぶメタデータ管理の実態」における講演資料です

▼イベントURL：
https://findy.connpass.com/event/336688/

▼詳細：
データカタログを自作したものの、運用が軌道に乗らず失敗してしまった話について、その経緯と反省点をまとめた
※2024年5月24日、primeNumber社主催のTROCCOユーザ会にて発表した際の資料をアップデートしたものです
https://speakerdeck.com/ryo_suzuki/detakataroguwozi-zuo-sitakedoyun-yong-dekinakatutahua-at-troccoug-detahuo-yong-wocu-jin-surudetakatarogumetadetanohuo-yong-shu

Transcript

1. ©HR Force Inc. All rights reserved. データカタログを自作したけど 運用しなかった話 1 2024年11月28日@Findy Lunch LT「データカタログ 事例から学ぶメタデータ管理の実態」 すずき（@suzupappa）
2. ©HR Force Inc. All rights reserved. 自己紹介 鈴木 凌（すずき） 株式会社HR Force DS統括部 DXグループ Data / Opsチーム マネージャー データを使って事業を推進するお仕事 → データエンジニア / アナリティクスエンジニア → Salesforce / Tableauシステム管理者 @suzupappa @suzupappa Ryo Suzuki 2
3. ©2024 HR Force Inc. リクルーティングクラブは、人事担当者のための成長志向型コミュニティです。 このサービスは、専門家による知識共有をはじめとし、会員同士の相互学習、経験共有、 そして専門的なスキル向上を通じて、人事プロフェッショナルの継続的な成長を支援します。 リクルーティングクラブとは？ このサービスの目的は、企業の人事担当者が、より効果的かつ効率的に人材を確保できるよう 支援することです。具体的には、採用スキルの向上、業務の効率化、ネットワークの構築、 および採用活動のデータに基づく改善をコミュニティを通して目指します。 目的 新サービス「リクルーティングクラブ」のご紹介 サービスLPは こちらから
4. ©HR Force Inc. All rights reserved. はじめに 4
5. ©HR Force Inc. All rights reserved. はじめに 結論 5
6. ©HR Force Inc. All rights reserved. はじめに データカタログを自作したけど、 運用をやめました・・・ 6
7. ©HR Force Inc. All rights reserved. はじめに そもそも作成のきっかけ 7
8. ©HR Force Inc. All rights reserved. はじめに ビジネス側の人： Snowflakeにどんなデータがあるか知りたいから 一覧表（データカタログ）が欲しい！ そういうのがあったらデータ使う！！ 8
9. ©HR Force Inc. All rights reserved. はじめに ビジネス側の人： Snowflakeにどんなデータがあるか知りたいから 一覧表（データカタログ）が欲しい！ そういうのがあったらデータ使う！！ → わかった！やってみる！ 9
10. ©HR Force Inc. All rights reserved. データカタログ概要 10
11. ©HR Force Inc. All rights reserved. メタデータ カタログ概要 データカタログ概要 11
12. ©HR Force Inc. All rights reserved. データカタログ概要 SQL: show columns; で 取得したメタデータ 12
13. ©HR Force Inc. All rights reserved. データカタログ概要 13
14. ©HR Force Inc. All rights reserved. データカタログ概要 制作にかかった時間： ・2－3時間（それ以下？） なぜこの構成： ・当時、Notionに情報を集約しようという動きがあった ・Notionのデータベース機能で階層構造も作れ、要件も問題なさそうだった ・追加コストがかからず、最も手軽に構築できそうだった 14
15. ©HR Force Inc. All rights reserved. データカタログ概要 ただし、数か月のうちにだんだんと衰退し、 最後は運用を終了することに 15
16. ©HR Force Inc. All rights reserved. 問題点 16
17. ©HR Force Inc. All rights reserved. 問題点 勢いで始めてしまったこと 17
18. ©HR Force Inc. All rights reserved. 問題点 「勢いで始めてしまった」の言語化 ・カタログを利用するユーザを明確にしていなかったこと ・カタログのオーナーをビジネス側の人間にしなかったこと ・カタログに記載するテーブルやカラムのスコープを定めなかったこと ・利用者にとって最適なUI・UXを考慮しなかったこと 18
19. ©HR Force Inc. All rights reserved. 問題点 「勢いで始めてしまった」の言語化 ・カタログを利用するユーザを明確にしていなかったこと ・カタログのオーナーをビジネス側の人間にしなかったこと ・カタログに記載するテーブルやカラムのスコープを定めなかったこと ・利用者にとって最適なUI・UXを考慮しなかったこと 19
20. ©HR Force Inc. All rights reserved. 問題点 ~利用ユーザを明確にしていなかった~ 20 詳しい 詳しくない 使わない 使う データ エンジニ ア データ アナリス ト マーケ セールス データ基盤への理解度と「役割」
21. ©HR Force Inc. All rights reserved. 問題点 21 詳しい 詳しくない 使わない 使う ほぼ毎日 使う まあまあ 使う たまに 使う ほとんど 使わない データ基盤への理解度と「頻度」
22. ©HR Force Inc. All rights reserved. はじめに ビジネス側の人： Snowflakeにどんなテーブルがあるか知りたいから 一覧表（データカタログ）が欲しい！作って！ 再掲
23. ©HR Force Inc. All rights reserved. はじめに ビジネス側の人： Snowflakeにどんなテーブルがあるか知りたいから 一覧表（データカタログ）が欲しい！作って！ 再掲
24. ©HR Force Inc. All rights reserved. はじめに ビジネス側の人： Snowflakeにどんなテーブルがあるか知りたいから 一覧表（データカタログ）が欲しい！作って！ 再掲 まあまあ使う 属性の人からの依頼・・・
25. ©HR Force Inc. All rights reserved. 問題点 25 詳しい 詳しくない 使わない 使う ほぼ毎日 使う まあまあ 使う たまに 使う ほとんど 使わない データ基盤への理解度と「頻度」
26. ©HR Force Inc. All rights reserved. 問題点 データカタログの利用者は、 たまに使う 属性の人
27. ©HR Force Inc. All rights reserved. 問題点 27 詳しい 詳しくない 使わない 使う ほぼ毎日 使う まあまあ 使う たまに 使う ほとんど 使わない データ基盤への理解度と「頻度」
28. ©HR Force Inc. All rights reserved. 問題点 28 ほぼ全てのテーブルにカラム説明がはいっているので、 まあまあ使う 属性の人は見ない 28
29. ©HR Force Inc. All rights reserved. 問題点 「勢いで始めてしまった」の言語化 ・カタログを利用するユーザを明確にしていなかったこと ・カタログのオーナーをビジネス側の人間にしなかったこと ・カタログに記載するテーブルのスコープを定めなかったこと ・利用者にとって最適なUI・UXを考慮しなかったこと 29 再掲
30. ©HR Force Inc. All rights reserved. まとめ 30
31. ©HR Force Inc. All rights reserved. まとめ データカタログは社内向けのプロダクト 誰に届けるのか、どうやって届けるのか、考え抜こう
32. ©HR Force Inc. All rights reserved. おしまい