Snowflakeで実現するデータガバナンス

2024年4月に行われたKDDI・Supershipによる勉強会にて、Supership システム統括本部 データエクスペリエンス推進部の竹林・井波が講演した際のスライドです。

Supershipでは一緒に働くSuperな仲間を大募集中です！募集職種など採用情報は下記よりご参照ください。
https://supership.jp/recruit/

■講演タイトル：
Snowflakeで実現するデータガバナンス
■アジェンダ：
Supershipにおけるデータガバナンスの実現に向けたSnowflakeの導入について、その背景や決め手、リソース構成をコスト最適化や人為的リスク削減の観点からお話しします。
■登壇者：
Supership システム統括本部 データエクスペリエンス推進部 部長
竹林 照光
Supership システム統括本部 データエクスペリエンス推進部 データガバナンスG
井波 駿

Transcript

1. Snowflakeで実現する データガバナンス 2024/04/11 Supership株式会社 竹林照光 井波駿
2. 自己紹介 井波 駿 • データガバナンスG • データエンジニア • 1997/1/10 (27歳) 竹林 照光 • データエクスペリエンス推進部 • 部長 • データマネジメント推進G GL • 井波さんが生まれた年に大学入学 データマネジメント 推進G データガバナンスG データエクスペリエンス 推進部 システム統括本部 データサイエンス＆ エンジニアリング部 インフラ基盤統括室 我々は、Supershipが保有するデータの活用機会最大化を図る組織です。 安心安全にデータを扱える環境を目指しデータ分析基盤を提供しています。
3. 2020 dentsu データ領域での協業を 推進するための資本業務提携 （Supership HD） Facebook 世界初の 広告パートナーに 認定（Supership） LINE 国内4社のみの 「Data Provider Partner」 認定（Supership） 2015 2016 2017 2018 amazon SSP領域で 国内初パートナーシップ 締結（Supership） 2019 （注1） （注3） （注4） テレビ朝日 JVにて「UltraImpression」 設立（Supership HD） Novatiq Limited 次世代広告配信PF構築 を目的に資本業務提携 （Supership HD） （注2） 2021 Google Cloud データ利活用内製化支援 パートナー認定 Snowflake 国内3社のみの「PREMIER」パートナー認定 （DATUM STUDIO） 2022 Salesforce Marketing Cloud コンサルティング パートナー認定 （DATUM STUDIO） （注5） 2023 dbt Labs サービスパートナー 契約を締結 （DATUM STUDIO） 分 析 環 境 クラウド オンプレ （注1）2015年11月発表時点。2017年よりSSP接続企業として事業連携 (注2) 2016年11月契約締結時点 （注3）2021年9月時点。2017年10月発表時点では2社（注4）2018年5月発表時点 （注5）2022年12月発表時点 各プロダクト導入の背景と目的
4. 2020 dentsu データ領域での協業を 推進するための資本業務提携 （Supership HD） Facebook 世界初の 広告パートナーに 認定（Supership） LINE 国内4社のみの 「Data Provider Partner」 認定（Supership） 2015 2016 2017 2018 amazon SSP領域で 国内初パートナーシップ 締結（Supership） 2019 （注1） （注3） （注4） テレビ朝日 JVにて「UltraImpression」 設立（Supership HD） Novatiq Limited 次世代広告配信PF構築 を目的に資本業務提携 （Supership HD） （注2） 2021 Google Cloud データ利活用内製化支援 パートナー認定 Snowflake 国内3社のみの「PREMIER」パートナー認定 （DATUM STUDIO） 2022 Salesforce Marketing Cloud コンサルティング パートナー認定 （DATUM STUDIO） （注5） 2023 dbt Labs サービスパートナー 契約を締結 （DATUM STUDIO） 分 析 環 境 クラウド オンプレ （注1）2015年11月発表時点。2017年よりSSP接続企業として事業連携 (注2) 2016年11月契約締結時点 （注3）2021年9月時点。2017年10月発表時点では2社（注4）2018年5月発表時点 （注5）2022年12月発表時点 各プロダクト導入の背景と目的 社外とのデータ交換の 需要が増えて AWS S3 などを介して送受信 AWSにあるデータを用 いたユースケースが増 え始める データガバナンスに対 する要求が高まる １ ２ ３
5. データガバナンスにおける課題点 権限状態の評価が 困難 課題 ヒューマンエラー リスク 1. 権限状態の可視化 2. データオーナーの明確化 • Pipelineの増加に伴う複雑化 - プロジェクト/ユーザー/データ • 契約や法律の変更のたび、ユー ザーのオペレーションで対応 課題解決の方向性 • Supershipが保有する全てのデータは企業間の契約締結によって提供されたもの • 契約締結者をデータオーナーと定義した データガバナンスの大方針として、 データオーナーの責務を果たせる環境（契約の利用範囲で活用するガードレール設置）及び、 データオーナーが適切なユーザーの利用を管理できる実行体制を構築することを目指した。
6. ガバナンス維持のための Snowflakeリソース構成
7. アジェンダ ここからは、弊社がデータガバナンスにおいて抱えていた課題に対して、 Snowflakeを用いて解決した取り組みについてお話します。 • Snowflake導入の決め手 • Snowflakeでデータガバナンスを維持するためのリソース構成について • 得られたメリット
8. Snowflake導入の背景 デジタル広告事業の一環で、広告配信ログやユーザーの属性情報などのデータを分析する業 務のためにデータ分析基盤が作られました。 当初はオンプレでApache Hadoopなどを用いて実装しており、以下のような課題を抱えてい ました。 1. データ利用の権限やポリシー適用などの対応を機械的に行う仕組みに乏しい →手運用での対応も多く、データガバナンスのための運用負荷が高い →ユーザー側でポリシー適用するため、人為的ミスのリスクを常に抱えていた 2. データ量の増加に、キャパシティ増加の対応が追いつかない データの蓄積場所をオンプレからクラウド化する際に、分析環境として最適な データの蓄積方法を検討 →Snowflake導入へ
9. Snowflake導入の決め手 Snowflakeのこれらの特色が、導入の決め手となりました。 • Role - Grant 方式の権限制御 → 詳細な権限制御の設計が可能に • シンプルなSQLでアクセス可能 → 利用ハードルを低減 • 豊富かつ扱いやすいログ情報 → 継続的な改善活動に有用、SQLで扱えるので分析も容易 →データガバナンス維持のための大方針を満たすことができる これらの特色を活かして、データガバナンス維持のためのリソース構成の設計をしました。
10. ガバナンス維持のためのSnowflakeリソース構成 データを蓄えるためのDatabaseとは別に、データ利用者が属する業務ごとの Projectの単位でもDatabaseを作成する構成としました。 （この構成に特に名前はつけていませんでしたが、Project構成と呼ぶことにします） また、このProjectの単位でWarehouseも作成し、データ利用者は属するProject のWarehouseのみ使用できるように権限付与することとしました。 データ蓄積Database ◀両者の違い▶ Project Database 持つ(Tableに蓄積) データの実体 持たない(Viewで参照) 認めない 一般ユーザーの権限付与 認める(そのProjectに属する人のみ)
11. Snowflakeリソース構成：Project構成 リソース図 DATABASE WAREHOUSE FUNCTIONAL ROLE A SCHEMA X SCHEMA Y VIEW PROCEDURE / UDF PROJECT A USER PROJECT B USER データ蓄積 DATABASE X データ蓄積 DATABASE Y TABLE TABLE VIEW PROJECT A RESOURCES 各リソースへの権限 は、ACCESS ROLEを 介して付与 Project DATABASEの SCHEMAは、参照先のデータ 蓄積DATABASEごとに切る ACCESS ROLE ACCESS ROLE ACCESS ROLE ACCESS ROLE 参照 参照 FUNCTIONAL ROLE B
12. Snowflakeリソース構成：Project構成 - メリット この構成にすることで得られたメリットとして、以下が挙げられます。 メリット • 利用者にはRawデータへの権限を渡さず、Viewを介してデータアクセスさせ ることで、それぞれのデータへのアクセス可否を適切な粒度で制御可能 • Viewを介しているので、WHERE句を用いて行単位でのアクセス制御が可能 →一括でのポリシー適用も実現可能に • リソース構成がパターン化されTerraformによるリソース管理とも相性◎ これらにより、データガバナンスの維持管理が容易となります！
13. Project単位での運用による副次的効果 Project単位でのリソース構成とすることにより、 以下のような副次的効果も得られました。 • リソースの棚卸しが容易に 利用するユーザーの範囲が広いため棚卸し作業がボリューミーになるが Projectごとに責任者を据えているため、責任範囲を明確にして依頼ができる →30個以上あるProjectの棚卸しもスムーズに • 発生コストをProjectごとに振り分け可能 WarehouseをProjectごとに分けているため、Snowflakeで発生した コンピューティングのコストを振り分けて管理可能 → コストの発生源を可視化し、最適化へと繋げられる
14. コスト最適化への取り組み Project単位で発生したコンピューティングコストを管理するため PJ_Denimというシステムを開発し導入しました。 PJ_Denimの特徴 • Project単位でコストを可視化 ダッシュボードを作成し、コスト情報をビジュアライズ • Snowflake以外のプロダクトのコストと合算 AWSなどのクラウドリソースのコストや、Databricksなどの分析プロダクトとの合算 も可能 • MP・SMP・業SIMとの達成率比較も 現時点でのコストがMPに対してどのくらい消化されているのか、ダッシュボード上で 比較が可能
15. コスト最適化への取り組み：PJ_Denim (左) 全体コストのサマリ (下) Snowflake Project単位の月額コスト一覧
16. コスト最適化への取り組み：コスト削減効果 前述のPJ_Denim等によるコスト可視化の取り組み × Snowflakeの豊富なアクセスログを分析することによる戦略立案 = コスト削減の取り組みが加速！ 結果的に、Snowflakeのコストを ピーク時→現在で 約25%の削減に成功！
17. まとめ Snowflakeの構成にProjectの概念を取り入れると… • データガバナンス維持が容易になる • データ分析基盤の運用管理も楽になる • コストの見通しも良くなる と、メリットがとても多いです！ データの価値を高めるために適した構成となっていると思います！ ぜひ参考にしていただけると幸いです。 ありがとうございました。