Share
Embed
データ活用の進め方をステークホルダーに理解してもらうためにやったこと
データ基盤管理の考え方 〜データカタログ、データレイクの極意〜 Lunch LT
https://findy.connpass.com/event/288091/
の発表スライドです。
Toru Nishiyama
July 10, 2023
Transcript
18 slides
-
Copyright © 2019 FOLIO Co., Ltd. All Rights Reserved. データ活⽤の進め⽅をステークホルダーに
理解してもらうためにやったこと 2023/07/11 -
2 ⾃⼰紹介 • ⻄⼭ 徹(Twitter: https://twitter.com/fuc6w ) • 2019年より株式会社FOLIOに⼊社、⼊社以来データ基盤の開 発・運⽤からデータマート構築やダッシュボード構築、
データ分析などデータ活⽤周りを幅広く担当。 • 2023年からはToC事業にてプロダクトマネージャーに従事 • 趣味は⼦ども(1歳)と遊ぶこと、ロードバイク -
6 データ活⽤で必要なことの例 データエンジニア: データウェアハウスの運⽤、パフォーマンス最適化 ELTパイプラインの開発や運⽤・CI/CD データレイク開発・運⽤ 各コンポーネントの適切な権限管理 データ活⽤には多種多様なタスクがあり、多岐にわたる課題に取り組むため それぞれの課題に対応する役割が定義されてきた データアナリスト:
ビジネスサイドのデータニーズの理解とデータ提供 KPIダッシュボードの構築 アドホックなデータ分析 データPdM・PjM・データスチュワード: データ活⽤の要件定義 ステークホルダーとの折衝 ロードマップ策定 アーキテクチャ設計 アナリティクスエンジニア: データマート設計 データモデリング SQL・BIツールの社内研修 メタデータ管理 参考: https://speakerdeck.com/cmtamai/anariteikusuenziniatoha-what-is-analytics-engineer https://note.com/datamanagement/n/nf5d9e9c50635 -
8 改めて本⽇のテーマ • 私の所属しているFOLIOではデータ基盤はあるものの、データ活⽤は まだまだ未成熟 • しかし直近、データに対するニーズが⾼くなり今後に向けてデータ組織の 体制を再検討することに • そこで、開発組織のマネージャーと「データ基盤構築にはどういう仕事が
あるか」「どういった体制をつくっていけばよいか」を説明し議論する 機会があり、⼀定の理解を得られた • その時にやったことをケーススタディとしてお話します -
10 具体的にどうやって説明したか? • Q. データ基盤ってどういうシステム? どうやって開発を進めていけば良い? • A.いわゆるデータ基盤は 「System of
Record(SoR)」 「System of Engagement(SoE)」 「System of Insight(SoI)」 の要素をあわせ持つシステムであり、上記の要素をバランスよく 満たしながら開発を進めていく必要があります -
11 具体的にどうやって説明したか? • Q. データ基盤ってどういうシステム? どうやって開発を進めていけば良い? • A.いわゆるデータ基盤は 「System of
Records(SoR)」 「System of Engagement(SoE)」 「System of Insight(SoI)」 の要素をあわせ持つシステムであり、これらの要素をバランスよく 満たしながら開発を進めていく必要があります -
12 SoR / SoE / SoIとは • システム開発におけるシステムの種類を指す⽤語 https://business.ntt-east.co.jp/content/cloudsolution/column-421.html より引⽤し作成
特徴 該当するシステムの例 System of Records(SoR) 記録のためのシステム - 会計システム - 製造管理システム System of Engagement(SoE) ユーザーとつながるための システム - CRM - SNS System of Insight(SoI) インサイトを分析するための システム - BIシステム - ERP …これ、データ活⽤におけるデータエンジニア・アナリティクスエンジニア・ データアナリストの役割にマッピングできるのでは? -
13 SoR / SoE / SoIに分けて考えるデータ基盤 求められる役割 取り組む課題の例 System of
Records(SoR) 正確なデータを記録し集める 「データエンジニア」 - データを収集し、利⽤可能な形にする - データ⾃体の正確性や鮮度を担保する - データ基盤システムの安定性を⾼める System of Engagement(SoE) ユーザーが利⽤しやすい データ分析環境を作る 「アナリティクスエンジニア」 - データ活⽤を組織に浸透させていく - ⾃らデータを活⽤できる⼈を増やしていく - データを誤解なく普及させる System of Insight(SoI) データを分析しビジネスに 活⽤できるようにする 「データアナリスト」 - データを使って事業の課題を発⾒する - データを使ってマーケティング施策の効果を計測する - データに基づく新規施策や機能追加の⽴案 • マッピングしてみた結果がこちら -
14 SoR / SoE / SoIに分けて考えるデータ基盤 • さきほどの3つの役割に加え、それらの前段にデータ活⽤⾃体の企画や 要件定義も⾏う必要があり、これは主に、 データプロダクトマネージャー
・PjM・データスチュワード(※以降便宜上 データプロダクトマネージャーと記載)とよばれる役割の⽅が活躍している -
15 SoR / SoE / SoIに分けて考えるデータ基盤 • データ活⽤を⾼度化するための体制づくりを考える際には、 「企画・要件定義領域 /
データプロダクトマネージャー」 「SoR領域 / データエンジニア」 「SoE領域 / アナリティクスエンジニア」 「SoI領域 / データアナリスト」 のうち、今どれができていて、どれができていないのかをアセスメントし、 できていないところを補うための体制づくりが必要 • 実際に私達もこのフレームに沿ってアセスメントを実施し、何ができていて何が できていないかを確認した -
16 アセスメントの活⽤例 • 例えばこんなことが起きていたら… 起きていること 考えられる原因 - そもそもデータを使って何がしたいかが明らかになっていない - 今あるデータ基盤の全体像や今後の展望が不明瞭
企画・要件定義領域が弱い可能性あり - 欲しいデータがデータ基盤上に揃っておらず、分析者のローカル端末 上などで結合している - ELTバッチが不安定でデータの鮮度が悪いor不正確 System of Records領域が弱い可能性あり - データカタログがないまたは不⼗分でデータ活⽤が属⼈化し、⼈や 部署によって同じKPIを⾒ているはずなのに数値が異なる - 分析をするのに毎回⻑⼤なクエリを書く必要がある System of Engagement領域が弱い可能性あり - データがあっても活⽤⽅法がわからないので、そこから課題の発⾒や 深掘りにつながらない System of Insight領域が弱い可能性あり -
18 ⼀緒に働く仲間を募集しています! データリライアビリティエンジニア FOLIOでは、⼀般向け、企業向けにそれぞれ、様々なデータとトランザクションが発⽣ するサービスを開発、提供しており、それらのデータを有効に活⽤するために、データ 分析基盤およびデータ活⽤のチームが組成されています。 その他ポジション • バックエンドエンジニア(Scala) •
フロントエンドエンジニア • iOSエンジニア/Androidエンジニア • QAマネージャー/QAエンジニア • ソリューションアーキテクト …etc. 情報交換やカジュアル⾯談、歓迎しております! ご連絡はTwitter DM開放しているのでそちらからお気軽に!