ABEMAデータマネジメント その難しさとおもしろさ

データマネジメントはプロダクト・組織・データをまたがる取り組みです。その難しさやおもしろさは、当然各社各プロダクトによって異なります。 ABEMAにおけるデータマネジメントについて、動画プロダクト・大規模組織・大規模データ特有の難しさやおもしろさに触れながら、ABEMAデータマネジメントチームでおこなっている実際の取り組みについてご紹介していきます。

Transcript

1. AbemaTV, Inc. All Rights Reserved
 1 ABEMA データマネジメント その難しさとおもしろさ 2023/12/07 #CADATANIGHT 株式会社AbemaTV Sotaro Tanaka @__sotaron__
2. AbemaTV, Inc. All Rights Reserved
 Sotaro Tanaka 株式会社AbemaTV 開発本部 AbemaDataCenter DataManagement Team Mgr • 2023/04~ ABEMAでデータマネジメント • Data Management & BI • Data Engineering • Like: コンテナ技術 / Go / 小倉唯さん • Hobby: 🏂 / 🎮 / ⚽ / 小倉唯さん 2 Profile X(旧Twitter) @__sotaron__
3. AbemaTV, Inc. All Rights Reserved
 今日お話すること 3 ABEMAは来年で開局から8年を迎えます。 そんなABEMAのデータマネジメントには難しいポイントがいくつもありますが、 それゆえにおもしろい環境でもあります。 今回は、以下のトピックから ABEMAデータマネジメントの難しさ、おもしろさをご紹介します。 大規模なプロダクト・組織のデータマネジメントの難しさ 「視聴」というドメイン・概念の捉え難さ・おもしろさ ABEMA DataManagementはどんな人が楽しめる環境か？
4. AbemaTV, Inc. All Rights Reserved
 ABEMAのご紹介 4
5. AbemaTV, Inc. All Rights Reserved
 5 ※ 投資家向け資料 より
6. AbemaTV, Inc. All Rights Reserved
 6 ※ 投資家向け資料 より
7. AbemaTV, Inc. All Rights Reserved
 7 ※ 投資家向け資料 より
8. AbemaTV, Inc. All Rights Reserved
 8 ※ 投資家向け資料 より
9. AbemaTV, Inc. All Rights Reserved
 9 ※ 投資家向け資料 より
10. AbemaTV, Inc. All Rights Reserved
 大規模なプロダクト・組織の データマネジメントの難しさ 10
11. AbemaTV, Inc. All Rights Reserved
 難しさ：大規模プロダクト・組織のデータマネジメント ステークホルダー 11 DMBOKにも書かれているように、データマネジメントには多くのステークホルダーが関わる。 特に大規模なプロダクト・組織になれば、分業の結果、その数はより多くなる。 （図はABEMAの例）
12. AbemaTV, Inc. All Rights Reserved
 難しさ：仕様確認・実装依頼等のコミュニケーションパスの多さ 12 ステークホルダーの数が増えるだけ、コミュニケーションパスは多くなる。 策を講じないと、データに関する問い合わせに答えているだけで 1日が終わるなんてこともザラ 。
13. AbemaTV, Inc. All Rights Reserved
 難しさ：「歴史」 13 サービスの成長・時流に合わせて、 UI/UXも変わっていく。 時間経過とともに、ID空間が壊れたログが生まれていく。 ログやマスタへの変更が、予想もしていなかった 古のレポートに影響する。 「一旦今はこれで。。。」の積み重ね。 当時の仕様を知る人がいなくなり、 「一旦」の先の理想は実現されないまま運用されていく。 ここに至るまでの さまざまなUI でのログを 考慮した最新レポート の計算が必要
14. AbemaTV, Inc. All Rights Reserved
 難しさ：👨👩👶 >「データマネジメントってなに？」 14 大規模なプロダクト・組織になれば、メンバーの各技術領域への習熟度は低くなりがち。 特にデータマネジメントは間接部門なので、 プロダクト初期フェーズで提供価値を固め、 プロダクトに追いつきながらデータマネジメントを成立させないと、 その存在理由をあまり理解していない人が組織に多くなりがち。 ABEMAも例外ではない。
15. AbemaTV, Inc. All Rights Reserved
 アプローチ：まずは可視化・標準化と委譲にフォーカス 15 大規模な組織におけるデータマネジメントの土台は 可視化・標準化と委譲 データマネジメント担当部署が律速にならないことを担保する。 可視化・標準化 委譲 ログ・マスタ仕様・指標算出方法のドキュメント化や、 ログ設計実装・マスタ連携の作業手順書化、など 標準化され、手順書ができている作業をプロダクト開発チームが自 分たちで実行できる環境を提供する、など
16. AbemaTV, Inc. All Rights Reserved
 ABEMAにおいては、ログの仕様書として機能している データポータルが運用されている。 このポータルを連携インタフェースとして、 PMが自身の施策に合わせてログを設計。 データマネジメントチームはデータポータル全体の情報鮮度などを管理。 取り組み：ABEMAにおける「データポータル」の存在 16
17. AbemaTV, Inc. All Rights Reserved
 取り組み：「ADR」でデータアーキテクチャの歴史を記録する 17 データアーキテクチャに手を入れる前に、 ADR（Architecture Decision Record）を導入。 現在以降のアーキテクチャ変更の経緯・理由・検討事項を記録として残し続ける。 自チーム内の技術スタックの標準化、あわせて esaに手順書を用意。
18. AbemaTV, Inc. All Rights Reserved
 おもしろさ：大きな組織こそ、データマネジメントでレバレッジが効く 18 組織が大きいほど、データを 共通言語にしないと非効率な議論に陥る。 逆であれば、効率的・合理的な施策検討をしやすい。 さまざまなリテラシーの社内ユーザーがいるからこそ、 安心してデータを使える環境が必要。 メタデータ、ドキュメントのマネジメント によって、 少人数のアウトプットで多くの人のデータ活用をサポートできる。 プロダクトの歴史を吸収したデータ表現（DWHでのログマージなど）
19. AbemaTV, Inc. All Rights Reserved
 「視聴」というドメイン 概念の捉え難さとおもしろさ 19
20. AbemaTV, Inc. All Rights Reserved
 あなたならこの画面でどんなログをとりますか？ (権利関係でダミー画面です) 20
21. AbemaTV, Inc. All Rights Reserved
 難しさ：「視聴」は状態のあるイベント 21 「59:00あるコンテンツの14:36時点」のように、状態のあるイベントをどうログとして表現するか？ ログ送信クライアント側の実装も離散的なイベントよりも難しい。 ← → 14:36時点から戻ることも進めることもできる
22. AbemaTV, Inc. All Rights Reserved
 難しさ：ユーザーが「見た」ことをどう表現するのか？ 22 そのコンテンツにおいて、重要なシーンを通過したことを「見た」と捉えるのか？ それとも単純にコンテンツに触れていた時間が一定以上であることを「見た」と定義するのか？ 遠藤航選手のプレミア初ゴールシーン ここから重要シーン 14分36秒視聴
23. AbemaTV, Inc. All Rights Reserved
 難しさ：広告(無料)+課金というマネタイズモデル ABEMAには無料会員とプレミアム会員がいる。無料会員には広告を視聴してほしい。 ユーザーステータスごとに「見た」の扱いを変えるべき？ 23 この辺で広告が再生されるとしたら？
24. AbemaTV, Inc. All Rights Reserved
 おもしろさ：「視聴」のデータモデリングはおもしろい 24 「視聴」の指標化は、特にデータモデリングの腕が試されます。 ABEMAにおいて、ここで話しただけでも以下のようなことを考えたモデル化が必要。 一つの単純な指標では表現しきれない「視聴」という概念の捉え難さ。 視聴形態 コンテンツジャンル ユーザーステータス テレビ / ビデオ / ライブという複数の視聴形態 スポーツとアニメでは、「見た」として捉えるべき ユーザー行動が異なるのでは？など ユーザーの課金ステータスによっては、 広告再生時点まで視聴しているかどうか、が重要
25. AbemaTV, Inc. All Rights Reserved
 ABEMA DataManagement はどんな人が楽しめる環境か？ 25
26. AbemaTV, Inc. All Rights Reserved
 ABEMAのデータマネジメントがこれから目指すこと 26 これからのABEMAデータマネジメントでは、先述した視聴領域を筆頭に、 動画プロダクトドメイン ×国内有数規模のデータモデリングへより注力していきます。 ログ仕様管理 ログ・マスタ連携実装 データアーキテクチャ ドキュメント管理と委譲 ガバナンスのスケール データモデリング
27. AbemaTV, Inc. All Rights Reserved
 これからのABEMAデータマネジメントを楽しめる人 27 下記のキーワードに興味がある方は、 ABEMAデータマネジメントにジョインすることで おもしろい仕事ができると思います。 スケールするデータガバナンス 動画のデータモデリング 大規模組織、さまざまなリテラシー、歴史あるプロダクト、これら条件下 でスケールするデータガバナンス構築に興味がある人 動画領域のデータモデリング、テレビのデータモデリングなど 一筋縄ではいかないデータモデリングに興味がある人
28. AbemaTV, Inc. All Rights Reserved
 ぜひ、複雑ドメインで大規模プロダクトなデータマネジメント一緒にやりませんか？ 28 これらの仕事を 2000万に迫るWAU規模のプロダクトでやることに興味を感じた方は、 ぜひ Twitter: @__sotaron__ まで。 カジュアルにお話することから始めましょう。情報交換だけでも 👌 or 次スライドにあるQRコードからカジュアル面談申込 or エントリーいただいても大丈夫です！
29. AbemaTV, Inc. All Rights Reserved
 『ABEMA』では 一緒に挑戦する仲間を募集中です！ ✔オンラインでカジュアル面談実施中 ✔今すぐ転職を考えていなくてもOK！ 応募はこちら👉 カジュアル面談は こちらから👉