Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ABEMAデータマネジメント その難しさとおもしろさ

CyberAgent
December 10, 2023
130

ABEMAデータマネジメント その難しさとおもしろさ

データマネジメントはプロダクト・組織・データをまたがる取り組みです。その難しさやおもしろさは、当然各社各プロダクトによって異なります。 ABEMAにおけるデータマネジメントについて、動画プロダクト・大規模組織・大規模データ特有の難しさやおもしろさに触れながら、ABEMAデータマネジメントチームでおこなっている実際の取り組みについてご紹介していきます。

CyberAgent

December 10, 2023
Tweet

More Decks by CyberAgent

Transcript

  1. AbemaTV, Inc. All Rights Reserved
 Sotaro Tanaka 株式会社AbemaTV 開発本部 AbemaDataCenter

    DataManagement Team Mgr • 2023/04~ ABEMAでデータマネジメント • Data Management & BI • Data Engineering • Like: コンテナ技術 / Go / 小倉唯さん • Hobby: 🏂 / 🎮 / ⚽ / 小倉唯さん 2 Profile X(旧Twitter) @__sotaron__
  2. AbemaTV, Inc. All Rights Reserved
 今日お話すること 3 ABEMAは来年で開局から8年を迎えます。 そんなABEMAのデータマネジメントには難しいポイントがいくつもありますが、 それゆえにおもしろい環境でもあります。

    今回は、以下のトピックから ABEMAデータマネジメントの難しさ、おもしろさをご紹介します。 大規模なプロダクト・組織のデータマネジメントの難しさ 「視聴」というドメイン・概念の捉え難さ・おもしろさ ABEMA DataManagementはどんな人が楽しめる環境か?
  3. AbemaTV, Inc. All Rights Reserved
 難しさ:「歴史」 13 サービスの成長・時流に合わせて、 UI/UXも変わっていく。 時間経過とともに、ID空間が壊れたログが生まれていく。

    ログやマスタへの変更が、予想もしていなかった 古のレポートに影響する。 「一旦今はこれで。。。」の積み重ね。 当時の仕様を知る人がいなくなり、 「一旦」の先の理想は実現されないまま運用されていく。 ここに至るまでの さまざまなUI でのログを 考慮した最新レポート の計算が必要
  4. AbemaTV, Inc. All Rights Reserved
 難しさ:👨👩👶 >「データマネジメントってなに?」 14 大規模なプロダクト・組織になれば、メンバーの各技術領域への習熟度は低くなりがち。 特にデータマネジメントは間接部門なので、

    プロダクト初期フェーズで提供価値を固め、 プロダクトに追いつきながらデータマネジメントを成立させないと、 その存在理由をあまり理解していない人が組織に多くなりがち。 ABEMAも例外ではない。
  5. AbemaTV, Inc. All Rights Reserved
 アプローチ:まずは可視化・標準化と委譲にフォーカス 15 大規模な組織におけるデータマネジメントの土台は 可視化・標準化と委譲 データマネジメント担当部署が律速にならないことを担保する。

    可視化・標準化 委譲 ログ・マスタ仕様・指標算出方法のドキュメント化や、 ログ設計実装・マスタ連携の作業手順書化、など 標準化され、手順書ができている作業をプロダクト開発チームが自 分たちで実行できる環境を提供する、など
  6. AbemaTV, Inc. All Rights Reserved
 取り組み:「ADR」でデータアーキテクチャの歴史を記録する 17 データアーキテクチャに手を入れる前に、 ADR(Architecture Decision

    Record)を導入。 現在以降のアーキテクチャ変更の経緯・理由・検討事項を記録として残し続ける。 自チーム内の技術スタックの標準化、あわせて esaに手順書を用意。
  7. AbemaTV, Inc. All Rights Reserved
 おもしろさ:大きな組織こそ、データマネジメントでレバレッジが効く 18 組織が大きいほど、データを 共通言語にしないと非効率な議論に陥る。 逆であれば、効率的・合理的な施策検討をしやすい。

    さまざまなリテラシーの社内ユーザーがいるからこそ、 安心してデータを使える環境が必要。 メタデータ、ドキュメントのマネジメント によって、 少人数のアウトプットで多くの人のデータ活用をサポートできる。 プロダクトの歴史を吸収したデータ表現(DWHでのログマージなど)
  8. AbemaTV, Inc. All Rights Reserved
 おもしろさ:「視聴」のデータモデリングはおもしろい 24 「視聴」の指標化は、特にデータモデリングの腕が試されます。 ABEMAにおいて、ここで話しただけでも以下のようなことを考えたモデル化が必要。 一つの単純な指標では表現しきれない「視聴」という概念の捉え難さ。

    視聴形態 コンテンツジャンル ユーザーステータス テレビ / ビデオ / ライブという複数の視聴形態 スポーツとアニメでは、「見た」として捉えるべき ユーザー行動が異なるのでは?など ユーザーの課金ステータスによっては、 広告再生時点まで視聴しているかどうか、が重要
  9. AbemaTV, Inc. All Rights Reserved
 これからのABEMAデータマネジメントを楽しめる人 27 下記のキーワードに興味がある方は、 ABEMAデータマネジメントにジョインすることで おもしろい仕事ができると思います。

    スケールするデータガバナンス 動画のデータモデリング 大規模組織、さまざまなリテラシー、歴史あるプロダクト、これら条件下 でスケールするデータガバナンス構築に興味がある人 動画領域のデータモデリング、テレビのデータモデリングなど 一筋縄ではいかないデータモデリングに興味がある人
  10. AbemaTV, Inc. All Rights Reserved
 ぜひ、複雑ドメインで大規模プロダクトなデータマネジメント一緒にやりませんか? 28 これらの仕事を 2000万に迫るWAU規模のプロダクトでやることに興味を感じた方は、 ぜひ

    Twitter: @__sotaron__ まで。 カジュアルにお話することから始めましょう。情報交換だけでも 👌 or 次スライドにあるQRコードからカジュアル面談申込 or エントリーいただいても大丈夫です!