Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ABEMAはなぜセマンティックレイヤーに挑戦しているのか?

 ABEMAはなぜセマンティックレイヤーに挑戦しているのか?

Sotaro Tanaka

April 26, 2024
Tweet

More Decks by Sotaro Tanaka

Other Decks in Technology

Transcript

  1. AbemaTV, Inc. All Rights Reserved
 Sotaro Tanaka 株式会社AbemaTV 開発本部 Data

    div. DataManagement Team Mgr • 2023/04~ ABEMAでデータマネジメント • Data Management & BI • Data Engineering • Like: コンテナ技術 / dbt / 小倉唯さん • Hobby: 🏂 / 🎮 / ⚽ / 小倉唯さん 2 Profile X(旧Twitter) @__sotaron__
  2. AbemaTV, Inc. All Rights Reserved
 セマンティックレイヤー は「データ」と「ビジネスの概念」を繫ぐ層 12 BIツール /

    レポートA DWH メジャー ディメンション BIツール / レポートA DWH 汎用 セマンティック レイヤー メジャー BIツール / レポートB BIツール / レポートC BIツール / レポートB BIツール / レポートC メジャー … Tableauの機能制限で 過去期間データや集計軸を変えただけ のデータ出しにも依頼・作業が必要 ビジ 開発 Eng 参照 クエリ 発行 結果返却 キャッシュ メジャー ディメンション メジャー ディメンション ディメンション ディメンション 集計 データ 閲覧 現状構成 汎用セマンティックレイヤーを導入した構成
  3. AbemaTV, Inc. All Rights Reserved
 ABEMAでは 従来型BIツールの制約を超えたセマンティックレイヤーの構築に挑戦 13 BIツール /

    レポートA DWH メジャー ディメンション BIツール / レポートA DWH 汎用 セマンティック レイヤー メジャー BIツール / レポートB BIツール / レポートC BIツール / レポートB BIツール / レポートC メジャー … Tableauの機能制限で 過去期間データや集計軸を変えただけ のデータ出しにも依頼・作業が必要 ビジ 開発 Eng 参照 クエリ 発行 結果返却 キャッシュ メジャー ディメンション メジャー ディメンション ディメンション ディメンション 集計 データ 閲覧 現状構成 汎用セマンティックレイヤーを導入した構成
  4. AbemaTV, Inc. All Rights Reserved
 ABEMAの状況2⃣:プロダクトの「歴史」 16 サービスの成長・時流に合わせて、 UI/UXも変わっていく。 仕様が変更されても、当時のログ、データは残る。

    同じ「指標」を算出するにも 5年前と今とでは、集計定義を変えな ければいけない、というケースも多々ある。 ログやマスタへの変更が、予想もしていなかった 古のレポートに影響したりもする。 そして、そういうレポートは偉い人が見ていたりする。
  5. AbemaTV, Inc. All Rights Reserved
 「視聴」の指標化は難しい 21 ABEMAのコアドメインである「視聴」の指標化は、特にデータモデリングの腕が試されます。 ここで話しただけでも以下のようなことを考えたモデル化が必要。 一つの単純な指標では表現しきれない「視聴」という概念の捉え難さ。

    視聴形態 コンテンツジャンル ユーザーステータス テレビ / ビデオ / ライブという複数の視聴形態 スポーツとアニメでは、「見た」として捉えるべき ユーザー行動が異なるのでは?など ユーザーの課金ステータスによっては、 広告再生時点まで視聴しているかどうか、が重要
  6. AbemaTV, Inc. All Rights Reserved
 課題整理:ビジネス指標と ABEMAのデータモデルの翻訳が難しい 22 DWH /

    データマート レポーティング Tableau Server BigQuery DWH データマート ABEMAのデータモデルは そもそも難しい(視聴ログとか) こんなデータも 追加でみたい な。。 一部の人しか集計ができず、 ちょっとしたデータ出しにも 依頼と待ちが発生 歴史あるプロダクトのデータ定義は 難しい(仕様変更・機能追加/削除) 「見たい数字」と 「ABEMAのデータモデル」 の翻訳が難しい 活用の現場 課 題 社内ユーザー 集計担当
  7. AbemaTV, Inc. All Rights Reserved
 社内ユーザーは翻訳された「指標」にアクセスできるように 24 DM管理 BIツール /

    レポートA DWH 汎用 セマンティック レイヤー メジャー BIツール / レポートB BIツール / レポートC メジャー … 参照 クエリ 発行 結果返却 キャッシュ ディメンション ディメンション 従来型のBIツール内ワークブックごとの指標定義の分散を避け、 統一した定義 で、 ABEMAデータモデル⇔ビジネス指標の翻訳をセマンティックレイヤーを介して実現。 データマネジメント チーム 社内ユーザー 専門職として、データモデルの難 しさを吸収したセマンティックレ イヤーの構築 翻訳された「指標」を活用し、迅 速にレポート作成
  8. AbemaTV, Inc. All Rights Reserved
 ABEMAのデータマネジメントがこれから目指すデータ基盤 26 データレイク DWH /

    データマート レポーティング BigQuery Cloud Strage DWH データマート 論理モデル dbt 汎用セマンティックレイヤーの導入 dbt(データ変換ツール)の導入 生成AI✖BI
  9. AbemaTV, Inc. All Rights Reserved
 dbtの運用事例 27 セマンティックレイヤー導入の前段として、 DWHのデータモデリング、パイプラインに dbtを導入。

    Airflow上で大きめかつ複数のワークフローを dbtと組み合わせて運用する面白い事例ができてきています。 詳細は、弊チームメンバーからいずれ発表なり、テックブログなりでお伝えできると思います。 また、中身のデータモデリングはまだまだこれから が面白い領域にもなっています。 Airflow-likeなオペレーション セマンティックレイヤーと繋げる データモデリング dbt単体では構築しにくい、失敗時の部分リトライなどを考慮した Airflow + dbtの構成 先述したドメイン特性により難易度の高いデータモデリングを 後段の汎用セマンティックレイヤーとの相性も考慮して構築
  10. AbemaTV, Inc. All Rights Reserved
 セマンティックレイヤーのこれから 28 汎用セマンティックレイヤーの実際の導入に関しては、まさにこれから。 生成AIの発展は、データ基盤領域や BI領域にも影響があり、特にセマンティックレイヤー周辺はこれから業

    界としても面白い技術な予感。 下記がキーワード。 生成AI×BI 既存BIツールとの統合性を 考慮したアーキテクチャ セマンティックレイヤーは生成 AIと相性が良さそう あるいはセマンティック自体を生成 AIで作っていくことも…? ABEMAの場合だと、既存Tableau Serverとの統合性を意識した アーキテクチャや運用を考える必要がある
  11. AbemaTV, Inc. All Rights Reserved
 一緒にやりませんか? これらの仕事を 2000万に迫る WAU規模のプロダクト でやることに興味を感じた方は、

    ぜひ X(旧Twitter): @__sotaron__ までDMください! カジュアルにお話することから始めましょう。情報交換だけでも 👌 or 次スライドにある QRコードからカジュアル面談申込 or エントリー いただいても大丈夫です! 29
  12. AbemaTV, Inc. All Rights Reserved
 定義できる場所が複数ある、データ量の問題 32 Tableauレポート DWH …

    ビジネスロジック Tableauレポート Tableauレポート ビジネスロジック ビジネスロジック DM管理 ADT管理 「59:00あるコンテンツの14:36時点」のように、状態のあるイベントをどうログとして表現するか? ログ送信クライアント側の実装も離散的なイベントよりも難しい。