$30 off During Our Annual Pro Sale. View Details »

未来のテレビを形づくる ABEMAのグロース戦略:ユーザー体験と品質向上のアプローチ

CyberAgent
November 19, 2024
320

未来のテレビを形づくる ABEMAのグロース戦略:ユーザー体験と品質向上のアプローチ

CyberAgent

November 19, 2024
Tweet

More Decks by CyberAgent

Transcript

  1. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    1 未来のテレビを形づくる ABEMAのグロース戦略: ユーザー体験と品質向上のアプローチ 2024 Nov 15th Inter BEE 2024 株式会社 AbemaTV 
 田所 義朗 | 波戸 勇二 | 山口 想 | 野口 直寛 

  2. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    3 ABEMAについて 株式会社AbemaTV Development Headquarters - Product Division Chief Product Manager 田所 義朗
  3. AbemaTV, Inc. All Rights Reserved
 ABEMA 紹介 4 登録不要で、いつでも無料で楽しめる 24時間365日編成されているリニア配信と

    見逃した作品を好きなタイミングでオンデマンドでも楽しむこともできます。 国内最大級のオリジナルエピソード数 オリジナルエピソード数は国内発の動画サービスで日本No.1(※)を誇り、 注目の新作映画、国内外の人気ドラマ、話題のアニメなど豊富なラインナップの作品や、 様々な音楽や舞台のオンラインライブも展開。 ※2024年8月時点、自社調べ 100%プロコンテンツ サイバーエージェントとテレビ朝日 それぞれの強みを活かした制作体制で高品質なコンテンツを配信しています。 多彩なラインナップ 24時間編成のニュース専門チャンネルをはじめ、 オリジナルのドラマや恋愛番組、アニメ、スポーツなど、 多彩なジャンルの約25チャンネルを24時間365日放送しています。
  4. AbemaTV, Inc. All Rights Reserved
 ライブイベント ABEMAプレミアム 外部OTTプラン 無料 ペイパービュー

    ライブ単位のリアルタイム配信 決まった放送枠ではなく、任意の配信時間 無料のみではなく、有料ライブも提供 16時 17時 18時 19時 ライブA ライブB ライブC
  5. AbemaTV, Inc. All Rights Reserved
 オンデマンド いつでも繰り返し視聴できる ・TV番組・映画コンテンツパッケージ ・リニア・ライブ配信のアーカイブ 無料のみではなく、有料コンテンツも提供

    ABEMAプレミアム 外部OTTプラン 無料 レンタル (撤退) シリーズA エピソード エピソード シーズン1 シーズン2 エピソード エピソード
  6. AbemaTV, Inc. All Rights Reserved
 ABEMAの変遷 2016 2017 2018 2019

    2020 2021 2022 2023 2024 ペイパービューライブ リニアチャンネル (無料) オンデマンド (無料・プレミアム ) レンタル 外部 OTTプラン 外部 OTTプラン 外部 OTTプラン
  7. AbemaTV, Inc. All Rights Reserved
 構造の複雑さ ABEMAプレミアム 外部OTTプラン 無料 ペイパービュー

    無料 ABEMAプレミアム 外部OTTプラン 無料 ライブイベント リニア (チャンネル ) オンデマンド アーカイブ 視聴 権限 配信 リアルタイム配信 オンデマンド配信
  8. AbemaTV, Inc. All Rights Reserved
 事業もサービスも複雑になってきている実態 ビジネス デバイス 環境 プロダクト

    ABEMA プレミアム 広告 ペイパービュー 外部OTT プラン アプリ WEB ブラウザ CTV ゲーム 来訪~探索 視聴 ライブ リニア オン デマンド ジャンル レコメンド ホーム 検索
  9. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    14 品質向上の取り組み 株式会社AbemaTV Development Headquarters - Product Division Principal Product Engineer 波戸 勇二
  10. AbemaTV, Inc. All Rights Reserved
 マルチデバイス iOS mobile Android mobile

    Web PC/mobile 2016年の開局当初の対応デバイスは、iOSとAndroidのモバイルアプリと WebのPC/モバイルでスタート。
  11. AbemaTV, Inc. All Rights Reserved
 Chromecast マルチデバイス Apple TV Android

    TV 2016年中には当時の主要なテレビデバイスのプラットフォームに順次対応。 Amazon Fire TV 2016/08 2016/10 2016/11 2016/12
  12. AbemaTV, Inc. All Rights Reserved
 Web-based TV マルチデバイス Daydream Clova

    Desk 2017年 ~ 2019年にAmazon Alexa、Daydream、Amazon Fire Tablet, Web-based TV, Clova Deskに対応。 ※ Web-based TVはここではスマートテレビ向け HTML5アプリケーションをさしています Amazon Fire Tablet 2017/12 2018/11 2018/03 2019/03 Amazon Alexa 2017/11 ※ サポート終了デバイスを含む
  13. AbemaTV, Inc. All Rights Reserved
 Nintendo Switch Google Nest Hub

    マルチデバイス 2021年にGoogle Nest HubとNintendo Switch、2024年にはApple Vision Proに対応。 2021/06 2021/12 Apple Vision Pro 2024/06
  14. AbemaTV, Inc. All Rights Reserved
 Apple TV Google Nest Hub

    マルチデバイス 2016 2017 2018 2019 2020 2021 2022 2023 2024 iOS mobile Android mobile Web PC/mobile Chromecast Amazon Fire TV Android TV Amazon Alexa Web-based TV Daydram Amazon Fire Tablet Clova Desk Nintendo Switch ※ サポート終了デバイスを含む Apple Vision Pro
  15. AbemaTV, Inc. All Rights Reserved
 Apple TV Google Nest Hub

    マルチデバイス iOS mobile Android mobile Mobile Browser Chromecast Amazon Fire TV Android TV Web-based TV Nintendo Switch Amazon Fire Tablet Desktop Browser iOS/tvOS/VisionOS Apple Vision Pro Android Web Unity ユースケース 技術スタック
  16. AbemaTV, Inc. All Rights Reserved
 開発体制 PM Product Design Product

    Backend Web Browser Quality Engineering Mobile Android-ba sed TV Web-based TV Game Console Data Science Data Platform Data Enabling Content Engineering Content Delivery Broadcast Technology Streaming Client Cloud Platform Platform Backend Developer Productivity SRE Security DX Promotion Operation Strategy Product Platform Content Data Data Science
  17. AbemaTV, Inc. All Rights Reserved
 Service Growth 開発体制 Monetize CTV

    Experience 横断Projects PM Product Design Product Backend Web Browser Quality Engineering Mobile Android-ba sed TV Web-based TV Game Console Product Data Science
  18. AbemaTV, Inc. All Rights Reserved
 プロダクト開発フロー 設計 企画 開発 テスト

    リリース 分析・検証 大きく3パターン • ビジネスの優先事項をもとに要件を整理した機能開発 • 仮説・分析・ユーザーフィードバックをもとにした改善サイ クル • プロトタイピングを元にした開発サイクル 仮説 プロト タイピング
  19. AbemaTV, Inc. All Rights Reserved
 開発プロセス全体を通した品質エンジニアリング 品質エンジニアリングを 各チームにembedded コードレビュー の品質向上

    静的解析ツール の活用 ユニットテスト・統合テスト・ UIテ スト・E2Eなど自動テストの拡充 リスクベースアプローチ による効率化 Feature Flagによる柔軟な 開発プロセスとリリース カナリアリリース による安全性 の確保、即時ロールバックを可 能としたリスクの最小化 SLI/SLOによる品質目標の設定と モニタリング
  20. AbemaTV, Inc. All Rights Reserved
 リリースサイクル Product Backend Web Browser

    Mobile Android- based TV Web-based TV Game Console 週一リリース 週一リリース 手動オンデマンドリリース 手動オンデマンドリリース 手動オンデマンドリリース Apple TV 手動オンデマンドリリース オンデマンドリリース ※一部手動オンデマンド
  21. AbemaTV, Inc. All Rights Reserved
 各PFチーム 各PFチーム 各Featureチーム 各Featureチーム 品質エンジニアリングの

    embedded 各Featureチーム Quality Engineering Team QE 各PFチーム QE • 開発プロジェクトの初期段階から品質エンジニアやテストチームを組み込み、要件や設計段階で品質の視 点を反映 • 要件レビューや設計レビューを通じた、不具合の早期検出や予防とテスト品質の向上 • 品質エンジニアと開発チームが同じ目線で協力できる体制、各チームに適したテスト戦略と最適化
  22. AbemaTV, Inc. All Rights Reserved
 コードレビュー品質向上 https://www.morling.dev/blog/the-code-review-pyramid/ CodeRabbit https://www.infracost.io/docs/features/usage_based_resources/#infracost-usageyml https://docs.coderabbit.ai/about/features

    Review Policy GitHub Advanced Security https://github.blog/jp/2024-03-28-found-means-fixed-introducing-code-scanning-autofix-powered-by-github-copilot-and-codeql/ • 各種Lintの活用とCI組み込み • 各チームでのコードレビュー指針 の 策定によるレビュー品質の向上 • CodeRabbitによるコードレビュー支援 • Gatekeeperによるポリシーチェック • Infracostによるコスト可視化 • GitHub Advanced Securityによる 脆弱性検知 • etc…
  23. AbemaTV, Inc. All Rights Reserved
 自動テストの拡充 https://developer.android.com/training/testing/fundamentals#write-tests https://kentcdodds.com/blog/the-testing-trophy-and-testing-classifications Android-based TVのUTカバレッジの推移

    • 各テストレベルのバランスを加味した効率的で 包括的な品質保証 • 自動テストの拡充とCI/CDパイプラインへの統合 • 手動テストに大きく依存した状態から脱却し リリースサイクルを短縮
  24. AbemaTV, Inc. All Rights Reserved
 リスクベースアプローチ 機能Tier ユーザー体験 ビジネス影響 (広告・課金

    ) コンテンツ 契約・法律 セキュリティ 運用 • ユーザー体験・ビジネス影響度などから 機能tierを策定して、機能の重要度・リスクを明確化 • シナリオベースのテストを活用し、ユーザーの主要な操作フローを網羅 • ユーザー体験に直結する部分、自動化が難しい部分、影響が大きい重要機能に対して 手動テストを行い、テストリソースを効率化
  25. AbemaTV, Inc. All Rights Reserved
 Feature Flagの活用 https://docs.bucketeer.io/#what-is-bucketeer • デプロイとリリースを切り離して、機能の

    ライフサイクルを管理 ◦ ダークローンチ ◦ カナリアリリース ◦ キルスイッチ ◦ システム動作制御 ◦ パーソナライズ ◦ ベータテスト ◦ A/Bテスト
  26. AbemaTV, Inc. All Rights Reserved
 Feature Flagの活用 https://www.martinfowler.com/articles/feature-toggles.html • Release

    Toggles ◦ Trunk-Based Development ◦ 機能有効/無効フラグ • Ops Toggles ◦ 低遅延配信配信 ◦ 広告タイムアウト値 ◦ ビットレート最大値 ◦ 画質設定上限値 • Permission Toggles ◦ ユーザーサンプリング ◦ VoiceOver機能限定配布 • Experiment Toggles ◦ コンテンツサムネイル ◦ コンテンツレコメンド ◦ アンケート表示
  27. AbemaTV, Inc. All Rights Reserved
 カナリアリリース https://pipecd.dev/docs-v0.46.x/user-guide/managing-application/customiz ing-deployment/automated-deployment-analysis/ (視聴品質) (プロダクト品質)

    段階リリースの期間中の視聴品質と プロダクト品質をチェック Automated Deployment Analysis 機能を一部ユーザーに限定してリリースし、モニタリングで問題がないことを確認。 異常が検出された場合には即座にロールバックして、広範な影響を防ぐ。 • Feature FlagやStore機能、CDNを使ったカナリアリリース • Progressive Rollout
  28. AbemaTV, Inc. All Rights Reserved
 モニタリング IOSアプリのSLI/SLO https://sre.google/workbook/alerting-on-slos/ SLI/SLO バックエンドだけでなく、クライアントアプリケーション

    においても機能ごとに SLI/SLOを定義することで、 ユーザー体験に近い観点で品質を管理 Alerting • エラーバジェットの算出 • バーンレートを参考にしたアラート設定 ◦ ワーニングはSlack通知 ◦ クリティカルはPagerDutyでOn-Call
  29. AbemaTV, Inc. All Rights Reserved
 インシデント チャンネル インシデント対応 事象確認 /障

    害連絡 障害対応個 別チャンネル 障害対応マス ターチャンネ ル Monitoring System 1.検知 4.ステータス更新 2.対応開始 3.定期的な共有 Cloud Monitoring BugSnag etc… インシデントの検知から対応、再発防止までの流れを一貫 して管理 関係者間のリアルタイムな状況把握、対応の効率化と迅速 な復旧を実現 1. モニタリングシステムによる検知または障害連絡・事 象確認によるインシデント生成 2. 専用のSlackチャンネルが作られ対応開始 3. 定期的な情報共有 4. インシデントのステータス更新
  30. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    38 株式会社AbemaTV Development Headquarters - Product Division Senior Product Manager & Data Scientist 山口 想 グロース戦略
  31. AbemaTV, Inc. All Rights Reserved
 ABEMAのグロース戦略の紹介 • ABEMAの特性とビジネスモデルの概要 • フリーミアムモデルとサブスクリプションモデルの説明

    広告が表示 される ユーザが コンテンツを視 聴 広告収益が 発生 サブスクリプ ション登録 ユーザが コンテンツを選 択 月額料金の 支払い コンテンツを 視聴 コンテンツ視 聴 広告視聴 月額料金 フリーミアム サブスクリプション サブスクリプション フリーミアム
  32. AbemaTV, Inc. All Rights Reserved
 ハイブリッドモデルの挑戦 無料ユーザへの二つの選択肢 無料ユーザ 広告視聴 課金視聴

    モジュール 視聴 できる 視聴 できる 課金 限定 視聴 できる モジュール 面(ページ )
  33. AbemaTV, Inc. All Rights Reserved
 エンゲージメント 課金ユーザ 視聴 している 視聴

    していない 解約 継続 作品 サブスクリプション 課金ユーザのサブスクリプション継続 無料ユーザの継続 無料ユーザ 視聴 している 視聴 していない 離反 継続 プロダクト利用 作品
  34. AbemaTV, Inc. All Rights Reserved
 グロースの目的 レコメンド した作品の 閲覧 ABEMAへ

    来訪 興味ある 作品を選択 視聴 ABEMAに来訪して 作品を視聴してもらうこと ユーザ行動
  35. AbemaTV, Inc. All Rights Reserved
 モジュール内の作品の選定と並び順の最適化 手動で 作品を選定 テーマ (題材)の

    決定 指標で最適化 アルゴリズム処理で 作品を選定 ユーザの実績など データ収集 指標で最適化 自動 手動 手動 自動 表示 表示 モジュール 作 品 作 品
  36. AbemaTV, Inc. All Rights Reserved
 モジュール自体の並び順の最適化 ユーザA ホーム面 ユーザB ホーム面

    ビルボード ランキング 大々的に作品を伝えた時に訴求するモジュール アベマで視聴されている作品をランキング形式で 掲載するモジュール
  37. AbemaTV, Inc. All Rights Reserved
 レコメンドシステムの概要 拡張データ コンテンツ メタデータ ユーザ

    データ レコメンド システム 提案 ユーザー 作品 ※ 全てのレコメンドシステムが全てのデータを使っているわけではない
  38. AbemaTV, Inc. All Rights Reserved
 ユーザーデータ デモグラ ロイヤリティ など 興味/関心

    ジャンル など 視聴実績 行動実績 作品接触 など ※ レコメンドシステムが全てのユーザデータを使っているわけではない 視聴デバイス
  39. AbemaTV, Inc. All Rights Reserved
 コンテンツメタデータ • 作品・番組に紐づくデータ • 作品のタイトル

    • 作品の概要 • 作品に出演している人物 • 作品のスタッフ • 作品のジャンル • 作品の公開年 • 作品の受賞歴 など ※ 全てのレコメンドシステムが全てのデータを使っているわけではない
  40. AbemaTV, Inc. All Rights Reserved
 拡張データ | 生成AIによる拡張したデータ例 • 生成AIによるデータ拡張

    コンテンツ メタデータ コンテンツ メタデータ コンテンツ メタデータ プロンプト 生成AIモデル 拡張データ 【プロンプト例】次の文章は,ある動画コンテンツの説明です.この説明文に対してタグを付与してください. タグは単一の名詞で一般名詞のみが利用できます. (以下略) コンテンツ メタデータ ユーザデータ ※Geminiを利用 レコメンド システム 生成 ※ 全てのレコメンドシステムが全てのデータを使っているわけではない
  41. AbemaTV, Inc. All Rights Reserved
 レコメンドシステムの概要 拡張データ コンテンツ メタデータ ユーザ

    データ レコメンド システム 提案 ユーザー 作品 ※ 全てのレコメンドシステムが全てのデータを使っているわけではない
  42. AbemaTV, Inc. All Rights Reserved
 新規ユーザの継続利用が課題 • ABEMAの新規ユーザの来訪の多くは強い目的があり来訪している • 目的の作品目当てで来訪し、ユーザが目的作品視聴後に

    ABEMAに来訪しなくなる課題 独占 コンテンツ ABEMA オリジナル コンテンツ 話題作 新規ユーザ 新規ユーザの主要な来訪目的
  43. AbemaTV, Inc. All Rights Reserved
 新規ユーザの継続利用が課題 | データの拡充と反映 詳細面 (再生面) 作 品

    ユーザが離反するまでに なるべく多くのデータを取得して レコメンド提案精度を改善 ジャンル・作品の奥行きの提示 NEWS HIPHOP スポーツ バラエティ NEWS アニメ
  44. AbemaTV, Inc. All Rights Reserved
 グロース戦略のまとめ • フリーミアムとサブスクリプションモデルの成立 • データとレコメンドシステムの紹介

    グロースを支えるのはユーザにとって快適でスムーズな体験を提供するための プロダクトとしてのパフォーマンスであり、パフォーマンスの向上がグロースを加速。 次のセクションではパフォーマンス改善に関する取り組みを紹介。
  45. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    56 パフォーマンス改善 株式会社AbemaTV Development Headquarters - Product Division Senior Software Engineer 野口 直寛
  46. AbemaTV, Inc. All Rights Reserved
 課題 事例: スマートテレビにおけるパフォーマンス向上 57 •

    スマートテレビデバイス (Android, Web) において、パフォーマンス品質が他 社アプリに劣後している • ユーザーの継続率上昇のため、プロダクト品質を高める必要がある
  47. AbemaTV, Inc. All Rights Reserved
 事例: スマートテレビにおけるパフォーマンス向上 58 起動 所要時間(自社調査)

    回遊 再生 アプリA    B    C    D    E    F ABEMA ABEMA ABEMA
  48. AbemaTV, Inc. All Rights Reserved
 手動計測 現状分析・目標設定 62 • 他社アプリとの比較は手動計測で実施

    ◦ 動画を撮影してコマ送りで再生して計測 ◦ 3回計測して平均を取る • 目標を計測結果から設定 ◦ 動画配信サービスとして最速水準を目指す
  49. AbemaTV, Inc. All Rights Reserved
 自動計測 現状分析・目標設定 64 • 手動計測は定常的に実施するにはコストが高い

    • New Relic を使用して、自動計測・可視化の仕組みを整えた ◦ TV メーカーごとにパフォーマンスを分けて見られる ◦ New Relic 組み込みのパフォーマンス指標は使用できない ▪ 計測区間の始点と終点を定義して New Relic に送信
  50. AbemaTV, Inc. All Rights Reserved
 リリース後 リリース前 検証 68 •

    New Relic で改善効果を事前予測 • A/B テスト • New Relic で前後比較
  51. AbemaTV, Inc. All Rights Reserved
 検証: リリース前 - 事前予測 69

    • 改善あり/なしで3回ずつ計測して平均をとって比較 • 顕著にパフォーマンスが向上した施策をリリース
  52. AbemaTV, Inc. All Rights Reserved
 検証: リリース後 - A/B テスト

    70 A/B テストによりパフォーマンスやビジネス指標の変化を検証 → パフォーマンス改善がビジネス指標にも好影響をもたらしている
  53. AbemaTV, Inc. All Rights Reserved
 検証: リリース後 - 前後比較 71

    • A/B テストが難しいケースでは、リリース前後で指標を比較 0.8秒高速化
  54. AbemaTV, Inc. All Rights Reserved
 プロジェクトの成果 : 起動パフォーマンス 73 Before

    所要時間(自社調査) アプリA    B    C    D    E    F After ABEMA ABEMA
  55. AbemaTV, Inc. All Rights Reserved
 パフォーマンス改善のまとめ 75 • スマートテレビにおけるパフォーマンス改善事例の紹介 •

    他社サービスとの比較により目標値を設定 • New Relic でパフォーマンスを計測・モニタリング • 起動・回遊において業界最速水準を達成 • パフォーマンス改善によるユーザー体験の向上が、ビジネス指標の改善にも つながった