Share
Embed
IBC 2022 動画技術関連レポート - 今年は ABEMA のワールドカップ対応で忙しかったけど年が終わる前に振り返る海外動画技術動向 -
The slides describe the next generation standard and emerging trends in the video technology industry including topics on encoding, XR/AI-driven production, and connected TVs, and so on.
Yusuke Goto
December 26, 2022
Transcript
110 slides
-
IBC 2022 動画技術関連レポート 株式会社サイバーエージェント Developer Expert 五藤 佑典 今年は ABEMA
のワールドカップ対応で忙しかったけど 年が終わる前に振り返る海外動画技術動向 -
五藤 佑典 YUSUKE GOTO https://ygoto3.com/ @ygoto3_ • California State University,
San Bernardino グラフィックデザイン専攻 • デザインエンジニア/動画エンジニア @ サイバーエージェント • ABEMA 開発本部 ◦ Cross Device チーム あらゆるデバイスに ABEMA を展開するための技術を提供するチーム ◦ Streaming Client チーム ABEMA の再生品質を軸に UX エンジニアリングにコミットするチーム ◦ 動画技術エバンジェリスト 世界各国に足を運び動画技術に関する情報をキャッチアップし、 社内外の動画サービスの発展に貢献するロール ◦ DesignOps 推進バックエンド 大規模組織でスケールできるプロダクトデザイン開発組織を構築する活動 -
Motivation AbemaTV を始めとするサイバーエージェントの動画事業を技術的に前進させる • 業界トレンドの定点観測 • ヨーロッパを中心とする技術標準化の動向キャッチアップ • 複数の海外パートナー会社との一挙ミーティング •
業界先端企業の将来への見解や実践例などの情報収集 • 汎用ソリューションの進化状況の確認 • 以前に目をつけていた技術の進化状況の確認 -
IBC とは IBC - International Broadcasting Convention • 欧州最大の放送関連イベント ◦
従来は、世界各国 170 ヶ国から約 6 万人が参加 • IBC 2022 は 9/9 - 9/12 にかけて開催 • 2022 年の実績 ◦ 来場数 37,071 人 ◦ 展示数 1,000 • オランダ・アムステルダム RAI で開催 https://www.svgeurope.org/blog/headlines/ibc-reveals-exhibition-visitor-numbers/ -
アジェンダ • Ice Break • OTT エコシステムの進化 • XR 技術の進化
• AI プロダクションの進化 • エンコーディングの進化 • Connected TV の進化 • スタジオ・ソリューションの進化 -
CDN Alliance • 2021.09 ローンチ • 2022.04 立ち上げメンバー企業の発表 ◦ DataHop,
3Q, Axello, Nanocosmos, BENOCS, CompiraLabs, Ceeblue, NPAW • ミッション ◦ The CDN Alliance is an independent nonprofit organization with the goal to connect, support, and represent the global CDN Industry and CDN Community. -
Media Content Sharing グローバル OTT 市場は年平均成長率 15.5% で成長していく見込み • 2121
年: $ 451 億 • 2028 年: $ 1,237 億 -
Media Content Sharing サブスクリプション型サービスの成長は消費者の選択肢にパラドックスを生んでいる • サブスクリプション型サービスが増える ◦ 広範囲になるコンテンツとの接点 ◦ 高くなるチャーンレート
◦ 増加するユーザー獲得コスト • コンテンツ推薦機能は部分的にしか消費者の期待値に沿えない -
Gray Market Global Online Piracy Study ※ のリサーチでは • 海賊版を視聴するユーザーはそのコンテン
ツに相当ハマっている • 海賊版を視聴するユーザーの動機は ◦ 価格 ◦ 品質 ◦ 手に入りやすさ ◦ 使いやすさ https://www.ivir.nl/publicaties/download/Global-Online-Piracy-Study.pdf ※ Global Online Piracy Study by IViR (Institute for Information Law) at University of Amsterdam -
Gray Market Global Online Piracy Study の結果が示唆する のは、 • 海賊行動データを信頼できる
マーケット・データ・ソースであること • 世界中の地域情報込みのバイアスが かかっていない視聴データ -
Gray Market 例:2021 年 1 月、韓国で放送され た『True Buauty』が海賊ストリーミ ングされた TV
シリーズで世界一 需要があったことが分かる -
Gray Market 例:2021 年 1 月、韓国で放送され た『True Buauty』が海賊ストリーミ ングされた TV
シリーズで世界一 需要があったことが分かる 地域ごとの視聴数でどのくらいの市場が どこにあるか分かる -
メディア・アクセシビリティ 韓国のメディア・アクセシビリティの進化 手話を母国語とする人口へアプローチ • 全世界で 466,000,000 聴覚障害者 • 71 ヶ国で手話は正式言語
• 聴覚障害者の 69.3% は 手話が母国語 • 聴覚障害者の 69.7% は文盲 -
Sport in the Metaverse HADO Live 5G XR スポーツ •
クロスプラットフォームでの VR 体験 • 仮想空間と実像のプレイヤーを同時視聴 • Live 360 Video • AR オーバーレイ • AR Play / AR Watch https://hado-official.com/ -
Sport in the Metaverse HADO Live 5G XR スポーツ •
リモート ◦ 5G ライブスタジオ制作 • リアルタイムモーションキャプチャー • データを使ったファンの反応 • 仮想空間へのリアルタイムの広告、ブ ランド挿入 -
Sport in the Metaverse 制作/配信 • 大陸間プレイ ◦ UK <->
US • クラウド上での リモートライブプロダクション • OTT • パーソナライズド -
Sport in the Metaverse リアルタイムモーションキャプチャー • Noitom Motion Capture System
を使用 • Noitom から Unreal Engine / Unity など の 3D エンジングにインテグレート https://www.noitom.com/ -
Volumetric Video Production Volumetric Video • 3D の演出要素そのものをキャプチャー • キャプチャースペースで
RGB イメージと深度データを撮影 • RGB イメージと深度データは XR シーンに 3D オブジェクトとして再構成される -
Disney Research Studios Face Database 顔のキャプチャー • 12 機のカメラ •
4 つの証明 • モニターで人をガイド -
Disney Research Studios Video Face Swapping 役者の顔を演技している(アニメーションしている)別の体にマッピング 主流の 2D 画像処理(顔の形状やテクスチャを参照しない)ではなく、
ターゲットの画像に貼る前に変形可能な顔形と動的生成するテクスチャを形成 DRS では、従来の 3D パイプラインでの 処理時間内で実現 https://studios.disneyresearch.com/2022/10/05/learning-dynamic-3d-geometry-and-texture-for-video-face-swapping/ -
Disney Research Studios Automatic Face Re-aging 対象の顔の見た目年齢を自動かつリアルタイムに変更 現在主流のフレームごとの 2D レタッチするワークフローは時間がかかる
合成で Re-age した画像を大量に機械学習 → U-net を使って入力画像を Re-age Re-age の機械学習には大量の十 分に時間幅を持った顔データが必 要 → 合成で生成した学習データでも 最終結果も合成出力であれば Production-ready にリアル https://studios.disneyresearch.com/2022/11/30/production-ready-face-re-aging-for-visual-effects/ -
Disney Research Studios Bringing Character to Life • ディズニーの次の挑戦は AI
で キャラクターに命を吹き込む • アインシュタイン本人のように アニメーション・キャラクターを リアルタイムに会話させる例 -
ゲーム生配信へのエンコーディング最適化 ゲーム生配信市場の急激な拡大 • ゲーム系動画ストリーミングプラットフォームの成長 ◦ 2022 年 ▪ Twitch -
101% 成長 ▪ YouTube Gaming - 65% 成長 ▪ Facebook Gaming - 238% 成長 • グローバル eSports 市場 ◦ 2021 年の総収益 10 億ドル ◦ 2028 年には 28 億ドル市場になる予測/年平均成長率 14.5% https://www.globenewswire.com/news-release/2022/06/06/2456862/0/en/The-Global-Esports-Market-is-expected-to-reach-a-value-of-USD-2-8-Billion-by-2028-at-a-CAGR-of-14-50-2022-2028-SkyQuest-Tech nology.html -
ゲーム生配信へのエンコーディング最適化 エンコーディング特性におけるゲーム動画の実写動画との違い • 信号特性 ◦ レンダリングエンジンを使ってコンピューターで生成 • 映像特性 ◦ テキストやグラフィックなど鮮明でくっきりとした映像
◦ キャプチャによる空間的/時間的なノイズがない ◦ 焦点やモーションブラーがない ◦ 動きの複雑さは総じて低いが、たまに爆発的に複雑な動きが発生する -
ゲーム生配信へのエンコーディング最適化 エンコーディング特性におけるゲーム動画の実写動画との違い • 信号特性 ◦ レンダリングエンジンを使ってコンピューターで生成 • 映像特性 ◦ テキストやグラフィックなど鮮明でくっきりとした映像
◦ キャプチャによる空間的/時間的なノイズがない ◦ 焦点やモーションブラーがない ◦ 動きの複雑さは総じて低いが、たまに爆発的に複雑な動きが発生する ゲーム動画に特化したエンコーディング戦略とツールにより 効率性が上がる可能性が高い -
ゲーム生配信へのエンコーディング最適化 エンコーディング最適化 • Adaptive Quantization ◦ 圧縮時のレート歪みによるトレードオフは QP (Quantization Parameter)
で制御されている ◦ HEVC では QP 適用は coding block ごとに可能 ◦ Adaptive Quantization は各フレームもしくは GOP に適用する QP のセットを決定する MediaKind 社は RDSTQ / Rate-Distortion-based Spatio-Temporal Quantization という Adaptive Quantizaion アルゴリズムを確立 -
ゲーム生配信へのエンコーディング最適化 エンコーディング最適化 • Adaptive In-loop filtering ◦ フレームごとにデブロッキング・フィルタの強度を適用 ▪ HEVC
はループ内処理でデブロッキング・フィルタが使用 可能 ▪ ゲームは滑らかなグラデーションエリアが多いので、ブ ロッキングにより歪みやすい ◦ GOP ベースのイントラ参照画素に対する強フィルタを無効 ▪ イントラ参照画素フィルタは量子化エラーの伝播を防ぐ が、鮮明なくっきりしたオブジェクトが多いため、容易に識 別可能 -
ゲーム生配信へのエンコーディング最適化 SCC (Screen Content Coding) ツールによる拡張 • レンダーされた要素が占める割合が多い映像に有効 • HEVC
の SCC 拡張 • VVC は Screen Content の圧縮のためのコーディングツール採用 -
ゲーム生配信へのエンコーディング最適化 ML-based content-aware • ACT (AI-based Coding Technology) ◦ 入力コンテンツの性質に対して最高の符号化効率を出すエンコーディング・ツールを適用
◦ コンテンツの符号化に対する複雑性に応じたコンピュート・リソースを適切に使い切るパラメータの 適用 -
DVB DVB とは • DVB = Digital Video Broadcasting •
国際的標準規格のデジタルテレビジョン放送方式の一つ • 主に、ヨーロッパ諸国、オーストラリア、南アフリカ共和国で標準的に採用 -
DVB の次の挑戦とジレンマ インターネット時代の DVB Web 分野に飛び込んでの競争は垂直統合されることを意味する • 純粋的な意味の放送は「ハイブリッド」によって、既に過去のものに • IP
/ Web 関連の技術仕様は多数多様な要求がひしめく密な場所 • Web の技術革新は実質 2 つの会社が制御している • Web ブラウザ単体による動画コンテンツの消費はまだ 10% インターネット時代に DVB ができることは何か? -
DVB の次の挑戦とジレンマ DVB TA • ターゲット広告の規格 DVB I • インターネット放送のサービス情
報の集約機能の規格 DVB NIP • Native IP • 放送とインターネットの ネイティブな融合 -
DVB の次の挑戦とジレンマ コスト • IP 配信は CDN コスト低下などに より視聴時間あたりのコストが 年々低下
• 基地局がカバーする人口が少な い場合やチャンネルがニッチな場 合は、地上波での視聴時間あた りのコストと IP 配信への切替の 損益分岐点は前倒れている -
DVB-I for 5G DVB-I の拡張 • 5G によるサービス配信のシグナルをサポート • 将来的には、5G
によるサービス・ディスカバリーとメタデータ配信を サポート予定 • 「放送」と「モバイル」の業界の協業がキー • 技術的な要素に関して 5G-MAG と連携してワーキンググループを作って進行中 -
DVB-I トライアル 地上波と FAST チャンネルが横に並ぶ DVB-I ハイブリッドのトライアルを • ドイツ •
イタリア • イラン などでパイロット -
DVB NIP - Native IP なぜ Native IP か? •
SAT>IP のときの課題を解決できる ◦ サテライト放送を IP デバイスに届ける試み • 課題 ◦ 専用のサーバー/クライアントの必要性 ◦ 既存設備に統合する難易度が高い ◦ 受信手段の選択が消費者に依存した SAT>IP が普及する前に Native IP の議論が開始(2019) -
DVB NIP - Native IP IP 放送の利点 • 業界標準 •
低コスト • 柔軟性と容易性を兼ね備えた使い勝手 • ほぼ全ての消費者向けモダン・デバイスをサポート可能 • OTT と放送の混合が可能 • サテライト事業者の新しいビジネスさえも実現可能 事業者のコスト削減だけじゃなく事業リーチの拡大も狙える -
DVB NIP - Native IP DTH 2.0 では、衛星から MPEG-TS リニア伝送を
IP ファイル伝送に置き替え、 5G や公共交通機関/商業施設のホットスポットにもリーチするサービス提供を可能に -
DVB NIP - Native IP 商用利用を想定した 3 つのモデル B2B 向けアプリケーションモデル:
動画フィードをエッジキャッシュで受信 →5G/その他送信機で移動体端末に配信 B2C 向けアプリケーションモデル: Native IP TV 受信機が次世代の DTH 放送 を受信、上り回線は ISP 経由で接続 B2B 向けアプリケーションモデル: NIP ゲートウェイを介してホットスポットを提 供 B2C 向けアプリケーションモデル: NIP ゲートウェイを介して次世代の DTH トリ プルプレイ・サービスを提供 -
DVB NIP Signalling • ネットワーク情報(NIF)とサービス情報(SIF)をシグナリング ◦ 動的にネットワークとサービスの情報を更新する • NIF (Network
Information File) ◦ mABR Multicast Gateway Configuration Instance Document - IP マルチキャストセッション情報 ◦ 映像をサテライト、音声を OTT なども可能 • SIF (Service Information File) ◦ DVB-I Service List Entry Points - 利用できる DVB-I Service Lists の一覧 ◦ DVB-I Service Lists - サービス自体の一覧 -
5G-based TV 新しいビジネスケースに対して効率的なメディア配信が必要 • eMBB(enhanced Mobile Broadband)の進化 ◦ Unicast +
Broadcast/Multicast アプローチ • SDL (Supplemental DownLink) mode の展開/既存基地局の専用モード利用 • One-to-many コンセプトのオーバーレイ・ネットワーク • MaaS(Multicast as a Service)有効化によるビジネスモデルの創出 -
5G-based TV 新しいビジネスケースに対して効率的なメディア配信が必要 • eMBB(enhanced Mobile Broadband)の進化 ◦ Unicast +
Broadcast/Multicast アプローチ • SDL (Supplemental DownLink) mode の展開/既存基地局の専用モード利用 • One-to-many コンセプトのオーバーレイ・ネットワーク • MaaS(Multicast as a Service)有効化によるビジネスモデルの創出 これらの技術の標準化 -
5G-based TV 5G は Broadcast 通信に対して 2 つのモードを定義 • 5G
broadcast mode • Mixed-mode multicast mode -
5G-based TV 5G broadcast mode SFN(Single Frequency Network)を使った Downlink-only な通信
• UHF(Ultra High Frequency)などの放送領域の周波数を使う • Unicast は使わない → Downlink-only な通信 • リニアコンテンツの配信 / IP によるファイル配信 • 専用インフラを使った高い送信パワー -
5G-based TV Mixed-mode multicast mode Broadcast と Unicast を動的にスイッチする(SC-PTM) •
IMT(Internal Mobile Telecommunication)などのモバイル通信事業者に割り当 てられた周波数を使う • Unicast ネットワークに統合 • Multicast / Broadcast を併用して Unicast 単体より効率的な配信 • モバイル通信インフラを再利用した low-power な送信 -
5G-based TV 実現可能性と商用活用に向けた PoC Qualcomm 社と Rohde & Schwarz 社で
実施 • 放送送信機からの受信 • UHF での受信 • SIM カードなしの通信 • スマートフォンでの利用 -
5G-based TV Android の MBMS 関連 API • Download Session
https://developer.android.com/reference/android/telephony/MbmsDownloadSession • Group Call Session https://developer.android.com/reference/android/telephony/MbmsGroupCallSession • Streaming Session https://developer.android.com/reference/android/telephony/MbmsStreamingSession -
5G-based TV Hybrid Unicast Broadcast アーキテク チャ • コンテンツ・プロバイダーが 5G
Unicast / 5G Broadcast / 5G 端 末を工夫して革新的なアプリを開発す るための仕組み -
5G-based TV Hybrid Unicast Broadcast アーキテク チャ • コンテンツ・プロバイダーが 5G
Unicast / 5G Broadcast / 5G 端 末を工夫して革新的なアプリを開発す るための仕組み 5GMS in 3GPP Release 17 に採用 -
インターネット時代の TV 向け映像コーデック Commercial Requirements • 8K + HDR +
HFR • 配信の高効率化 ◦ 4K 放送であれば、最低 27% のデータレート節約 ◦ 4K でのインターネット配信であれは、最低 30% のデータレート節約 • 流通に関する柔軟 ◦ 放送であれインターネット配信であれ要件は似ている ◦ 他の OTT 仕様と相互連携できるように協定が必要 -
インターネット時代の TV 向け映像コーデック Commercial Requirements • パーソナライゼーション ◦ 受信機から複数の要素を受け取って映像を構築するか構築済の映像から要素を選んでパーソラナ イズされた映像を表示
◦ コーデックでサポートしている場合のオプショナルなガイドライン • アクセシビリティ ◦ メイン映像に加えて、手話映像を含める ◦ 受信機側で単一映像に構築して表示 ◦ コーデックでサポートしている場合のオプショナルなガイドライン -
インターネット時代の TV 向け映像コーデック Commercial Requirements アクセシビリティ アクセシビリティ機能の Signaling については 仕様が確定し、
技術的な作業を行う段階 https://dvb.org/?standard=commercial-requirements-for-signalling-of-accessibility-services-in-dvb -
インターネット時代の TV 向け映像コーデック DVB が 2021 年 6 月に候補として挙げたコーデック •
AV1 ◦ OTT サービスとデバイスに広く普及 • AVS3 ◦ 中国で採用 ◦ DVB ソリューションの市場拡大が狙える • VVC ◦ より高い符号効率 ◦ MPEG に堅牢なバックアップ -
インターネット時代の TV 向け映像コーデック 初期仕様はすでに参照可能 • VVC を含めた 2022.02 DVB Bluebook
A001 を公開 • AVS3 を含めた 2022.07 DVB Bluebook A001 を 公開 • 現在は DVB Bluebook A001r21 ◦ https://dvb.org/?standard=specification-for-the-use-of-video-and-audio-coding-in-broadcast- and-broadband-applications • AV1 に関しては検証中 • 対応する ETSI(欧州電気通信標準化機構)の仕様も更新予定 https://dvb.org/?standard=specification-for-the-use-of-video-and-audio-coding-in-broadcast-and-broadband-applications -
NetOn.Live LiveOS • ソフトウェア型のスタジオ・インフラ・ソ リューション • NAB Show 2022 でアナウンス
• 専用線やインターネットを介したリモート プロダクション ◦ ダークファイバーや SRT で接続 • 複数人で同時制作 ◦ Web-based UI • プライベート・クラウド向けモジュール型プ ラットフォーム • 1 つの LiveOS インフラで 複数のプロダクションを同時に走らせるこ とができる -
NetOn.Live LiveOS スタジオ・インフラへの投資を最適化 • ハードウェアだと一番大きなユース ケースに対してスタジオを設計する必 要がある ◦ 普段使いでは、オーバースペックとなり、 設備の一部分の利用に収まる
• ソフトウェアによるスタジオ・インフラ は、同一のプロセッシング・ソースで 各々のスタジオに異なる機能を提供 することができる -
NetOn.Live LiveOS NetOn.Live のインテグレーション例: NetOn.Live + Panasonic + THEOlive による
glass-to-glass 2 秒遅延の生配信構成 https://www.theoplayer.com/blog/fully-remote-e2e-production-workflow-in-2-sec -
まとめ • デジタルコンテンツは所有されうるものになり、OTT 経済は次のステージに進化す るかもしれない • XR 技術は新しいスポーツイベントの形を作り、コンテンツの形を進化 • AI
プロダクションはこれまで表現できなかったリアリティを映像だけじゃなく、キャラ クターにももたらす • エンコーディングは、特定のユースケースに最適化したツールボックスが開発され る流れが続いている • Connected TV は放送波とインターネット配信の垣根を無くしていく流れ