"新しい未来のテレビ"を目指すABEMA配信システムの再設計 / Re-architecture of ABEMA live ingest system

「ABEMA」では、24時間365日継続的な配信を行うリニア配信、タイムシフトやビデオ機能を提供するオンデマンド配信があります。2016年に開局した「ABEMA」は今年で5年を迎えますが、開局当初に設計された配信システムには多くの課題が出てきました。その課題を解決するべく、ここ数年で配信システムの再設計を行ういくつかのプロジェクトを発足しました。本セッションでは"新しい未来のテレビ"を目指すABEMAが、どのような課題を抱えていて、どのようなアプローチを取ったのか、紹介したいと思います。

Transcript

2. ⼭中 勇成 a.k.a みゆっき 2017年度 新卒⼊社 株式会社AbemaTV 開発局 コンテンツ配信Div. 未踏スーパークリエータ @toriimiyukki @miyukki
3. 最近の買い物
4. ໨࣍ Contents ໨࣍ Contents ໨࣍ Contents ໨࣍ Contents ໨࣍ Contents ‣ 5周年を迎えるABEMAが抱えるもの ‣ ボトムアップからのプロジェクト発⾜ ‣ ぼくのかんがえたさいきょうの配信システム ‣ まとめと今後 A g e n d a
5. 5周年を迎えるABEMAが抱えるもの
6. https://contents-abema.com/ th/
7. ABEMAで配信しているコンテンツ テ レ ビ ビ デ オ 納品素材 スタジオ 配信システム CDN 納品素材 配信システム CDN 視聴デバイス 視聴デバイス
8. ユーザー👫 売り上げ💰 5周年を迎えるABEMAが抱えるもの
9. 負債
10. 技術的負債 意図的な負債 • 少ない⼈数、短い期間での開発によるコードの品質の悪化 • 配信技術に関する知識不⾜ 変化による負債 • ⾔語, ライブラリ, ミドルウェアバージョンアップへの追従 • 新しい技術やサービスの登場 IUUQTOPUFDPNDZCFS[@DUPOOGED 💡
    ͪ͜Β΋ࢀߟ
11. 5年間の負債は技術だけじゃない 🙅
12. 組織的負債の例 👦👦👦 👦👧👧 現場技術 👦👦👦 配信開発 👦👦👦 👦👦👦 👧👧👧 API 👦👦👦 👦👦👧 広告 👦👦👦 👦👦👦 SRE 映像ソース エンコーダー サーバー CDN この部分の⾯倒を⾒る⼈がいない
13. • 配信現場と配信システムの中間レイヤー責任者不在 • 課題や障害が起きたときに本質的解決がされない • 現場の負荷を考えないオペレーション設計 • 負荷によりオペミスの誘発、対応に限界ができる • ABEMAが求めるターゲットクオリティの変化 • 画質や安定性がクオリティを満たさない設計になっている 組織的負債 運⽤的負債 本質的負債
15. ボトムアップからのプロジェクト発⾜
16. バカンスを楽しむCTO 今のABEMAって、こういうところに 課題あると思うのですが… 落書きされた僕
17. YOU!! やっちゃいなよ 覚醒したCTO
18. ブレない軸 =ミッション を決める ミッション インターネットのマスメディアとして必要な要素
19. 配信運⽤ / 配信技術 / エンジニアを集めて、ワークを実施 有識者を集めてヒアリング
21. • 組織改善 • 本質改善 • 運⽤改善 改善案を3つのテーマに 分けて提案 ミッションを達成するための改善案をまとめる
22. 社⻑に当てる 今のABEMAって、 こういうところに課題があり、 こういう改善案を⽤意したのですが…
23. ㊗🎉 プロジェクト発⾜
24. スタジオ機材更新 配信システム更新 ニュース低遅延化 ABEMA技術者 横軸MTG 多数のプロジェクトが発⾜
25. ぼくのかんがえたさいきょうの配信システム
26. Photograph by Kordite !"#$%&'%(
27. 次世代のインジェストアーキテクチャを構築するプロジェクト SUPERBIRDとは 現場からサーバまでのアップロードのこと ※社内でのコードネーム 映像ソース エンコーダー サーバー CDN インジェスト
28. SUPERBIRDの⽬的 課題解決 将来への投資 • K対応 • 低遅延化 • システムの集中管理 など • 配信トラブルの抑制 • 画質向上 • 設備依存 • CMタイミング精度の向上 など 上記を実現するための 次世代のインジェストアーキテクチャを設計する ABEMAにおける と が⽬的
29. より良いインジェストアーキテクチャとは 品質が⾼い • 映像、⾳が良い = 製作者の意図を”そのまま”反映できる • 遅延が短い 安定している • 途切れない • 途切れても冗⻑構成に切り替えが可能 • 第三者要因に影響されない 運⽤しやすい • オペレーションが単純 • システムが集中管理されている • トラブルに即座に対応可能 柔軟である • スタジオの増減に柔軟に対応可能 • ⼊出⼒フォーマットの変化に短期間で移⾏可能 • ABEMA以外のCAのサービスでも流⽤可能
30. • 中央集約（ハブ化） • エンコーダーリプレイス • 監視設備強化 • 新配信管理画⾯ SUPERBIRDのアプローチ
31. ΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ഑৴γεςϜ 中央集約（ハブ化）
32. インターネットでのインジェストは第三者の影響を受けやすい 専⽤線でのインジェストをしたいが、各スタジオとクラウドを専⽤線で結ぶのは⾮現実的 中央集約（ハブ化） スタジオA スタジオB スタジオC データセンター クラウドA クラウドG ➡ 各スタジオとデータセンターを専⽤線で、データセンターとクラウドをプライベートピアで結ぶ
33. 伝送技術の選定 スタジオサブ プロトコル データセンター ⾮圧縮 現場 クラウド 伝送装置 伝送装置 伝送装置 サーバー 伝送技術 HD HD-SDI i . K G-SDI Quad MPEG- H. TICO H. コーデック RTP RTMP Zixi SRT RIST SMPTE - SMPTE × コーデック × × プロトコル SDI IP コーデック H. / H. プロトコル RTP-FEC / RTMP / Zixi / SRT / RIST ⾮圧縮 MPEG- H. TICO H. RTP RTMP Zixi SRT RIST SMPTE - SMPTE
34. • IPネットワークをベースとした伝送を選択 CyberAgentにはデータセンターのエンジニアもいるため、IPだと⾃社でメンテナンスが可能 IPベースの伝送 スタジオサブ データセンター 常設スタジオ クラウド エンコーダー 中継 サーバー サーバー マルチキャストネットワーク スタジオサブ 外配信現場 エンコーダー プロトコル 変換 監視 モニター ➡ なぜインジェストエンコーダーをスタジオに設置したか • 外配信現場などのスタジオ変化に対応するため • ⼆重エンコードによる画質劣化を防ぎたいため RTP H. Zixi RTP H.
35. • IGMP v SSM(Source Specific Multicast)によるマルチキャストルーティング 各拠点や各機器で欲しいスタジオサブの映像を⾃由に取得可能 マルチキャストネットワーク エンコーダー 中継サーバー @データセンター 監視モニター @監視ルーム 現場モニター ＠スタジオ
36. ΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ഑৴γεςϜ エンコーダーリプレイス
37. 求める要件（⼀部） • 品質の⾼いエンコード（ 主にデインターレース） • 24/7の稼働率 • テロップの挿⼊が可能 • CM挿⼊サポート エンコーダーリプレイス 検証中の様⼦ 仕様だけで分からない部分も多い 実機を借りて検証
38. • 挿⼊タイミングの精度向上 ➡ SCTE- でのキュー情報の重畳 • CMが⼊ったことをなるべく早く現場にレスポンスする ➡ キューで映像を静⽌画に切り替えてフィードバック（実際のCMはSSAIで挿⼊） CM挿⼊に求める要件 CM挿⼊すると 静⽌画を挿⼊ スタジオ映像
39. エンコーダー選定表
40. ΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ഑৴γεςϜ 監視設備強化
41. ABEMAでは⽣配信を常に監視 • 今まではスタジオが⼊ったビルの⼀室 ➡ 電源冗⻑化された施設へ • レガシーな監視からの脱却 ➡ Grafana / Zabbixの導⼊ ➡ IP MVの導⼊ 監視設備強化 新マスタールーム
42. • エンコーダー/中継機器/IP MVなどの機器から情報を取得 ➡ Grafana/Zabbixで可視化により、⽬視監視から⾃動監視へ Grafana / Zabbix 導⼊ Grafana Zabbix
43. • 従来のSDI MVでは、ルーティングの設定が必要 & 物理ケーブルが必要 また、ストリーム受信にPCを使⽤していたため、相当数のPCが必要であった ➡ ネットワークからストリームを受信してMV画⾯を⽣成する製品の導⼊   映像内部の問題も検知可能へ IP MV(Multi-Viewer) の導⼊ IP MV画⾯
44. ΅͘ͷ͔Μ͕͍͖͑ͨ͞ΐ͏ͷ഑৴γεςϜ 新配信管理画⾯
45. 現場の意⾒をヒアリングした上で、 現場が使いやすい管理画⾯を新たに開発 新配信管理画⾯ 新たな配信管理画⾯
46. • インジェスト先のアドレスをエンコーダーに ⼊⼒するのが⼤変 ➡ 管理画⾯上からエンコーダーを選択する形に変更   オペレーション負荷を低減 • テロップを簡易に⼊れたい ➡ 管理画⾯上からテロップの選択や位置調整を⾏い   エンコーダーを制御するように新規開発 新配信管理画⾯
47. • ブラウザ画⾯だとCM挿⼊ボタンの誤クリックや確実性に⽋ける懸念があった ➡ HIDとして認識する物理CMボタンを設計‧特注   WebHID技術を使⽤してブラウザと通信が可能 CMボタン プロトタイプ版 初号機 量産機
48. CloudNativeなアーキテクチャ この話はまたどこかで…
49. まとめと今後
50. • ABEMAに次世代のインジェストアーキテクチャを検討して導⼊した 実際に使⽤開始になるのはもう少し先 • ⼊社してワガママを⾔い続けていたらいつの間にかプロジェクトになった ⼤きなプロジェクトを動かすのは⼤変だが、 新卒3年⽬から社⻑に提案して実際に動けたのは良い経験だった • 現場の意⾒をヒアリングすることは⼤切 使いやすい構成にしておくことで現場の負荷を下げ、オペミス低減や業務効率化が図れる まとめ
51. • インジェストレイヤーをエンジニアリングできる体制を整えられた より⾼画質な配信、低遅延な配信、⾼可⽤な配信など新しいチャレンジがやりやすくなった 今後