Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIを活用した放送技術スタートアップの制作現場改革について

 AIを活用した放送技術スタートアップの制作現場改革について

Shumpei Urabe

April 25, 2023
Tweet

More Decks by Shumpei Urabe

Other Decks in Technology

Transcript

  1. ⾃⼰紹介 占部 竣平 NAXA株式会社 代表取締役 / マルチメディアエキスパート 学⽣時代からピクシブ株式会社や株式会社ミラティブなど、多くの動画配信サービ スの構築、放送局関連の開発業務に携わる。 2019年にNAXA株式会社を起業し、配信サービスやメディア向けの開発プロジェク

    トに複数従事。現在はメディア系DeepTech領域の研究開発やマネジメント、エン ジニア育成を⾏う。趣味は社会⼈バンドと⾳響屋。 2 Twitter: @s_urabe Blog: https://blog.meteor.ne.jp ← Elemental Technologies 時代から仲良くしてます
  2. デジタルプレイスメント 33 従来のプロダクトプレイスメントにおける 営業課題、スケジュール課題、膨⼤な調整、⼿間を解決する 納期 制作 デジタル プレイスメント マスターデータの完成 は再放送作品でも前⽇

    の場合がある。 撮影、番組制作時にプロダクト プレイスメントを実現するため の調整、競業避⽌が困難。 コンテンツ制作時、放送/ 配信後問わず、プロダクト プレイスメント型の広告商 品の販売が可能に。
  3. DPP for LIVE 38 現地にオンプレミスの機材を設置せず、 AWS上で全て処理をすることで既存のワークフローに乗っかる形で実現 ※ DPP for LIVE

    の出⼒として、Enhancing RTMP も⼀応サポートしています。(MediaLiveの対応待ち) ※ AWS CDI は検証中ですので、今後変更になる場合もあります。
  4. DPP for LIVE 39 リアルタイムの画像処理は重いので ⾊々な課題がありました・・・ (実質 動画版ISUCON) AWS CDI

    SDKがC⾔語実装のため Pythonへの組み込み YUV to BGRの処理が重いので 書き直す (OpenCVのGpuMatは重い) Kernel Parameters の調整 (TCP, UDPなど) GPUインスタンスのリザーブ
  5. プリプロダクションへの挑戦 43 その中でも構成台本に注⽬し、 プロダクトプレイスメント×デジタルプレイスメントによる 広告収益の最⼤化を狙う 企 画 ⽴ 案 監

    修 選 定 監 修 依 頼 リ サ + チ 構 成 台 本 撮 影 交 渉 撮 影 研究開発中 AIによってプロダクトプレイスメント 挿⼊シーンに⾃動で注釈を追記。 監督の業務や撮影を補助するとともに、 媒体資料の制作がシームレスに実現。
  6. プリプロダクションへの挑戦 4 研究開発中 テキスト解析 コンテキスト解析 -5.5 -5.3 -5.1 -4.9 -4.7

    -4.5 -4.3 -4.1 3 4 5 6 7 8 9 10 11 12 13 14 15 0.0009 0.0010 0.0011 0.0012 0.0013 0.0014 0.0015 3 4 5 6 7 8 9 10 11 12 13 14 15 Coherence KL Divergence ⽬をつぶって…あなたの⼼、私に委ねて うわーーっ ⼭上家・⾷堂 テーブルには⼣⾷の⽀度。 杏⼦と三四郎座っている。 お兄ちゃん、遅いね お友達の稲に⾏っているんだって。例の転校⽣♪ 並川市・林 すでに夜。 ⽊を相⼿に正幸突きの練習の京⼀。 怖い形相の京⼀。 物陰から⾒ている晴美。 ⻑⾕川家・ ムリョウの離れ 酔っぱらっているセツナ、執拗に那由多に絡んでいる。 あーもー酒くさーい︕何とかしてよこの⼈、ねえ はははは うわーーーーーーーっ︕ 様々な⼈がそれぞれの夜を送り、様々 ねえねえ誰が好きなの︖ムリョウ︖太郎ちゃん︖それもとそれとも︖ ゆっくりと⽬をつぶる太郎。閉じたまぶたの裏に突如広がる光の奔流。 ひっくりした太郎、⽬を開けるとそこは光の奔流の渦中。はじめに向かって⾶んでくる沢⼭の宇宙船。 XXX 絶叫する、太郎。 XXX 饅頭⾷べながら楽しそうなムリョウ。 外はきれいな星空。 XXX 相変わらず絶叫している太郎。 XXX 花⼦ (少⼥) 三四郎 ムリョウ 太郎 杏⼦ セツナ 那由多 太郎 NR A B C D E F G H I J K L M N O 1.2 1.0 0.8 0.6 0.4 0.2 0.0 • 台本を解析し、感情の起伏や視聴者に与える影響を分析 • 広告効果が⾼いシーンにはあらかじめプロダクト・プレイスメントの提案を⾏う
  7. プリプロダクションへの挑戦 48 Tesseract OCR(※1)とGPT-4/BERT (※2)を利⽤ 現在は社内で検証中 今後、実際の作品での実証実験を進めていく 研究開発中 ※1 Amazon

    Textract はまだ⽇本語対応に対応していないため ※2 GPT-4、BERT、ともにTransformerという仕組みを使った ⾔語モデルですが、GPT-4の場合は対話や要約などの⽂章⽣成、 BERTは⽂章分類や質問応答が得意といった形でそれぞれ違いが あります。今回は、必要な処理に合わせて GPT-4 と BERT を組 み合わせています。