EditNet: 編集者の意図に基づくナラティブ生成能力評価のための動画編集データセット / EditNet: A Dataset for Evaluating Message-Driven Narrative Video Editing

Transcript

1. 編集者の意図に基づく ナラティブ生成能力評価のための動画編集データセット 緒方 克哉, Zongshang Pang, 大谷 まゆ, 中島 悠太
2. 動画編集 • 動画メディアの発達により、長い素材動画を短く加工する動画編集の自動化に 対する需要が高まっている • 長い素材動画から必要な部分だけを切り出して整えるのは大変 素材動画 （数十分〜数時間） 動画編集者 動画メディア 2
3. 動画要約と動画編集 従来の動画要約 動画編集 + 素材動画 重要度スコア 一般的なハイライト 素材動画 メッセージ 物語生成 ストーリーライン 3
4. EditNetの概要 メッセージ 編集者 少女が 巨大な悪に 立ち向かう 冒険活劇 00:15-00:30 素材動画 04:35-06:30 12:05-12:30 種族の 絆を超えた 感動物語 00:15-00:30 04:35-06:30 12:05-12:30 盲目的な 執着が招く 残酷な 真実と絶望 00:15-00:30 30動画 × 3メッセージ × 3編集者 = 270動画 04:35-06:30 12:05-12:30 4
5. EditNetの特徴 素材動画 10~15分 All World Cup Finals Since 1998 5
6. EditNetの特徴 メッセージ1 メッセージ2 メッセージ3 6
7. EditNetの特徴 メッセージ1 メッセージ2 メッセージ3 同じメッセージ・異なる編集者 ワールドカップの歴史 7
8. EditNetの特徴 メッセージ1 メッセージ2 メッセージ3 同じ編集者・異なるメッセージ ワールドカップの歴史 PKの心理戦 観客と選手の熱狂と歓喜 8
9. タスク定義 入力 出力 素材動画 カットリスト メッセージ [00:25, 00:50] [02:32, 02:58] [03:45, 04:30] [05:15, 05:32] 動画編集モデル 編集動画 9
10. 評価指標 VLM as a Judge Temporal IoU Overlap 動画A 動画B • カットセグメントの一致度を測る • メッセージに対する意味的な評価 • 複数の閾値(𝜃 ∈ {0.3, 0.5, 0.7}) で • 人間とモデルの編集動画の優劣を F1スコアを報告する VLMに評価してもらう 10
11. クイズ Q. AI が編集した動画はどちらでしょうか？ A B 秋の景色の美しさ 11
12. クイズ 秋の景色の美しさ 12
13. 定性評価 メッセージ: 白うさぎの逆襲 Human Qwen3-VL-8B Gemini3-Pro 逆襲に説得力を持たせる背景がある メッセージ内容しか描写できていない カット間の接続が自然 カット間の接続が不自然 13
14. まとめ • メッセージ駆動での動画編集データセットEditNetを構築した • 本データセットでは、既存のデータセットでは測ることのできなかった、メッ セージに基づくナラティブ生成能力を測ることができる • コンテキストや編集技術は、提案した評価指標では測ることができない可能性 があり、より信頼できる評価指標の検討が必要である • 詳細な実験結果や提案手法はポスターにて！ 14