いい感じの素材選択ロジック / How to select videos for 1sec Movie

みてねのMeetup #4 1秒動画の作り方 〜深層学習とデータ分析で最高のダイジェスト動画を作る〜
https://mixi.connpass.com/event/115664/

みてねのアルバムにある大量の画像・動画から、1秒動画に利用するものをどのように選んでいるのかご紹介します。

Transcript

1. いい感じの素材選択ロジック 2019-02-13 みてねの Meetup #4 1 秒動画の作り方 ～深層学習とデータ分析で最高のダイジェスト動画を作る～ 株式会社ミクシィ 松石浩輔
2. 目次 1. 素材選択とは 2. 素材選択の考えかた 3. ルールのつくりかた 4. 今後の課題
3. 素材選択とは
4. 素材選択とは みてねのアルバム 家族のもつ画像・動画 (Medium) が撮影日時順に並んでいる 一般的な家族: 1 ヶ月に50 点以上の Medium を持つ 1 秒動画 3 ヶ月分のアルバムから、20 点の Medium をまとめた動画 素材選択 多数 (150 点以上) の Medium の中から20 点だけを選び出す操作 4
5. 素材選択の考えかた
6. 素材選択の考えかた 1. ルールベース 2. Medium の点数づけ 3. 撮影日時を均等にしつつ高得点に 6
7. 素材選択の考えかた 1. ルールベース 最新のレコメンドアルゴリズムを使う、とかはしていない Product Owner の考えを反映したい ブラックボックスにしたくない 正解データ、教師データが存在しない ( 作ることが難しい) 出力の定量的な評価が難しい 7
8. 素材選択の考えかた 2. Medium の点数づけ 以下のような項目を見て、各 Medium に点数をつける みてね固有の メタデータ 一般的な 画像・動画解析 みてね固有の 画像・動画解析 公開範囲 コメント お気に入り 顔検出 人物検出 BGM 検出 壊れ動画検出 真っ暗検出 雰囲気の例: 「コメントが盛り上がっているので +10 点」 「顔がよく写っているので +20 点」 「動画ファイルが壊れているので -100 点」 8
9. 素材選択の考えかた 3. 撮影日時を均等にしつつ高得点に 月ごと、日ごと、など適当な間隔で Medium を区切る 各期間の Medium 数が一定に近づくよう、高得点な Medium を選ぶ 参考: 特開2016-036078 ( あくまで雰囲気の参考として) 9
10. ルールのつくりかた
11. ルールのつくりかた 1. Product Owner やデザイナなど 関係者にヒアリング 2. ルールを試作 3. ルールの出力を関係者でレビュー 4. レビュー結果をもとに修正 5. 満足できるまで 3. と 4. を繰り返す リリース前のほか、 CS への入信など様子を見て のサイクルを適宜実施 チューニング用の管理画面 11
12. 今後の課題
13. 今後の課題 ルールの定量的な評価と改善 現状はほぼ定性的な評価のみ フォトブックや DVD の売上で A/B テストをするなどしたい 解析項目の充実 感情推定、年齢・性別推定、などなど その他 動画の切り出し秒数の最適化 コンテンツに応じた BGM の出し分け 13
14. まとめ
15. まとめ 素材選択 = 3 ヶ月間にある多数の Medium からs20 点を選び出す操作 1 秒動画の素材選択はルールベース 素材となる Medium を点数付け 撮影日時を均等にしつつ高得点な Medium を選ぶ Product Owner やデザイナの意見をもとに ルールの試作・調整とレビューを繰り返してチューニング 今後はルールの定量的な評価に基づく改善や 解析項目の充実に取り組みたい 15