Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【D1-3】フィギュアスケートにおける自動追尾カメラ開発 - 位置情報+AI画像解析 | #M...

【D1-3】フィギュアスケートにおける自動追尾カメラ開発 - 位置情報+AI画像解析 | #MTDC2024 | MIXI TECH DESIGN CONFERENCE 2024

━━━━━━━━━━━━━━━━━━━━━━━━━━━━
MIXI TECH DESIGN CONFERENCE 2024 - SESSION ARCHIVE
━━━━━━━━━━━━━━━━━━━━━━━━━━━━
3/18(月) 14:30 〜 14:50|D1-3

フィギュアスケートにおける自動追尾カメラ開発 - 位置情報+AI画像解析

みなさんはフィギュアスケートという競技を華やかで優雅なイメージでご覧になっているかもしれません。
しかし、フィギュアスケートという競技は、最高30km/hを超える速度とジャンプ・スピン・急旋回といった動きの激しさも兼ね備えています。

トレーニングの模様を無人でカメラ撮影・データ表示・遠隔視聴したいとなったときに様々なハードルがありました。
複数の選手がいる中で、特定の選手を自動的に追尾撮影しトレーニング支援するシステムの開発は、交錯の問題もあり非常に難易度が高いものでした。

今回、我々は屋内位置測位システムとAI技術を組み合わせ、フィギュアスケートのトレーニング現場に対応した自動追尾カメラシステムを開発しました。
その事例について紹介します。

開発本部 たんぽぽ室 インフラグループ
市野 真一 / Shinichi Ichino

開発本部 たんぽぽ室 映像開発グループ
小端 みより / Miyori Kobata

────────────────────────────
□セッション情報
https://techcon.mixi.co.jp/2024/d1-3.html
□イベントハッシュタグ
#MTDC2024
━━━━━━━━━━━━━━━━━━━━━━━━━━━━

◇◆◇ Information ◇◆◇
X(旧Twitter)
https://twitter.com/mixi_engineers
MIXI Developers Blog (medium)
https://mixi-developers.mixi.co.jp/
Slide (SpeakerDeck)
https://speakerdeck.com/mixi_engineers/
MIXI Design note
https://note.com/mixi_design/
採用情報
https://mixigroup-recruit.mixi.co.jp/
connpass
https://mixi.connpass.com/
HP
https://mixi.co.jp/

MIXI ENGINEERS

March 18, 2024
Tweet

Video

More Decks by MIXI ENGINEERS

Other Decks in Technology

Transcript

  1. ©MIXI 2 株式会社MIXI 開発本部 たんぽぽ室 インフラグループ 市野 真一 / Shinichi

    ICHINO MIXI社歴 : 2021年3月 中途入社 (満3年経過) 仕事内容 : 動画配信・伝送、電波 と 書き物    デバイス開発のようなこと 対外活動 : JANOG と Media-JAWS 最近趣味 : ミニ四駆 と ゲーム(FFやりたい) ※ JANOG52@長崎では実行委員長を務めました   地元テレビ局にも取材いただき全国デビューさせてもらいました 自己紹介
  2. ©MIXI 3 自己紹介 株式会社MIXI 開発本部 たんぽぽ室 映像開発グループ 小端 みより /

    Miyori KOBATA もともとはゲーム開発エンジニア 近年はUnreal Engineを使った映像開発 AI初心者 うちの猫かわいい→
  3. ©MIXI Program AGENDA 1 2 3 4 自動追尾カメラ と フィギュアスケート

    ~ トレーニング課題の解決に向けて ~ 屋内位置測位システム(IPS) ~ 鉄板と氷に囲まれた空間、電波反射・吸収の苦しみ ~ 制御ソフトウェア実装 ~ 位置情報 + Unreal Engine と AI ~ まとめ・DEMO案内
  4. ©MIXI Program AGENDA 1 2 3 4 自動追尾カメラ と フィギュアスケート

    ~ トレーニング課題の解決に向けて ~ 屋内位置測位システム(IPS) ~ 鉄板と氷に囲まれた空間、電波反射・吸収の苦しみ ~ 制御ソフトウェア実装 ~ 位置情報 + Unreal Engine と AI ~ まとめ・DEMO案内
  5. ©MIXI 6 特徴 : 高速移動(30km/h)でも追尾可能 & 他者と交差しても継続追尾可能 自動追尾カメラを開発しています 本動画は、株式会社 MIXIが開発した、フィギュアスケートにおける位置情報

    +AI画像解析を活用した自動追尾カメラシステムで撮影した実際の映像です。 ※実際の映像には場内環境音も収録されます。 測位情報を元に リアルタイム速度表示 測位情報を元に 滑走軌跡表示
  6. ©MIXI 7 ナショナルトレーニグセンター(NTC)にて フィギュアスケート強化選手のトレーニング施設 『 関空アイスアリーナ@泉佐野市 』 御縁があり施設訪問させてもらった。その中のとある会話で、   フィギュア関係者

    われわれ  課題を抱えているのですか? 実現したいことは? 選手のコーチが来れないことがある そんなときでも・・・ ・ 適切な画角を維持して自動追尾撮影 ・ 撮影した映像は録画保存 ・ 遠隔で映像をリアルタイム視聴 ・ 選手の滑走記録をデータ化したい 構築・開発チャレンジしてみます
  7. ©MIXI 8 達成するべき課題 自動追尾撮影 ・ フィギュアスケート特有の動き(高速滑走・急旋回・急停止・ジャンプ・回転)に対応させる必要がある ・ 距離のある撮影・複数人が交差する環境下で、特定選手を追い続ける必要がある  → 画像認識ではなく、屋内位置測位・リアルタイムデータを元に自動追尾カメラを開発することにした

    データ表示 → 選手に身に付けたセンサーを元に可能な限りデータをリアルタイムに可視化する センサー・タグの軽量化 → 別スポーツでの経験上、選手にマーカー・デバイス等を身に着けてもらうのはハードルが非常に高い → フィギュアスケートは、回転運動が伴い遠心力が発生するためとにかく軽量であるものが求められる
  8. ©MIXI Program AGENDA 1 2 3 4 自動追尾カメラ と フィギュアスケート

    ~ トレーニング課題の解決に向けて ~ 屋内位置測位システム(IPS) ~ 鉄板と氷に囲まれた空間、電波反射・吸収の苦しみ ~ 制御ソフトウェア実装 ~ 位置情報 + Unreal Engine と AI ~ まとめ・DEMO案内
  9. ©MIXI 10 屋内位置情報測位システム(IPS) 屋内で位置を測位する仕組みは様々存在しています BLE(Bluetooth Low Energy)デバイスが発信する 電波の受信角度を検知するAoA方式 タグの所在をリアルタイムに測位するシステムを採用 規格

    超音波 UWB BLE Wi-Fi RFID 精度 1cm 30cm 1m 10m 1m 範囲 10m 20m 20m 20m 1m タグ・センサー重量 40g 40g 10g any a few g タグを付けられなければ測位できず意味がない タグ重量は重視。また、測位範囲を配慮して、今回は BLEを選択 ※登壇者の独自調査調べ 座標 X.Y 取付 受信機(ロケータ) 座標 X.Y 取付 受信機(ロケータ) ◯° ✕° X軸・Y軸・Z軸のタグは直線上の交差地点で測位 発信機(タグ) AoA(Angle of Arrival : 到達角度)方式による測位
  10. ©MIXI 11 工事風景 営業時間外の夜間、天井にロケータ x 12 + LAN配線工事 高さ約10mの天井 +

    遮蔽物なし 事前PoC実施。理想的な敷設条件!! であるはず、、だった・・・ 設置工事中の模様(タイムラプス撮影) 高さ10m 氷上高所作業
  11. ©MIXI 12 測位されない測位システム リンク壁際を滑走すると測位されなくなるタイミングがある、、なぜだ ・・・ 諸々調査の結果、あさっての方向にタグがあるように見える場合がある ・・・ 靴紐取付タグも不調 AoAでの測位 電波吸収する氷の床

    ・・・ 電波反射する金属の壁 ・・・ 検証・考察の繰り返し ・・・。 反射した方角の電波を拾ってしまっていると予想 対策としては、、 反射方向の電波を拾わないようにロケータを追加して測位精度向上 謎にリンク外 ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ロケータ位置 不調な靴紐取付 タグ
  12. ©MIXI Program AGENDA 1 2 3 4 自動追尾カメラ と フィギュアスケート

    ~ トレーニング課題の解決に向けて ~ 屋内位置測位システム(IPS) ~ 鉄板と氷に囲まれた空間、電波反射・吸収の苦しみ ~ 制御ソフトウェア実装 ~ 位置情報 + Unreal Engine と AI ~ まとめ・DEMO案内
  13. ©MIXI 18 まずIPSの特徴 • 屋内で運用することができる • 対象の絶対的な座標を測位できる • 測位の遅延が少ない •

    測位の精度が高い(測位座標のずれが少ない) これだけみると弱点がないように思われる
  14. ©MIXI 23 AI追尾のはじまり まず・・ I am 完璧にAI初心者 OpenCV※にDNNモジュールが用意されているので比較的スムーズに移行できた (DNN・・学習済AI推論モデルを実行することができる) とくにv4.7以降ではDNNを使用した、Nanotrackという物体追跡が実装されており勉

    強になった OpenCV→DNNの流れはAI画像解析の初心者におすすめかも? (HWアクセラレーションを有効にしてビルドするのが面倒くさいけど・・) ※各社の商品またはサービスなどの名称は、各社の商標または登録商標です。
  15. ©MIXI 26 開発上の工夫 実は制御ソフトウェア実装にUnreal Engine※を使用している 理由としては 1. もともとPTZカメラを使用したARやカメラ制御の技術があった 2. ミニマップや速度などの視覚情報を実装しやすい

    3. ビジュアルスクリプティング環境で実装やパラメータ調整がやりやすい 4. ゲームエンジン内でCGを使ってAI推論を検証することができる ※各社の商品またはサービスなどの名称は、各社の商標または登録商標です。
  16. ©MIXI Program AGENDA 1 2 3 4 自動追尾カメラ と フィギュアスケート

    ~ トレーニング課題の解決に向けて ~ 屋内位置測位システム(IPS) ~ 鉄板と氷に囲まれた空間、電波反射・吸収の苦しみ ~ 制御ソフトウェア実装 ~ 位置情報 + Unreal Engine と AI ~ まとめ・DEMO案内
  17. ©MIXI 32 まとめ・今後の展望 まとめ → 見えない電波の取り扱いは環境に依存され一筋縄ではない → 位置情報のみ・画像認識のみは難しかった。組み合わせ開発で精度を向上!   ハード・ソフトの追い込みが必要となり大変、 AIを活用

    今後の展望 → 競技力向上に向けてさらなる付加価値(データ)を AddOn! → 他のスポーツへの展開はもちろん、   興行イベント等のエンタメでも応用していきたいと考えています もちろん基本性能UP! 必要な機材追加 + AIでの追尾性能を向上
  18. ©MIXI 33 デモのご案内 ココ MIXI TECH DESIGN CONFERENCE 2024 本システムの簡易版を会場内にてデモンストレーションを行っています

    場所 : 4階エントランスロビー エスカレーター付近 ぜひお越しください。 ご質問・議論はこちらでお願いいたします!!