Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

2024/10/30 産総研AIセミナー発表資料

Keisuke Fujii
October 30, 2024

2024/10/30 産総研AIセミナー発表資料

産総研人工知能研究センター【第79回AIセミナー】集団スポーツにおけるAI技術の応用と展望にて発表

Keisuke Fujii

October 30, 2024
Tweet

More Decks by Keisuke Fujii

Other Decks in Research

Transcript

  1. 自己紹介: 藤井 慶輔(ふじい けいすけ) 2 対人動作分析(2012) 立命館大学にて計測 半面での5対5 (2015) 東海大学にて計測

    年 所属 対象 アプローチ 2008-14 京大人環 個人・対人運動 (1対1)を計測 データ解析 NBAのゲームデータ (SportVU) 2014-17 名大保体 センター (学振PD) 運動制御モデル 集団運動(1対1 ~多対多)を計測 データ解析・ 理論モデル化 2017-19 理研AIP (研究員) 集団運動 (提供された データを利用 →再び計測) 機械学習を用いた データ解析・理論 モデル化 2019- 名大情報 (助教) 2021- 同上 准教授 東海大学にて計測(2022)
  2. 機械学習のスポーツへの応用について • 最先端の研究では何ができて、何ができないか? • スポーツで機械学習をどのように使うことができるか? • (最後) • そのメリットは?デメリットは? •

    どういう未来になっていくか? AI審判への期待(2024/8/29) AI活用のメリット・デメリット(2024/8/21) Tokyo MX 堀潤モーニングFLAG出演 ABEMA Prime、取材映像出演 4
  3. スポーツのデータ解析の前提 • スポーツ動作は感覚で行わ れる。試行錯誤して上手く なっていくが、その過程はわ かっていないことの方が多い 7 赤がNeymar選手(NHKの撮影協力) • 身体内部の感覚なので、一般的に言語化するのが難しい

    • 同じ説明を聞いてすぐにできる人もいれば、そうでない人もいる。 • 技術的な問題、体力的な問題、メンタル的な問題など様々 • そのあたりを総合的に深く理解した指導者・コーチに出会える と運動がうまくなることが多い • そういう人がどこにでもいるわけではないので、それも課題 • 今は映像にアクセスしやすくなったが、今後は定量化・可視化したい
  4. 今回は、集団スポーツの話をします • 侵入型ゲーム: サッカーやバスケットボールなど • ネット型ゲーム: バレーボールやテニス(ダブルス)など • 投・打球型ゲーム: 野球やソフトボールなど

    など。ただし、集団でなくても本質的な問題は似ている 集団スポーツのデータ解析に関する共通の問題: 1. 人間の目で見て評価を行う or高価な計測装置が必要なため、 プロでないと大量のデータの記録が難しい 2. 大量のデータが利用できても、結果を予測・評価することや、 集団の運動を個人の貢献に分解することがしばしば難しい 今回はデータが利用可能で分析が困難な侵入型ゲームを中心に 8
  5. スポーツ戦術の評価とそれにまつわる問題 9 勝敗や得点などの結果はすぐに手に入り、理解できる 例えば、以下について知ることが難しい(が知りたい): • その結果はどのように定量的に説明・評価できるか? • 次のゲームではどのようにプレーしたら良いか? 問題: 基本的に正解(最善)がない

    • 正解のプレーをされても、その裏をかけば優位になる • 経験豊富なコーチ/選手なら良さそうな戦術を選択できる? • なんとなくそんな気もするが…(経験上) • 主観や結果論でそう思っているだけかもしれない • 共通理解できる基準(数値)で評価できないか? • まずはデータの収集が必要(できれば自動で)
  6. 姿勢推定の主なデータセット 15 集団スポーツでは2D姿勢データのみ公開(以下は例) • KTH Multiview Football Dataset II: 3つの異なる視点から800フレームの姿勢[Kazemi+13]

    https://github.com/ryota-skating/FS-Jump3D フィギュアスケート3D姿勢データ[Tanaka+24, MMSports] • DeepSportLab: 672枚のプロバスケットボール試 合の画像においてボール検出、選手のインスタ ンスセグメンテーション、姿勢推定が利用可能 [Ghasemzadeh+21] • 3DSP: サッカー選手のポーズに特化した4,000枚 の画像アノテーション [Yeung+24, CVSports] サッカーのシュート時の 姿勢データ[Yeung+24, CVSports] https://github.c om/calvinyeung ck/3D-Shot- Posture-Dataset
  7. 3D姿勢推定 単眼3D姿勢推定 • 2D画像から直接3D姿勢を推定する手法 [Tekin+16]:深度の曖昧さや遮蔽に弱い • 2D-to-3D Lifting [Martinez+17] •

    2Dポーズ推定器の精度を活用し、直接推定法よりも正確 • Transformerベースの例:StridedTransformer-Pose3D [Li+21]: フィギュアスケートに 使用[Tanaka+23] 、MotionAGFormer [Mehraban+24]: サッカーなどで使用 [Yeung+24] マルチビュー3D姿勢推定 • 複雑なシナリオや遮蔽への対応 • Learnable triangulation [Iskakov+19]: End-to-End学習を実現 • TesseTrack [Reddy+21]: 複数人物の3D再構成と空間・時間の関連付けを同時に • スポーツにおける応用 • マルチビューの一貫性を利用した単眼3D姿勢推定 [Rhodin+18, CVPR] • スポーツでロバストなマルチビュー3D姿勢推定・追跡 [Bridgeman+19, CVSports] サッカーのシュート 時の3D姿勢推定 [Yeung+24, CVSports] • マルチビュー関係とス ポーツ特有の動作パ ターンを活用し、バレー ボールの姿勢推定の 精度を向上[Liu+24] 16
  8. 3. アクション(行動)認識と検出 動画像からどんな行動が(認識)いつ起こったか(検出)を推定 ✓ スポーツイベントの分析、選手行動理解、ビデオ解析自動化に不可欠 主なタスク ✓ Action recognition:ビデオ全体を1つのアクションクラスとして分類 ✓

    Action detection:ビデオ内のアクションが発生する時間を特定 • Action spotting:特定のイベントが発生する正確な時間を特定(集 団スポーツのパスなど、1フレームレベル) • Temporal action segmentation/localization:アクションの開始と終了 時間を特定 フィギュアスケートジャンプの例 [Tanaka+24, MMSports] 17
  9. アクション認識/検出のデータセット例 ⚫ Video action recognition ✓ UCF Sports Action [Rodriguez+08]、Diving48[Li+18]

    ⚫ Group action recognition ✓ バスケットボール[Yan+20] 、バレーボール[Ibrahim+16]、アイスホッケー [Askari+22]、集団スポーツ[Zalluhoglu+20]で選手間インタラクションをタグ付け ⚫ Action Spotting ✓ SoccerNet [Giancola+18, Deliege+21, Cioppa+24]でスポーツ映像内の特定の瞬間 を特定 ⚫ Temporal action segmentation/localization ✓ ダイビング[Xu+22]、体操[Shao+20]、フィギュアスケート[Liu+21,Gan+24] ✓ MultiSports [Li+22](エアロビクス、バスケット、サッカー、バレー) ✓ SportsHHI [Wu+24] (human-human interaction) MultiSports Dataset [Li+22, ECCV] 18
  10. Action spotting ⚫ 動画内で特定の瞬間や重要なイベントを識別する手法 ✓ 素早い動きが多いスポーツでは、正確な時間点での識別が必要 ✓ アクション認識との違い:事前に区切られたアクションではなく、発生した時点を特定 ⚫ スポーツ別の特徴

    ✓ サッカーのパスやフィギュアスケートのジャンプなど、特定の瞬間に焦点を当てる ⚫ 最近の技術進展 ✓ E2E手法(例: E2E-Spot [Hong+22, ECCV]):特徴抽出と予測を統合し精度を向上 ✓ T-DEED [Xarles+24, CVSports]:複数の時間スケールを扱い、SoccerNet Ball Action Spotting 2024で1位を獲得 E2E-Spot [Hong+22, ECCV]テニスとフィギュアで検証、 SoccerNet Ball Action Spotting 2023で2位 19
  11. データを収集した後、どう使うか? 現場の戦術的な分析は、まだ多くがビデオの目視(しか信用されない) ビデオ編集ソフトウェア (Sportscode) プレイ頻度分析 (Synergy) 選手・ボール位置推定(SportVU) 導入 自動化 •

    選手は、どのように動けば良いかわかるので、上手になる • コーチは選手に伝えられる、選手を公平に評価できる • ファンは難しい戦術も理解でき楽しめる、 などが期待 データを自動取得して定量的に評価する技術が開発されたら: 20
  12. CV in sportsの発展的話題:言語モデルとの統合 サッカーにおける応用 • GOALデータセット[Suglia+22]: ゲームイベントの理解と解釈 • SoccerNet-captionデータセット [Mkhallati+23,

    CVSports]: 映像から試合イベ ントのキャプション生成(2023,2024にコンペも) • SoccerNet-XFoul [Held, 2024 , CVSports]: フットボールのファウルに特化し た22,000件の質問応答生成 その他のスポーツへの応用 • ラグビーシーン分類にVLMを用いて改善 [Nonaka+24, CVSports] • DanceMVP [Zhong+24, AAAI]: 映像、音声、言語の自己教師あり学習を活用 し、ダンスパフォーマンスを評価 • Sports-QAデータセット [Li+24]: 様々なス ポーツ映像に関する質問応答(体操、バ レー、サッカー、バスケ) 21
  13. 本日の話 1. 集団スポーツのデータ解析の背景 2. 機械学習を用いた選手の動きの評価 課題①画像処理によるデータ自動収集 課題②機械学習を用いた予測による評価 課題③強化学習による全選手・全局面の評価・提案 3. 今後の展望と課題

    • 機械学習(AI)をどのように使えばよいか? • どのような未来にしたいか/なっていくか? • 研究エコシステムとしての課題 • 未来はどのようになっていくか? 22
  14. 課題②機械学習を用いた予測による評価 多くの場合… シュートやアシストなどの結果を収集して分析する 1. 結果論になりがち、その過程がわからない • 過程の動きは多様すぎて、可視化しても理解しにくい (例: ヒートマップ) 2.

    別のプレーを選択した時の結果がわからない • 1つの結果を予測するだけなく、複数のシナリオを 予測する必要がある 必要なこと 1. 行動ごとに、将来の結果予測に基づいて評価する 2. 選手の動き自体を予測して、複数のシナリオを作る 23
  15. 利用できるデータと問題点 例:J1リーグ2019シーズンの計45試合(※1) • イベントデータ(パス・シュート等19種類の行動ラベル) • トラッキングデータ(選手全員とボールの座標) ※1 情報・システム研究機構統計数理研究所 、データスタジアム 株式会社より提供

    ※2 有効攻撃: シュートに、クロスなどでペナルティエリア侵入したイベントなどを加えたもの ※3 ボール奪取: そのプレーの前後で有効攻撃以外により攻撃チームが変わること • 45試合(30-34節)のデータ: • 得点(失点): 106点 • シュート数: 1,174回 • 有効攻撃(※2): 3,701回 • ボール奪取(※3):9,408回 • 問題点: • 得失点は少ないので、正確に予測でき ないのでは? • チーム守備の次の目標:ボール奪取や (被)有効攻撃のデータを評価に使えな いか? 24
  16. 1. 行動ごとに、将来の結果予測に基づいて評価する 25 正の時は良い守備を、負の時は悪 い守備をしていると解釈できる 悪い守備ではなかったが失点してし まったと推察される (結果にとらわれない評価ができる) ボール奪取や被有効攻撃の予測確率に基づく守備の価値 𝑉𝑉𝐷𝐸𝑃

    𝑆𝑖 = 𝑃𝑟𝑒𝑐𝑜𝑣𝑒𝑟𝑖𝑒𝑠 (𝑆𝑖 ) − 𝐶 ∗ 𝑃𝑎𝑡𝑡𝑎𝑐𝑘𝑒𝑑 (𝑆𝑖 ) 守備の価値 ボール奪取確率 有効攻撃される確率 𝑃𝑟𝑒𝑐𝑜𝑣𝑒𝑟𝑖𝑒𝑠 や𝑃𝑎𝑡𝑡𝑎𝑐𝑘𝑒𝑑 は機械学習 (XGBoost)により推定 [Toda+21, Plos One] 予測モデルは、最近はTransformerなど を用いる[Yeung+24, Appl. Intell. Someya+24 IJCAIwなど] →後ほど染谷さんからも紹介
  17. 数理モデルによるボール非保持の評価 [Spearman18] コート上の地点 𝑟に価値(下記3要素)を割り当てる • 占有率(Control):𝐶𝑟 • 遷移率(Transition):𝑇𝑟 • 得点率(Score):𝑆𝑟

    ある試合状態における得点確率 𝑽𝒌 を以下のように計算する →ボールが来たらどれだけ点を入れられるか(ポジショニング)を評価 占有率 𝐶 遷移率 𝑇 得点率 𝑆 ボール非保持の評価 OBSO スコアモデルに守備を考慮[Teranishi+22, MLSA; Yeung+24 Complex Intelligent Syst] ドリブルとインターセプトを考慮[Kono+24, MLSA]、アルティメットに適用[Iwashita+24, CASSIS] 27
  18. 2. 選手の動き自体を予測して、複数のシナリオを作る 28 ☺ 原理に基づいているため、理解・説明しやすい  より複雑な動きに関して、実際の動きと異なる場合が多い マルチエージェント モデル 軌道生成・評価・

    仮説検証など 初期条件・パラメータ (事前に設定) 従来のルールに基づくモデル化・軌道生成 集団スポーツの例: ビデオゲーム、RoboCupなど 例:Social force model [Yokoyama+18] 空間力 回避力 協調力
  19. どのように軌道予測するか? 運動方程式を用いて予測も可能だが [Yokoyama+18; Alguacil+20]、 長期予測には、ニューラルネットワーク(NN)に基づく方法が現在は優位 29 これら先行研究の手法は、予測誤差を最小にするようにモデルを学習・評価 →集団スポーツでは、選手の評価に利用することができるのでは? 集団運動モデル を学習

    軌道生成 テストデータの 初期条件 訓練データ 学習されたモデル による予測 集団スポーツ(バスケ・サッカー)への適用例はたくさんある • 初期の研究例: [Zheng+16, Le+17, Ivanovic+18] • 最近: GVRNN [Yeh+19; Teranishi+22], Transformer [Capellera+24; Someya+24など] →次の染谷さんの発表でも紹介
  20. データセット J1 2019 横浜FM 全対戦試合: 34試合(データスタジアム社(*1)) • イベントデータ(パス・シュート等の行動ラベルとボール座標) • トラッキングデータ(選手全員とボールの座標)

    選手軌道予測・評価 • 2秒の系列を使ってその後の4秒を軌道予測(攻撃1選手、守備2選手) • 予測: 対戦相手の攻撃系列(*2) 94208系列で学習、10477系列で検証 • 評価: 横浜FMのシュート系列(*3) 412系列で推論、評価指標算出 *1 情報システム研究機構統計数理研究所 医療健康データ科学研究センター、データスタジアム株式会社 *2 攻撃系列:同一チームの連続した攻撃 *3 シュート系列:シュートに至るまでの同一チームの連続した攻撃(連続していない攻撃は除外) 30 30
  21. Creating Off-Ball Scoring Opportunity (C-OBSO)[Teranishi+22, MLSA] A2のスペースをA1が作った! 𝟎. 𝟎𝟎𝟕𝟗 C−OBSO:

    𝑉A1 = 𝑉A2 − 𝑉A2 ′ 0.0409 0.0330 (実際) (予測) 31 予測(薄色)より、 A1がD1を引き付けた 2. 選手の動き自体を予測して、複数のシナリオを作る 31
  22. 結果例: J1 2019 横浜FMのC-OBSOと年俸*との関係 • C-OBSOと年俸は正の相関(𝜌 = 0.45, 𝑝 <

    0.05)だがOBSOは相関なし • C-OBSO-年俸の外れ値は、(最)優秀選手賞を受賞 C-OBSOは選手の総合評価(年俸,個人賞)を説明できる可能性あり 32 *1 Soccer-Money.net https://soccer-money.net (アクセス日2021/1/9) 優秀選手賞 最優秀選手賞
  23. 課題③強化学習による全選手・全局面の評価・提案 34 Google Research Football (2019) 強化学習: 現在の状態から、報酬に基づき取るべき行動を決定 エージェント (方策

    𝜋) 状態 𝑠 行動 𝑎 報酬 𝑅 環境・他者 • 強化学習を用いれば、戦術的な行動の 意思決定そのものを評価できる • 最近研究が増えているが、アルゴリズムの 改善がメインで、実データとの関連が議論 されていない • 実データとシミュレータのギャップを埋め、 選手評価に利用したい(次の話)
  24. データから全選手の全局面を強化学習で評価 選手位置とactionを入力として、 深層学習を通してactionごとの価値を出力 ℒ𝑇𝐷 ℒ𝐴𝑆 ℒ𝐴𝑆 ℒ𝐴𝑆 [Nakahara+23, IEEE Access]

    • エージェント:攻撃選手10名(GKを除く) • 状態 𝑠 (連続): 全22名+ボールの位置座標・速度(𝑥, 𝑦) • 行動 𝑎 (離散):8方向の移動とパス・シュートなど合計14種類 (Gfootball) • 報酬 𝑟 ∈ [−1, 1] – ゴール or 攻撃終了時の得点期待値 − 直後のカウンターで失点有無 {0,1} 35
  25. 提案手法 vs シーズン得点 シーズン得点と負の相関(𝜌 = −0.761 ) • 得点を獲得した選手ではなく、得点に繋がるパスを多くした/オフ ボールの動きをした選手を評価している可能性

    ベストイレブン(2人ともFW) チアゴ:ベストイレブンで パス数リーグ6位 畠中:パス数リーグ2位 (2人ともDF) ベストイレブン(MF) 37
  26. 今後、スポーツでAIをどのように使えばよいか? ポジティブな面 • 基本的には公平性・透明性の観点からプラスになることが期待 • 映像撮影や審判など人や場所の制限を受けず、バイアスも低減 • アルゴリズムに透明性があれば、判断の根拠も理解できる(cf. 人間) •

    属人的でないので積極的に利用でき、競技の理解が進む? • 特に、決まった動きを実行するような動作に向いている • 評価に関する研究は、ゴルフなどの個人競技や野球、シュート動作など 一定箇所で移動しない動作なら評価しやすいので、これらは進んでいる 今後の課題 • 期待/信用しすぎたりすると間違った結論になることも • 現在のAIを使った応用は、最後は人の目で評価するものが多い • 人間も評価が難しい動きなど、より知的な判断を行う際に新たな問題も • 人間がプレーするので、人間が楽しめるような制度設計が大事 • 人間とAIの協調(審判、コーチなど)、ルール、資金や情報の格差の問題 40
  27. どのような未来になっていくか? • プロ/アマの情報格差の課題 • 今は利用できる人が限られている(資金のある大会やリーグのみ)ので、 多くの人が技術を利用できるようにすることが必要 • データ活用/AIの理解に関する課題 • 難しそうに見えるかもしれないが、意外と根気があれば作れる

    • 今はChatGPTなどの生成AIも助けになるので、作る楽しさを知ってほしい • 使うのはもっと簡単だが、メリット・デメリットの理解は必要 42 https://times.abema.tv/articles/- /8654657https://bunshun.jp/articles/-/38979?page=3 • 将来的には将棋のように 人間より強く、良い戦術を 提案したり、正確に評価が できるようになりそう
  28. スポーツAI研究に関するエコシステムとしての課題 43 映像を見て評価することが前提で、一部のトップしかデータがない! 私たち(分析する研究者)にとって… 課題① 映像や前処理データの入手が大変、未公開が多い(学習できない) 課題② 出力結果の解釈・検証や選手への伝え方が難しい 選手や、教えるコーチ、現場で測定される研究者にとって… 課題③計測・分析するのに非常に時間がかかる

    課題④経験と時間がないと大量の映像があっても情報が得られない 多くの人に情報を簡単に共有するためには、両者が協力して、 映像やコードを共有/公開することが必要 (公開できれば研究が進む) (現在筑波大、東京大、東海大、流通経済大、蕪湖職業技術学院(中国) 等と連携、拡大中)
  29. 本日のまとめ • 機械学習を用いた選手の動きの評価 • 画像処理で自動収集、予測による評価、強化学習による提案 • 今後の展望と課題 45 研究室HP: 謝辞:共同研究者の皆さま、支援頂いた研究費(HP参照)

    多くの人に動きの情報を オープンサイエンスで 簡単に共有できる世界 を実現したいので、お気軽 にご連絡ください! mail: [email protected] X (twitter): @keisuke_fj (藤井 慶輔)