Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2024/10/30 産総研AIセミナー発表資料
Search
Keisuke Fujii
October 30, 2024
Research
1
380
2024/10/30 産総研AIセミナー発表資料
産総研人工知能研究センター【第79回AIセミナー】集団スポーツにおけるAI技術の応用と展望にて発表
Keisuke Fujii
October 30, 2024
Tweet
Share
More Decks by Keisuke Fujii
See All by Keisuke Fujii
MLSA (Machine Learning and Data Mining for Sports Analytics) 2023 参加報告
keisuke198619
2
460
集団スポーツの動きに関するデータ分析の概要と今後の展望
keisuke198619
0
270
最新のスポーツアナリティクス研究論文はどこで読めるか?
keisuke198619
0
280
Sports Analyst Meetup #13 (2022/11/26)
keisuke198619
0
820
スポーツ戦術をAIのデータ解析で評価する
keisuke198619
1
1.1k
Sports Analyst Meetup #12 Keisuke Fujii
keisuke198619
0
880
Learning interaction rules from multi-animal trajectories via augmented behavioral models
keisuke198619
0
320
Other Decks in Research
See All in Research
20241115都市交通決起集会 趣旨説明・熊本事例紹介
trafficbrain
0
700
ミニ四駆AI用制御装置の事例紹介
aks3g
0
180
Whoisの闇
hirachan
3
160
熊本から日本の都市交通政策を立て直す~「車1割削減、渋滞半減、公共交通2倍」の実現へ~@公共交通マーケティング研究会リスタートセミナー
trafficbrain
0
180
ベイズ的方法に基づく統計的因果推論の基礎
holyshun
0
610
渋谷Well-beingアンケート調査結果
shibuyasmartcityassociation
0
300
The Relevance of UX for Conversion and Monetisation
itasohaakhib1
0
110
ニューラルネットワークの損失地形
joisino
PRO
36
18k
外積やロドリゲスの回転公式を利用した点群の回転
kentaitakura
1
720
Zipf 白色化:タイプとトークンの区別がもたらす良質な埋め込み空間と損失関数
eumesy
PRO
8
1k
Human-Informed Machine Learning Models and Interactions
hiromu1996
2
520
Composed image retrieval for remote sensing
satai
2
130
Featured
See All Featured
Code Reviewing Like a Champion
maltzj
520
39k
Speed Design
sergeychernyshev
25
670
Documentation Writing (for coders)
carmenintech
66
4.5k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Optimising Largest Contentful Paint
csswizardry
33
3k
Raft: Consensus for Rubyists
vanstee
137
6.7k
Designing for humans not robots
tammielis
250
25k
A Tale of Four Properties
chriscoyier
157
23k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
810
How to Think Like a Performance Engineer
csswizardry
22
1.2k
YesSQL, Process and Tooling at Scale
rocio
169
14k
Building Your Own Lightsaber
phodgson
103
6.1k
Transcript
集団スポーツの戦術的な動きを 画像処理と機械学習により評価する 2024/10/30 産総研AIセミナー 1 https://sites.google.com/view/keisuke198619jp/ 藤井 慶輔 名古屋大学 大学院情報学研究科
知能システム学専攻 准教授
自己紹介: 藤井 慶輔(ふじい けいすけ) 2 対人動作分析(2012) 立命館大学にて計測 半面での5対5 (2015) 東海大学にて計測
年 所属 対象 アプローチ 2008-14 京大人環 個人・対人運動 (1対1)を計測 データ解析 NBAのゲームデータ (SportVU) 2014-17 名大保体 センター (学振PD) 運動制御モデル 集団運動(1対1 ~多対多)を計測 データ解析・ 理論モデル化 2017-19 理研AIP (研究員) 集団運動 (提供された データを利用 →再び計測) 機械学習を用いた データ解析・理論 モデル化 2019- 名大情報 (助教) 2021- 同上 准教授 東海大学にて計測(2022)
本日の話 1. 集団スポーツのデータ解析の背景 2. 機械学習を用いた選手の動きの評価 課題①画像処理によるデータ自動収集 課題②機械学習を用いた予測による評価 課題③強化学習による全選手・全局面の評価・提案 3. 今後の展望と課題
• 機械学習(AI)をどのように使えばよいか? • どのような未来にしたいか/なっていくか? • 研究エコシステムとしての課題 3 2月頃発刊?
機械学習のスポーツへの応用について • 最先端の研究では何ができて、何ができないか? • スポーツで機械学習をどのように使うことができるか? • (最後) • そのメリットは?デメリットは? •
どういう未来になっていくか? AI審判への期待(2024/8/29) AI活用のメリット・デメリット(2024/8/21) Tokyo MX 堀潤モーニングFLAG出演 ABEMA Prime、取材映像出演 4
集団スポーツの戦術的な動き 5 相手と競い、(集団では)味方と協力する – 巧みな動きや、柔軟なチームワーク、予測できない結果 – 計測・モデル化技術の発達から、データ解析の発展が期待 – 戦術をどのように定量的に測定、分析、評価するか? 赤がNeymar選手(NHKの撮影協力)
NBA 2013-2014のプレシーズンゲーム
将来的に目指したいAIスポーツ解析の世界 (従来: ボール周りのみの分析) (従来:経験に 基づく予測) (従来:主観に 基づく意見) 課題②機械学習を用いた予測による評価 課題③強化学習による全 選手・全局面の評価・提案
課題①画像処理によるデータ自動収集 6
スポーツのデータ解析の前提 • スポーツ動作は感覚で行わ れる。試行錯誤して上手く なっていくが、その過程はわ かっていないことの方が多い 7 赤がNeymar選手(NHKの撮影協力) • 身体内部の感覚なので、一般的に言語化するのが難しい
• 同じ説明を聞いてすぐにできる人もいれば、そうでない人もいる。 • 技術的な問題、体力的な問題、メンタル的な問題など様々 • そのあたりを総合的に深く理解した指導者・コーチに出会える と運動がうまくなることが多い • そういう人がどこにでもいるわけではないので、それも課題 • 今は映像にアクセスしやすくなったが、今後は定量化・可視化したい
今回は、集団スポーツの話をします • 侵入型ゲーム: サッカーやバスケットボールなど • ネット型ゲーム: バレーボールやテニス(ダブルス)など • 投・打球型ゲーム: 野球やソフトボールなど
など。ただし、集団でなくても本質的な問題は似ている 集団スポーツのデータ解析に関する共通の問題: 1. 人間の目で見て評価を行う or高価な計測装置が必要なため、 プロでないと大量のデータの記録が難しい 2. 大量のデータが利用できても、結果を予測・評価することや、 集団の運動を個人の貢献に分解することがしばしば難しい 今回はデータが利用可能で分析が困難な侵入型ゲームを中心に 8
スポーツ戦術の評価とそれにまつわる問題 9 勝敗や得点などの結果はすぐに手に入り、理解できる 例えば、以下について知ることが難しい(が知りたい): • その結果はどのように定量的に説明・評価できるか? • 次のゲームではどのようにプレーしたら良いか? 問題: 基本的に正解(最善)がない
• 正解のプレーをされても、その裏をかけば優位になる • 経験豊富なコーチ/選手なら良さそうな戦術を選択できる? • なんとなくそんな気もするが…(経験上) • 主観や結果論でそう思っているだけかもしれない • 共通理解できる基準(数値)で評価できないか? • まずはデータの収集が必要(できれば自動で)
本日の話 1. 集団スポーツのデータ解析の背景 2. 機械学習を用いた選手の動きの評価 課題①画像処理によるデータ自動収集 課題②機械学習を用いた予測による評価 課題③強化学習による全選手・全局面の評価・提案 3. 今後の展望と課題
• 機械学習(AI)をどのように使えばよいか? • どのような未来にしたいか/なっていくか? • 研究エコシステムとしての課題 10
課題①画像処理によるデータ自動収集 多くの場合… • 人手でデータを収集…人手が足りない • 高価な機器を使って作業時間を短縮…資金が足りない → 画像処理でデータを自動収集したい! 欲しいデータ 1.
選手やボールの位置データ 2. 選手の姿勢データ 3. パスやシュートなどのイベント(行動)データ 11
12 1. 選手とボールの位置の推定 フィールド検出→選手・ボール位置推定→人物同定のコンペでの例 (集団スポーツではこれが理想) SoccerNet Challenge 2024 Game State
Reconstruction [Somers+24, CVSports] https://github.com/SoccerNet/sn-gamestate (学生が参加:5位)
トラッキングの データセット例 フルピッチ映像からの 選手とボール追跡データセット [Scott+24, CVSports] https://github.com/AtomScott/TeamTrack 複数物体追跡 (MOT: Multi-Object
Tracking) 13
2. 姿勢推定 動的かつ複雑な動作、データセットの少なさが課題 ✓ カメラ設置の制約や低解像度の映像での撮影も課題に 遮蔽の問題(特に集団スポーツ、下の映像) ✓ 選手同士の接触や頻繁な遮蔽が発生し、姿勢推定が困難 ✓ 外観ベースの方法では選手を識別するのが難しい(ユニフォームの類似性)
✓ 2D/3D姿勢推定技術の進展が必要、データセットの整備も重要 日常動作:Human 3.6M [Ionescu+14, TPAMI] などが一般に用いられる SoccerNet datasetでの姿勢推定 14
姿勢推定の主なデータセット 15 集団スポーツでは2D姿勢データのみ公開(以下は例) • KTH Multiview Football Dataset II: 3つの異なる視点から800フレームの姿勢[Kazemi+13]
https://github.com/ryota-skating/FS-Jump3D フィギュアスケート3D姿勢データ[Tanaka+24, MMSports] • DeepSportLab: 672枚のプロバスケットボール試 合の画像においてボール検出、選手のインスタ ンスセグメンテーション、姿勢推定が利用可能 [Ghasemzadeh+21] • 3DSP: サッカー選手のポーズに特化した4,000枚 の画像アノテーション [Yeung+24, CVSports] サッカーのシュート時の 姿勢データ[Yeung+24, CVSports] https://github.c om/calvinyeung ck/3D-Shot- Posture-Dataset
3D姿勢推定 単眼3D姿勢推定 • 2D画像から直接3D姿勢を推定する手法 [Tekin+16]:深度の曖昧さや遮蔽に弱い • 2D-to-3D Lifting [Martinez+17] •
2Dポーズ推定器の精度を活用し、直接推定法よりも正確 • Transformerベースの例:StridedTransformer-Pose3D [Li+21]: フィギュアスケートに 使用[Tanaka+23] 、MotionAGFormer [Mehraban+24]: サッカーなどで使用 [Yeung+24] マルチビュー3D姿勢推定 • 複雑なシナリオや遮蔽への対応 • Learnable triangulation [Iskakov+19]: End-to-End学習を実現 • TesseTrack [Reddy+21]: 複数人物の3D再構成と空間・時間の関連付けを同時に • スポーツにおける応用 • マルチビューの一貫性を利用した単眼3D姿勢推定 [Rhodin+18, CVPR] • スポーツでロバストなマルチビュー3D姿勢推定・追跡 [Bridgeman+19, CVSports] サッカーのシュート 時の3D姿勢推定 [Yeung+24, CVSports] • マルチビュー関係とス ポーツ特有の動作パ ターンを活用し、バレー ボールの姿勢推定の 精度を向上[Liu+24] 16
3. アクション(行動)認識と検出 動画像からどんな行動が(認識)いつ起こったか(検出)を推定 ✓ スポーツイベントの分析、選手行動理解、ビデオ解析自動化に不可欠 主なタスク ✓ Action recognition:ビデオ全体を1つのアクションクラスとして分類 ✓
Action detection:ビデオ内のアクションが発生する時間を特定 • Action spotting:特定のイベントが発生する正確な時間を特定(集 団スポーツのパスなど、1フレームレベル) • Temporal action segmentation/localization:アクションの開始と終了 時間を特定 フィギュアスケートジャンプの例 [Tanaka+24, MMSports] 17
アクション認識/検出のデータセット例 ⚫ Video action recognition ✓ UCF Sports Action [Rodriguez+08]、Diving48[Li+18]
⚫ Group action recognition ✓ バスケットボール[Yan+20] 、バレーボール[Ibrahim+16]、アイスホッケー [Askari+22]、集団スポーツ[Zalluhoglu+20]で選手間インタラクションをタグ付け ⚫ Action Spotting ✓ SoccerNet [Giancola+18, Deliege+21, Cioppa+24]でスポーツ映像内の特定の瞬間 を特定 ⚫ Temporal action segmentation/localization ✓ ダイビング[Xu+22]、体操[Shao+20]、フィギュアスケート[Liu+21,Gan+24] ✓ MultiSports [Li+22](エアロビクス、バスケット、サッカー、バレー) ✓ SportsHHI [Wu+24] (human-human interaction) MultiSports Dataset [Li+22, ECCV] 18
Action spotting ⚫ 動画内で特定の瞬間や重要なイベントを識別する手法 ✓ 素早い動きが多いスポーツでは、正確な時間点での識別が必要 ✓ アクション認識との違い:事前に区切られたアクションではなく、発生した時点を特定 ⚫ スポーツ別の特徴
✓ サッカーのパスやフィギュアスケートのジャンプなど、特定の瞬間に焦点を当てる ⚫ 最近の技術進展 ✓ E2E手法(例: E2E-Spot [Hong+22, ECCV]):特徴抽出と予測を統合し精度を向上 ✓ T-DEED [Xarles+24, CVSports]:複数の時間スケールを扱い、SoccerNet Ball Action Spotting 2024で1位を獲得 E2E-Spot [Hong+22, ECCV]テニスとフィギュアで検証、 SoccerNet Ball Action Spotting 2023で2位 19
データを収集した後、どう使うか? 現場の戦術的な分析は、まだ多くがビデオの目視(しか信用されない) ビデオ編集ソフトウェア (Sportscode) プレイ頻度分析 (Synergy) 選手・ボール位置推定(SportVU) 導入 自動化 •
選手は、どのように動けば良いかわかるので、上手になる • コーチは選手に伝えられる、選手を公平に評価できる • ファンは難しい戦術も理解でき楽しめる、 などが期待 データを自動取得して定量的に評価する技術が開発されたら: 20
CV in sportsの発展的話題:言語モデルとの統合 サッカーにおける応用 • GOALデータセット[Suglia+22]: ゲームイベントの理解と解釈 • SoccerNet-captionデータセット [Mkhallati+23,
CVSports]: 映像から試合イベ ントのキャプション生成(2023,2024にコンペも) • SoccerNet-XFoul [Held, 2024 , CVSports]: フットボールのファウルに特化し た22,000件の質問応答生成 その他のスポーツへの応用 • ラグビーシーン分類にVLMを用いて改善 [Nonaka+24, CVSports] • DanceMVP [Zhong+24, AAAI]: 映像、音声、言語の自己教師あり学習を活用 し、ダンスパフォーマンスを評価 • Sports-QAデータセット [Li+24]: 様々なス ポーツ映像に関する質問応答(体操、バ レー、サッカー、バスケ) 21
本日の話 1. 集団スポーツのデータ解析の背景 2. 機械学習を用いた選手の動きの評価 課題①画像処理によるデータ自動収集 課題②機械学習を用いた予測による評価 課題③強化学習による全選手・全局面の評価・提案 3. 今後の展望と課題
• 機械学習(AI)をどのように使えばよいか? • どのような未来にしたいか/なっていくか? • 研究エコシステムとしての課題 • 未来はどのようになっていくか? 22
課題②機械学習を用いた予測による評価 多くの場合… シュートやアシストなどの結果を収集して分析する 1. 結果論になりがち、その過程がわからない • 過程の動きは多様すぎて、可視化しても理解しにくい (例: ヒートマップ) 2.
別のプレーを選択した時の結果がわからない • 1つの結果を予測するだけなく、複数のシナリオを 予測する必要がある 必要なこと 1. 行動ごとに、将来の結果予測に基づいて評価する 2. 選手の動き自体を予測して、複数のシナリオを作る 23
利用できるデータと問題点 例:J1リーグ2019シーズンの計45試合(※1) • イベントデータ(パス・シュート等19種類の行動ラベル) • トラッキングデータ(選手全員とボールの座標) ※1 情報・システム研究機構統計数理研究所 、データスタジアム 株式会社より提供
※2 有効攻撃: シュートに、クロスなどでペナルティエリア侵入したイベントなどを加えたもの ※3 ボール奪取: そのプレーの前後で有効攻撃以外により攻撃チームが変わること • 45試合(30-34節)のデータ: • 得点(失点): 106点 • シュート数: 1,174回 • 有効攻撃(※2): 3,701回 • ボール奪取(※3):9,408回 • 問題点: • 得失点は少ないので、正確に予測でき ないのでは? • チーム守備の次の目標:ボール奪取や (被)有効攻撃のデータを評価に使えな いか? 24
1. 行動ごとに、将来の結果予測に基づいて評価する 25 正の時は良い守備を、負の時は悪 い守備をしていると解釈できる 悪い守備ではなかったが失点してし まったと推察される (結果にとらわれない評価ができる) ボール奪取や被有効攻撃の予測確率に基づく守備の価値 𝑉𝑉𝐷𝐸𝑃
𝑆𝑖 = 𝑃𝑟𝑒𝑐𝑜𝑣𝑒𝑟𝑖𝑒𝑠 (𝑆𝑖 ) − 𝐶 ∗ 𝑃𝑎𝑡𝑡𝑎𝑐𝑘𝑒𝑑 (𝑆𝑖 ) 守備の価値 ボール奪取確率 有効攻撃される確率 𝑃𝑟𝑒𝑐𝑜𝑣𝑒𝑟𝑖𝑒𝑠 や𝑃𝑎𝑡𝑡𝑎𝑐𝑘𝑒𝑑 は機械学習 (XGBoost)により推定 [Toda+21, Plos One] 予測モデルは、最近はTransformerなど を用いる[Yeung+24, Appl. Intell. Someya+24 IJCAIwなど] →後ほど染谷さんからも紹介
どこにポジショニングすればよいか一目でわかる(コーチングに活用) 従 来)(主観で)ここにパスを出せば良かったのに…(どこに出したらどれくらい良かった?) 本研究)このパスよりも、ここに出した方が得点チャンスが ** %増加する! ※筑波大学蹴球部と共同研究 数理モデル:空間の価値を計算し、選択肢と評価値を提示 26
数理モデルによるボール非保持の評価 [Spearman18] コート上の地点 𝑟に価値(下記3要素)を割り当てる • 占有率(Control):𝐶𝑟 • 遷移率(Transition):𝑇𝑟 • 得点率(Score):𝑆𝑟
ある試合状態における得点確率 𝑽𝒌 を以下のように計算する →ボールが来たらどれだけ点を入れられるか(ポジショニング)を評価 占有率 𝐶 遷移率 𝑇 得点率 𝑆 ボール非保持の評価 OBSO スコアモデルに守備を考慮[Teranishi+22, MLSA; Yeung+24 Complex Intelligent Syst] ドリブルとインターセプトを考慮[Kono+24, MLSA]、アルティメットに適用[Iwashita+24, CASSIS] 27
2. 選手の動き自体を予測して、複数のシナリオを作る 28 ☺ 原理に基づいているため、理解・説明しやすい より複雑な動きに関して、実際の動きと異なる場合が多い マルチエージェント モデル 軌道生成・評価・
仮説検証など 初期条件・パラメータ (事前に設定) 従来のルールに基づくモデル化・軌道生成 集団スポーツの例: ビデオゲーム、RoboCupなど 例:Social force model [Yokoyama+18] 空間力 回避力 協調力
どのように軌道予測するか? 運動方程式を用いて予測も可能だが [Yokoyama+18; Alguacil+20]、 長期予測には、ニューラルネットワーク(NN)に基づく方法が現在は優位 29 これら先行研究の手法は、予測誤差を最小にするようにモデルを学習・評価 →集団スポーツでは、選手の評価に利用することができるのでは? 集団運動モデル を学習
軌道生成 テストデータの 初期条件 訓練データ 学習されたモデル による予測 集団スポーツ(バスケ・サッカー)への適用例はたくさんある • 初期の研究例: [Zheng+16, Le+17, Ivanovic+18] • 最近: GVRNN [Yeh+19; Teranishi+22], Transformer [Capellera+24; Someya+24など] →次の染谷さんの発表でも紹介
データセット J1 2019 横浜FM 全対戦試合: 34試合(データスタジアム社(*1)) • イベントデータ(パス・シュート等の行動ラベルとボール座標) • トラッキングデータ(選手全員とボールの座標)
選手軌道予測・評価 • 2秒の系列を使ってその後の4秒を軌道予測(攻撃1選手、守備2選手) • 予測: 対戦相手の攻撃系列(*2) 94208系列で学習、10477系列で検証 • 評価: 横浜FMのシュート系列(*3) 412系列で推論、評価指標算出 *1 情報システム研究機構統計数理研究所 医療健康データ科学研究センター、データスタジアム株式会社 *2 攻撃系列:同一チームの連続した攻撃 *3 シュート系列:シュートに至るまでの同一チームの連続した攻撃(連続していない攻撃は除外) 30 30
Creating Off-Ball Scoring Opportunity (C-OBSO)[Teranishi+22, MLSA] A2のスペースをA1が作った! 𝟎. 𝟎𝟎𝟕𝟗 C−OBSO:
𝑉A1 = 𝑉A2 − 𝑉A2 ′ 0.0409 0.0330 (実際) (予測) 31 予測(薄色)より、 A1がD1を引き付けた 2. 選手の動き自体を予測して、複数のシナリオを作る 31
結果例: J1 2019 横浜FMのC-OBSOと年俸*との関係 • C-OBSOと年俸は正の相関(𝜌 = 0.45, 𝑝 <
0.05)だがOBSOは相関なし • C-OBSO-年俸の外れ値は、(最)優秀選手賞を受賞 C-OBSOは選手の総合評価(年俸,個人賞)を説明できる可能性あり 32 *1 Soccer-Money.net https://soccer-money.net (アクセス日2021/1/9) 優秀選手賞 最優秀選手賞
本日の話 1. 集団スポーツのデータ解析の背景 2. 機械学習を用いた選手の動きの評価 課題①画像処理によるデータ自動収集 課題②機械学習を用いた予測による評価 課題③強化学習による全選手・全局面の評価・提案 3. 今後の展望と課題
• 機械学習(AI)をどのように使えばよいか? • どのような未来にしたいか/なっていくか? • 研究エコシステムとしての課題 33
課題③強化学習による全選手・全局面の評価・提案 34 Google Research Football (2019) 強化学習: 現在の状態から、報酬に基づき取るべき行動を決定 エージェント (方策
𝜋) 状態 𝑠 行動 𝑎 報酬 𝑅 環境・他者 • 強化学習を用いれば、戦術的な行動の 意思決定そのものを評価できる • 最近研究が増えているが、アルゴリズムの 改善がメインで、実データとの関連が議論 されていない • 実データとシミュレータのギャップを埋め、 選手評価に利用したい(次の話)
データから全選手の全局面を強化学習で評価 選手位置とactionを入力として、 深層学習を通してactionごとの価値を出力 ℒ𝑇𝐷 ℒ𝐴𝑆 ℒ𝐴𝑆 ℒ𝐴𝑆 [Nakahara+23, IEEE Access]
• エージェント:攻撃選手10名(GKを除く) • 状態 𝑠 (連続): 全22名+ボールの位置座標・速度(𝑥, 𝑦) • 行動 𝑎 (離散):8方向の移動とパス・シュートなど合計14種類 (Gfootball) • 報酬 𝑟 ∈ [−1, 1] – ゴール or 攻撃終了時の得点期待値 − 直後のカウンターで失点有無 {0,1} 35
強化学習を使ったプレー評価の典型例 選手Aがボールを持ち、選手Bにパスしたシーン 選手AのQ値 パスの行動価値 ゴール • パス(𝑝)のQ値が最も大きい→この場面ではパスがベストと評価 ゲームの行動の選択肢を模倣して、 実際の選手のあらゆる 行動の価値を推定・評価したい
36
提案手法 vs シーズン得点 シーズン得点と負の相関(𝜌 = −0.761 ) • 得点を獲得した選手ではなく、得点に繋がるパスを多くした/オフ ボールの動きをした選手を評価している可能性
ベストイレブン(2人ともFW) チアゴ:ベストイレブンで パス数リーグ6位 畠中:パス数リーグ2位 (2人ともDF) ベストイレブン(MF) 37
クラウドファンディング(ゲーム理論+強化学習) • 課題:大量データの入手(LaLiga 2023/24のTracking/Eventデータを購入) →次の染谷さんの発表でも紹介 38 3日間で最初の目標金額を達成 https://academist- cf.com/projects/332 で中間報告も行いました
本日の話 1. 集団スポーツのデータ解析の背景 2. 機械学習を用いた選手の動きの評価 課題①画像処理によるデータ自動収集 課題②機械学習を用いた予測による評価 課題③強化学習による全選手・全局面の評価・提案 3. 今後の展望と課題
• 機械学習(AI)をどのように使えばよいか? • どのような未来にしたいか/なっていくか? • 研究エコシステムとしての課題 39
今後、スポーツでAIをどのように使えばよいか? ポジティブな面 • 基本的には公平性・透明性の観点からプラスになることが期待 • 映像撮影や審判など人や場所の制限を受けず、バイアスも低減 • アルゴリズムに透明性があれば、判断の根拠も理解できる(cf. 人間) •
属人的でないので積極的に利用でき、競技の理解が進む? • 特に、決まった動きを実行するような動作に向いている • 評価に関する研究は、ゴルフなどの個人競技や野球、シュート動作など 一定箇所で移動しない動作なら評価しやすいので、これらは進んでいる 今後の課題 • 期待/信用しすぎたりすると間違った結論になることも • 現在のAIを使った応用は、最後は人の目で評価するものが多い • 人間も評価が難しい動きなど、より知的な判断を行う際に新たな問題も • 人間がプレーするので、人間が楽しめるような制度設計が大事 • 人間とAIの協調(審判、コーチなど)、ルール、資金や情報の格差の問題 40
①観る人(ファン/解説):理解しやすい定量的な分析による解説 ②営む人(チーム):データに基づいた全時間/全選手の分析・評価 ③創る人(監督/ゲーム): リアルなシミュレータ・選手の能力値を活用 将来展望: 経験に頼らず、選手の動きをモデル化することで、 スポーツの見方、営み方、創り方を革新したい (従来: ボール周りのみの分析) (従来:経験に
基づく予測) (従来:主観に 基づく意見) 41
どのような未来になっていくか? • プロ/アマの情報格差の課題 • 今は利用できる人が限られている(資金のある大会やリーグのみ)ので、 多くの人が技術を利用できるようにすることが必要 • データ活用/AIの理解に関する課題 • 難しそうに見えるかもしれないが、意外と根気があれば作れる
• 今はChatGPTなどの生成AIも助けになるので、作る楽しさを知ってほしい • 使うのはもっと簡単だが、メリット・デメリットの理解は必要 42 https://times.abema.tv/articles/- /8654657https://bunshun.jp/articles/-/38979?page=3 • 将来的には将棋のように 人間より強く、良い戦術を 提案したり、正確に評価が できるようになりそう
スポーツAI研究に関するエコシステムとしての課題 43 映像を見て評価することが前提で、一部のトップしかデータがない! 私たち(分析する研究者)にとって… 課題① 映像や前処理データの入手が大変、未公開が多い(学習できない) 課題② 出力結果の解釈・検証や選手への伝え方が難しい 選手や、教えるコーチ、現場で測定される研究者にとって… 課題③計測・分析するのに非常に時間がかかる
課題④経験と時間がないと大量の映像があっても情報が得られない 多くの人に情報を簡単に共有するためには、両者が協力して、 映像やコードを共有/公開することが必要 (公開できれば研究が進む) (現在筑波大、東京大、東海大、流通経済大、蕪湖職業技術学院(中国) 等と連携、拡大中)
オープンソース解析基盤OpenSTARLabの構想 44 大学側の課題としては、データ取得と共通データフォーマット に変換するところに圧倒的に時間が掛かるため、 OpenSTARLabの共同構築を通して、相互理解とプレーデータ活 用のための有効な議論のための基盤を作っていきたい Computer Vision分野の OpenMMLabに近い 上記の趣旨にご賛同いただける
方、ぜひ一緒に実現しましょう!
本日のまとめ • 機械学習を用いた選手の動きの評価 • 画像処理で自動収集、予測による評価、強化学習による提案 • 今後の展望と課題 45 研究室HP: 謝辞:共同研究者の皆さま、支援頂いた研究費(HP参照)
多くの人に動きの情報を オープンサイエンスで 簡単に共有できる世界 を実現したいので、お気軽 にご連絡ください! mail:
[email protected]
X (twitter): @keisuke_fj (藤井 慶輔)