Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【D1-6】netkeibaにおける機械学習を用いた競馬オッズ予測手法の開発とその変革 | #...

【D1-6】netkeibaにおける機械学習を用いた競馬オッズ予測手法の開発とその変革 | #MTDC2024 | MIXI TECH DESIGN CONFERENCE 2024

━━━━━━━━━━━━━━━━━━━━━━━━━━━━
MIXI TECH DESIGN CONFERENCE 2024 - SESSION ARCHIVE
━━━━━━━━━━━━━━━━━━━━━━━━━━━━
3/18(月) 16:00 〜 16:20|D1-6

netkeibaにおける機械学習を用いた競馬オッズ予測手法の開発とその変革

弊社のグループ会社であるネットドリーマーズでは、競馬情報サイトnetkeibaの運営を行っています。本セッションでは、netkeiba内で提供されている競馬予想オッズ機能の背景技術に焦点を当て、機械学習を活用して精度を大幅に向上させたプロセスと、その変革について詳しくご紹介します。

開発本部 たんぽぽ室 たんぽぽグループ
渡辺 莉央 / Rio Watanabe

────────────────────────────
□セッション情報
https://techcon.mixi.co.jp/2024/d1-6.html
□イベントハッシュタグ
#MTDC2024
━━━━━━━━━━━━━━━━━━━━━━━━━━━━

◇◆◇ Information ◇◆◇
X(旧Twitter)
https://twitter.com/mixi_engineers
MIXI Developers Blog (medium)
https://mixi-developers.mixi.co.jp/
Slide (SpeakerDeck)
https://speakerdeck.com/mixi_engineers/
MIXI Design note
https://note.com/mixi_design/
採用情報
https://mixigroup-recruit.mixi.co.jp/
connpass
https://mixi.connpass.com/
HP
https://mixi.co.jp/

MIXI ENGINEERS

March 18, 2024
Tweet

Video

More Decks by MIXI ENGINEERS

Other Decks in Technology

Transcript

  1. ©MIXI 自己紹介 • 渡辺 莉央 (2018年新卒) • 開発本部たんぽぽ室たんぽぽグループ • 仕事内容

    Ø プロダクトへの機械学習導入検証 Ø AI関連技術の調査および検証 • 趣味 Ø ダーツ Ø テニス Ø サッカー & バスケ観戦 (Liverpool & 千葉ジェッツ)
  2. ©MIXI 本日のお品書き • netkeibaと「予想オッズ」 Ø netkeibaについて Ø 従来の予想オッズの仕組み • 競馬オッズについて

    Ø オッズがわかるメリット Ø 予想オッズの算出方法 • 「予想オッズ」について Ø 「予想オッズ」の問題点 Ø 「予想オッズ」から「予測オッズ」へ • 「予測オッズ」について Ø ベースモデルと現行モデル Ø 精度検証 • まとめ
  3. ©MIXI 9 50票 43票 32票 25票 0.33% 0.29% 0.21% 0.17%

    2.42倍 2.76倍 3.81倍 4.71倍 オッズ = 払戻率(=0.8) / 支持率 A. オッズは投票比率によって決められます 投票数 支持率 オッズ
  4. ©MIXI 12 A. 馬券予測の期待値が計算できるようになります 40% 20% 5% 2倍 7倍 20倍

    80% 100% 140% × × × オッズ精度が回収率の精度に影響 馬券予測AIの仕組み 勝率 オッズ 回収率 AIオッズ
  5. ©MIXI 17 「予想オッズ」から「予測オッズ」へ 算出方法 問題点 • 精度が投票数に左右される • 意図的な投票操作をされる可能性がある 「俺プロ」での一般投票を元にオッズ算出

    過去のオッズとレース情報からAIでオッズ予測 • 投票数による精度のばらつきが無い • 人為的な影響を受けなくなる ↳ ↳
  6. ©MIXI 19 予測オッズ開発の変革 : ベースモデル概要 AIに学習させる値(ラベル) 概要 前処理 モデル 後処理

    馬/騎手/場に対して統計/カテゴリ変換等を行う(詳細は割愛) LightGBMを用いた回帰予測(支持率の数値を出力) レース毎に比率に直した後オッズに変換 オッズ 支持率
  7. ©MIXI 20 ラベルに支持率を採用している理由 オッズ 支持率 • 値が小さいほどより上位の人気馬 Ø オッズが1倍に近づくと共に、予測値が負値に近づく •

    後処理での比率計算がしづらい ü 値が大きいほどより上位人気の馬となる Ø オッズが1倍に近づくと共に、予測値が負値から遠ざかる ü 後処理での比率計算がしやすい
  8. ©MIXI 27 • 損失計算の主要部分はCross Entropy Ø y=-log(x) 0<x<1 では、値が1に近づくにつれて(誤差の)減少率が下がる 順位予測モデルによるRank

    Weight 支持率が低い馬(=下位人気馬)の誤差改善を優先してしまう… ↳ 順位予測モデルを追加し、重み付けすることで 支持率が高い馬(=上位人気馬)を優先するように のグラフ
  9. ©MIXI 28 予測オッズ開発の変革 : 現行モデル 概要 AIに学習させる値 概要 前処理 モデル

    後処理 馬/騎手/場に対して統計/カテゴリ変換等を行う(詳細は割愛) 1. CatBoostを用いた順位予測(PairLogit) 2. CatBoostを用いた支持率予測(QuerySoftmax) 出力値をオッズに変換 (比率変換は不要) オッズ 支持率
  10. ©MIXI 35 まとめ • 予想オッズ改善の背景について Ø 集合知による「予想オッズ」からAIによる「予測オッズ」にすることで、 投票数や人為的な操作を受け付けないように • 予測オッズ手法について

    Ø 支持率を予測して、後処理でオッズに変換することでオッズを予測 Ø ランク学習を用いることで、出走馬の力関係を考慮した支持率予測に対応 Ø QuerySoftmaxを用いることで、比率計算を含んだ損失計算に対応 Ø 数値精度、および順位精度において、従来モデルより高精度に