ポケモン対戦を自動で記録して振り返ろう

リモートポケモン学会 2026/10/24 で行った発表です。

アプリのページ: https://fufufukakaka.github.io/pokemon_champions_battle_logger/
ボットとの対戦ページ: https://can-you-defeat-comma.pages.dev/

Transcript

1. ポケモン対戦を 自動で記録して振り返ろう fufufukakaka 2026/10/24 リモポケ学会
2. 自己紹介 • fufufukakaka, fu3ka3 (ふか) • 機械学習エンジニア ◦ 自然言語処理・推薦をはじめとして全般 • ポケモン ◦ チャンピオンズを楽しんでいます ◦ ただ最近は Kaggle というデータ予測コンペだったり、開発中の アプリの改善に意識が向きがち ◦ 過去に対戦動画解析・選出予測・対戦ボットの構築などで発表
3. ポケモン対戦 (シングル・ランクバトル)
4. 6体同士を見せあって、3体を選んで戦う
5. これまでの取り組み
6. これまでの取り組み
7. 3年前にも似たような発表をしていました
8. 当時のアプリにあった問題点 • 処理が遅い ◦ 動画をスキャンするのに同じくらいの時間がかかる • 認識のミスが多い ◦ 精度が低く、ミスを直せるインタフェースがなかった • 配布するには複雑すぎた ◦ 細かな設定が必要で、配布できるクオリティではなかった ◦ そういうのを直す時間がなかなか取れず...
9. 時は流れ 2026年...
10. 本業・副業などの仕事をしつつも アプリ開発を進められる環境が到来 いつもありがとう ...
11. Pokémon Champions Battle Logger を2026年5月に公開
14. 特長1: ライブスキャン • 動画だけでなく、OBS から映像を直接取れ るように • 対戦中に並行して スキャンが行われ 終わったら即座に 結果を振り返ることが できる
15. 特長2: エージェントと一緒に振り返り • 対戦が記録されたあ と、詳細ページ上で エージェントと振り返 る機能 • ダメージ計算、2,3手 先のシミュレーション などができるので、話 しながら 検討を進められる
16. 特長3: 感想戦 • 記録から復元できる情報を使って、 対戦をやり直すことができる
17. このアプリを支える技術 • 認識パイプライン • AIエージェントと一緒に対戦を振り返る • 対戦後に感想戦を行う仕組み
18. 1. どうやって自動で対戦を記録するのか 基本的な仕組みは3年前と同じ • まずテンプレートマッチングでシーンを特定します • その後、特定したシーンに対応した抽出機で情報を獲得 ◦ ポケモン認識・メッセージやレーティングの読み取り • ライブスキャンでは常に映像が来続けるので、それをうまく 待ち受けて処理する
19. 1. どうやって自動で対戦を記録するのか
20. 1. どうやって自動で対戦を記録するのか
21. ライブスキャンでの工夫 • メッセージ認識では、多言語OCRで最も精度が高かった VLM(Qwen3-VL-4B 量子化) を用いていますが、ちょっと古いPC とかだと流石に処理が重く、ライブスキャンが全く動かなかった • 回避策として、gemini 3.1 flash lite で認識できる別経路を用意して必要 な人は API キーを登録して使えるように
22. 1. どうやって自動で対戦を記録するのか FAQ • Q. LLM に動画全部を投げるだけじゃダメなのか？ ◦ A. できるだけ1処理にお金がかからない仕組みにしたかった + 彼らはポケモンの認識はそこまで得意ではない + そもそも投げても細かなデータ抽出はうまくいかない(※現時点) • Q. スマホからの入力はどうするんですか？解像度が色々あるけど ◦ A. 解像度を取得した後、それに合わせて可変的なシーン検出を 行うようになっている
23. 2. AIエージェントと一緒に対戦を振り返る なんでこの機能を実装したのか？ → 対戦を記録しただけだと、振り返るモチベが湧かないことがあるから(嫌な負 け方をしたときとか) AI エージェントに「間違ってなかったよ！」とか「こうだったらもっとよかったか も！」と言ってもらいたい “りゅうせいぐん ” 外さなければ 勝てたのに... 期待値を計算してみた ところ、あの場面では “りゅうせいぐん ” を打つ のが最適でした。 次いきましょう！
24. 2. AIエージェントと一緒に対戦を振り返る 対戦のサマリー作成
25. 2. AIエージェントと一緒に対戦を振り返る 選出プランを相談している様子
26. 2. AIエージェントと一緒に対戦を振り返る ブラッキーはどうしよう？などの問い かけに対してゲームプランを提案して くれる
27. 2. AIエージェントと一緒に対戦を振り返る AI エージェントとの会話で入れている情報 • エージェントの役割など基本的なハーネスとなる情報 • 対戦ログに紐づく情報 ... PCBLがスキャンした見せあい、バトルメッセージ 情報など • 構築の情報 ... パーティ登録画面にてテキストで入力された構築の意図な ど • 統計情報
28. 3. 感想戦で対戦を振り返る 振り返りを言語化するだけじゃなくて、実際にプレイして振り返りたいときもある → 得られている情報を元に再戦できるように (感想戦をできるようにしたかった) あのとき もしかして こうしていたら いけたのかな
29. 3. 感想戦で対戦を振り返る 本アプリでは相手が実際に打ってきた技を記録し ており、またダメージ値から努力値の推定も行っ ている 感想戦を起動すると、それら値は確定した状態 で、残りは統計上位の型を当てはめたもので対 戦を行える (シングル対戦のみ対応)
30. 3. 感想戦のボットを作ろう 感想戦のボットはどう作られているのか？ → 出発点はこちらの記事にて紹介した ReBel という技術で作ったもの
31. 3. 感想戦のボットを作ろう 🆕 新しくモデルを作り直しました 細かい説明は割愛 雰囲気だけでも感じ取って いってください ...🙏
32. 3. 感想戦のボットを作ろう 学習を監視していたモニターの様子
33. 3. 感想戦のボットを作ろう M-Cのパーティプール(実構築をベースに変化させたもの合計50000種) からランダムに2パーティ選んで 自己対戦を行い、そのデータから強化学習(PPO) を実施 だいたい 3億試合(!) で学習した後 以前のボット(ReBelベース) と戦った結果、2000試合で勝率85% を達成 (ポケモンカードコンペで学んだことを 活かした結果です)
34. 3. 感想戦のボットを作ろう Pokemon Showdown M-C シングル にて 30 位を獲得！ (2026/10/18 時点)
35. このボット COMMA と戦えます！ 是非討伐してください https://can-you-defeat-comma.pages.dev/
36. 3. 感想戦のボットを作るに当たって • あくまでも対戦外において、プレイヤーの意思決定の補助になるような使い方 ができるようにしたい！ ◦ (例) あの相手ともう一度戦って復習の成果を見せたいが、なかなかランク で会えない→手元でボットと戦えれば復習できる • 🆖 ランクマッチ中の手や選出を COMMA が助言する使い方や、アプリのライ ブスキャンと組み合わせて対戦を自動化する使い方は、今後も一切しません ◦ ◦ 対戦ページはゲームにつながらず、本物の対戦の局面は入れられない作り 観戦に使える構築は登録 90 秒後から（選出の相談に使えないように） • 対戦 AI と対戦コミュニティのよい共存の仕方を模索する一助と なれるよう挑戦していきたい所存です
37. まとめ • チャンピオンズ発売を機に、アプリを一般公開しました • ライブスキャン、エージェントとの振り返り、感想戦などの機能を搭載してようや く自分のやりたいことが形になってきました • 今後も開発を続けつつ、ポケモン対戦をデータと言う観点から楽しんでいきた いと思います
38. お知らせ : 今年の技術書典で このアプリについての本を出します！ オフラインは11/23