ゲームのテスト設計のチャレンジ

Transcript

1. ゲームのテスト設計のチャレンジ テストアーキテクチャとMBTと自動化 Shinsuke Matsuki（snsk） 7th.Dec 2023 at Game QA Resaerch Group （GREE）
2. スピーカー 松木 晋祐（Shinsuke Matsuki/@snsk） 株式会社ベリサーブ 執行役員 研究企画開発部長 AIQVE ONE株式会社 取締役CTO 独立系ソフトウェアベンダにて、テストオペレータから品質部門統括まで、ソフトウェアテストと品質保証にま つわるさまざまなロールを経験後、ベリサーブ・AIQVE ONEへ参画。 NPOソフトウェアテスト技術者振興協会 会員 | テスト自動化研究会 ファウンダー Androidテスト部 ファウンダー | 東京電機大学 非常勤講師 | ISO/IEC/IEEE 29119-9 Editor W3C CSSWG コントリビューター | JSTQB Technical Committee など 共著/共訳/寄稿など
3. ゲームのテストアーキテクチャとMBT適用可能性
4. テストアーキテクチャってなに • テスト開発において、テスト要求分析（TRA）とテスト詳細設計（TD）の間に入 る工程の成果物。システム開発における基本設計（外部設計）に該当 • テスト観点を扱いやすい粒度まで分解、体系化して、テスト全体の要素と構造 を明らかにする ◦ テストタイプなど、すごく大きな粒度で扱うこともあれば、テスト観点レベルで構造化すること もある。HAYST法におけるFV表（たぶん）、VSTePにおけるNGT(Notation for Generic Testing)、などが該当 • テストレベルは一部または全てを含む。これは組織による • 本用語、工程における国際的な合意は無い ◦ 無いし、テストアーキテクチャはこう描くという決まりも無い 本定義、及び僕の定義は以下の基本的に秋山さん資料に従っています https://www.jasst.jp/symposium/jasst12tokyo/pdf/A2-3.pdf
5. テストアーキテクチャってなに • 「ls」コマンドのテスト開発におけるテストアーキテクチャ図（拙作） https://github.com/snsk/ls_testing/wiki/test_development • このアーキテクチャ図では、上に 行くほど重要。左に行くほど優 先、を示し、箱の大きさはテストの 厚み（ボリューム）を示している • 箱は入れ子にできる • この様式の弱点は、入れ子の子要 素が他の何より重要、か優先の場 合に、描画が煩雑になる点 ◦ その場合は、（そんなに重要なら）別の 名前の箱として表現できるかもしれ ない • 前提や、やらないこと、は下に書 いてある
6. ゲームのテストアーキテクチャ：イン・アウトモデル • AIデバッグが当たり前になったときに考えたい役割分担
7. ゲームのテストアーキテクチャ：イン・アウトモデル
8. ゲームのテストアーキテクチャ：イン・アウトモデル
9. ゲームのテストアーキテクチャ：国際規格版(三銃士モデル国際版） 投影のみ再配布不可
10. ゲームのテストアーキテクチャ：国際規格版(三銃士モデル国際版） 投影のみ再配布不可
11. ゲームメカニクスのMBT
12. ゲームの自動テスト：研究と海外事例
13. ゲームのテスト自動化研究の概要 Cristiano Politowski, Yann-Gaël Guéhéneuc, Fabio Petrillo. Towards Automated Video Game Testing: Still a Long Way to Go. 2022
14. ゲームのテスト自動化の困難性 Cristiano Politowski, Fabio Petrillo, Yann-Gäel Guéhéneuc. A Survey of Video Game Testing. 2021 カップリング UIとゲームメカニクスの間のカップリング スコープ ゲーム状態の探索空間が大きいので、すべてをカバーするのは不可能 ランダム性 ゲームにおける非決定性は、正しい動作を主張することを難しくしている 変更 ゲームデザインは頻繁に変更されるため、自動化を維持するのが難しい コスト テスターより自動化エンジニアのコストが高い。保守のコストもある 時間 開発者が自分のゲームをテストする時間がない ファン要素 自動テストで「楽しさ」を捉えることは不可能。また、多くのイベントが同時に発生 するゲームでは自動化が困難 コード 自動テストコード自体のバグ、プラットフォーム間の差異。
15. テスト自動化で抑えるべきポイント • 自動テストは「フェーズ」ではなく「サービス」である ◦ いつでも、動いていなければならない • 構築3割、運用7割 • 原則としてリグレッションテストである。見つかるのはデグレードか変更され た箇所 • どんなテストを、どれぐらい自動化するのか？テストタイプを意識する • 自動化に向いているテスト ◦ 同じ操作を、パラメータを変えて行うテスト ◦ ソーク（浸出）テスト、ロードテスト、負荷計測のテスト ◦ ツールによっては通しプレイ（プログレッション）のテスト ◦ バージョンROMごとの起動確認、初期シーケンスのテスト ◦ チュートリアルの自動化（半自動化）
16. テスト自動化研究会 - テスト自動化の8原則 https://sites.google.com/site/testautomationresearch/test_automation_principle • 本日一番伝えたかたったのここ • ウェブサービス系の会社で、テス ト自動化やCI技術は非常に高い ものの、そもそも、自分たちが 行っているテストに自信が無い、 というケースが散見される
17. テスト自動化研究会 - テスト自動化の8原則 • 余談 • 最初は5個だった。プラスマイナ スあって、8個に決着。 • なお、解説文は僕が書いてます
18. 海外のゲームテスト自動化の事例２つ
19. Automated Testing at Scale in Sea of Thieves https://www.youtube.com/watch?v=KmaGxprTUfI
20. Smart Bots for Better Games: Reinforcement Learning in Production https://www.gdcvault.com/play/1026281/ML-Tutorial-Day-Smart-Bots
21. 余談
22. ゲームのテスト自動化研究の概要 Unity Museの登場でゲーム開発にも QA4AIの波が 最初に注目されるのはコンプラとポリコレ