ゲームのテスト設計のチャレンジ

ゲームのテスト設計のチャレンジテストアーキテクチャとMBTと自動化 Shinsuke Matsuki（snsk） 7th.Dec 2023 at Game QA Resaerch
Group （GREE）

スピーカー松木晋祐（Shinsuke Matsuki/@snsk）株式会社ベリサーブ執行役員研究企画開発部長 AIQVE ONE株式会社取締役CTO
独立系ソフトウェアベンダにて、テストオペレータから品質部門統括まで、ソフトウェアテストと品質保証にまつわるさまざまなロールを経験後、ベリサーブ・AIQVE ONEへ参画。 NPOソフトウェアテスト技術者振興協会会員 | テスト自動化研究会ファウンダー Androidテスト部ファウンダー | 東京電機大学非常勤講師 | ISO/IEC/IEEE 29119-9 Editor W3C CSSWG コントリビューター | JSTQB Technical Committee など共著/共訳/寄稿など

ゲームのテストアーキテクチャとMBT適用可能性

テストアーキテクチャってなに • テスト開発において、テスト要求分析（TRA）とテスト詳細設計（TD）の間に入る工程の成果物。システム開発における基本設計（外部設計）に該当 • テスト観点を扱いやすい粒度まで分解、体系化して、テスト全体の要素と構造を明らかにする ◦ テストタイプなど、すごく大きな粒度で扱うこともあれば、テスト観点レベルで構造化することもある。HAYST法におけるFV表（たぶん）、VSTePにおけるNGT(Notation
for Generic Testing)、などが該当 • テストレベルは一部または全てを含む。これは組織による • 本用語、工程における国際的な合意は無い ◦ 無いし、テストアーキテクチャはこう描くという決まりも無い本定義、及び僕の定義は以下の基本的に秋山さん資料に従っています https://www.jasst.jp/symposium/jasst12tokyo/pdf/A2-3.pdf

テストアーキテクチャってなに • 「ls」コマンドのテスト開発におけるテストアーキテクチャ図（拙作） https://github.com/snsk/ls_testing/wiki/test_development • このアーキテクチャ図では、上に行くほど重要。左に行くほど優先、を示し、箱の大きさはテストの厚み（ボリューム）を示している •
箱は入れ子にできる • この様式の弱点は、入れ子の子要素が他の何より重要、か優先の場合に、描画が煩雑になる点 ◦ その場合は、（そんなに重要なら）別の名前の箱として表現できるかもしれない • 前提や、やらないこと、は下に書いてある

ゲームのテストアーキテクチャ：イン・アウトモデル • AIデバッグが当たり前になったときに考えたい役割分担

ゲームのテストアーキテクチャ：イン・アウトモデル

ゲームのテストアーキテクチャ：国際規格版(三銃士モデル国際版）投影のみ再配布不可

ゲームメカニクスのMBT

ゲームの自動テスト：研究と海外事例

ゲームのテスト自動化研究の概要 Cristiano Politowski, Yann-Gaël Guéhéneuc, Fabio Petrillo. Towards Automated Video
Game Testing: Still a Long Way to Go. 2022

ゲームのテスト自動化の困難性 Cristiano Politowski, Fabio Petrillo, Yann-Gäel Guéhéneuc. A Survey of
Video Game Testing. 2021 カップリング UIとゲームメカニクスの間のカップリングスコープゲーム状態の探索空間が大きいので、すべてをカバーするのは不可能ランダム性ゲームにおける非決定性は、正しい動作を主張することを難しくしている変更ゲームデザインは頻繁に変更されるため、自動化を維持するのが難しいコストテスターより自動化エンジニアのコストが高い。保守のコストもある時間開発者が自分のゲームをテストする時間がないファン要素自動テストで「楽しさ」を捉えることは不可能。また、多くのイベントが同時に発生するゲームでは自動化が困難コード自動テストコード自体のバグ、プラットフォーム間の差異。

テスト自動化で抑えるべきポイント • 自動テストは「フェーズ」ではなく「サービス」である ◦ いつでも、動いていなければならない • 構築3割、運用7割 • 原則としてリグレッションテストである。見つかるのはデグレードか変更された箇所
• どんなテストを、どれぐらい自動化するのか？テストタイプを意識する • 自動化に向いているテスト ◦ 同じ操作を、パラメータを変えて行うテスト ◦ ソーク（浸出）テスト、ロードテスト、負荷計測のテスト ◦ ツールによっては通しプレイ（プログレッション）のテスト ◦ バージョンROMごとの起動確認、初期シーケンスのテスト ◦ チュートリアルの自動化（半自動化）

テスト自動化研究会 - テスト自動化の8原則 https://sites.google.com/site/testautomationresearch/test_automation_principle • 本日一番伝えたかたったのここ • ウェブサービス系の会社で、テスト自動化やCI技術は非常に高いものの、そもそも、自分たちが
行っているテストに自信が無い、というケースが散見される

テスト自動化研究会 - テスト自動化の8原則 • 余談 • 最初は5個だった。プラスマイナスあって、8個に決着。 • なお、解説文は僕が書いてます

海外のゲームテスト自動化の事例２つ

Automated Testing at Scale in Sea of Thieves https://www.youtube.com/watch?v=KmaGxprTUfI

Smart Bots for Better Games: Reinforcement Learning in Production https://www.gdcvault.com/play/1026281/ML-Tutorial-Day-Smart-Bots

余談

ゲームのテスト自動化研究の概要 Unity Museの登場でゲーム開発にも QA4AIの波が最初に注目されるのはコンプラとポリコレ

ゲームのテスト設計のチャレンジ

ゲームのテスト設計のチャレンジ

Shinsuke Matsuki(snsk)

More Decks by Shinsuke Matsuki(snsk)

Other Decks in Technology

Featured

Transcript