ゲーム開発におけるデバッグ作業の自動化 ～ OpenCVの「眼」で捉え、Pythonの「脳」が思考し、Appiumの「指」で動かす

2016/08/26 CEDEC 2016

Transcript

2. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ⾃自⼰己紹介
3. ©  2016,  Cygames,  Inc.,  all  rights  reserved. はじめに 「受け⼊入れテスト」では、それを実施するのと同 等か？ あるいはそれ以上に、エビデンスを保全 することが⼤大切切です。 しかし、（第三者にも検証可能な形で）エビデン スを残すことは、想像以上にコストのかかる⼤大変 な作業です。 私の所属する部署では、アルバイト学⽣生の技術指 導も兼ねて「受け⼊入れテスト」を⾃自動化するツー ルを開発しています。 本セッションでは、その開発事例例について（ノウ ハウも交えながら）紹介します。
4. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ⼈人間による動作検証 そもそも、⼈人間はどのようにしてスマホアプリの 動作検証を⾏行行っているのでしょう？ おおまかに切切り分けると、下記のような役割分担 になるのではないでしょうか？ • スマホ画⾯面を眺める • 情報を読み取る 眼 • 読み取った情報を解析する • 次のアクションを決定する 脳 • スマホ画⾯面をタップする • 情報を⼊入⼒力力する 指
5. ©  2016,  Cygames,  Inc.,  all  rights  reserved. コンピュータによる動作検証 コンピュータに同じことをさせる場合、どのよう に対応させれば良良いでしょう？ 私たちは、下記のようにマッピングすることで、 問題を解決できると考えました。 • OpenCV 眼 • Python 脳 • Appium 指
6. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 技術基盤 技術基盤の各要素について、簡単に紹介します。 v OpenCV v Python v Appium
7. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 技術基盤【OpenCV】 OpenCVは、オープンソースのコンピュータビ ジョン向けライブラリです。C/C++のほか、 Java、Pythonを公式にサポートしています。 • 画像処理理（変換、分割、検出） • 構造解析 • モーション解析 • パターン認識識 • カメラキャリブレーション • 機械学習 • ユーザーインターフェイス 【URL】http://opencv.org
8. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 技術基盤【Python】 スクリプトの開発には、Pythonを利利⽤用していま す。プログラミング⾔言語としてPythonを選んだ 理理由は下記の通りです。 • OpenCVとの親和性の⾼高さ • C/C++のモジュールが利利⽤用可能であること • Numpyをはじめとする優れたライブラリ群 【URL】https://www.python.org
9. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 技術基盤【Appium】 Appiumは、スマホアプリを⾃自動操作するため のミドルウェアです。 AndroidとiOSの両⽅方をサポートしており、下記 のプログラミング⾔言語でスクリプトを記述するこ とができます。 • Java • JavaScript • Perl • PHP • Python • Ruby 【URL】http://appium.io
10. ©  2016,  Cygames,  Inc.,  all  rights  reserved. システム構成 ターゲットとなるスマホOSの種類によって、シ ステムの構成も変わります。Androidの場合、 実機を使う以外に事実上の選択肢がありません。 v Androidの場合 v iOSの場合 「受け⼊入れテスト」の本来の⽬目的に照らし合わせ れば、実機を動作検証に使うのは好ましいことで す。しかし、バッテリーの充電速度度より消費速度度 の⽅方が早いため、⻑⾧長時間の連続稼働が難しいとい う⽋欠点があります。
11. ©  2016,  Cygames,  Inc.,  all  rights  reserved. システム構成【Androidの場合】 Windows  PC Android端末 USB USB MHL変換アダプタ HDM I USB WiFi HDMI分配器 HDM I HDM I ビデオキャプチャ デバイス USB HDM I WiFi OpenCV Python Appium 【Tips】画像取得の⾼高速化 【Tips】WiFi経由で制御 【Tips】DRMの解除 【Tips】60  fpsに対応
12. ©  2016,  Cygames,  Inc.,  all  rights  reserved. システム構成【iOSの場合】 Macintosh iOSシミュレータ OpenCV Python Appium iOSシミュレータは実機と遜⾊色のない速度度で動作するので、 実機を使わずに済ませることも可能です。 Lightning接続のAVアダプタを利利⽤用すれば、Androidの場 合と同じように実機からHDMI信号を取り出せます。
13. ©  2016,  Cygames,  Inc.,  all  rights  reserved. テンプレートマッチング OpenCVには様々な機能が⽤用意されています。 テンプレートマッチングは「受け⼊入れテスト」の ⾃自動化に必要不不可⽋欠です。 v 概要 v 特徴
14. ©  2016,  Cygames,  Inc.,  all  rights  reserved. テンプレートマッチング【概要】 テンプレートマッチングを使えば、「ターゲット 画像」の中に、指定した「テンプレート画像」が 含まれているか？調べることができます。 ターゲット画像 テンプレート画像 【Tips】マッチした座標を返却
15. ©  2016,  Cygames,  Inc.,  all  rights  reserved. テンプレートマッチング【特徴】 テンプレートマッチングには、下記のような特徴 があります。 • ビットマップの完全⼀一致ではない • 多少のサイズ変動にも対応できる • 多少の傾きにも対応できる • マッチングの閾値を指定できる テンプレート画像を⾒見見つけた場合、ターゲット画 像中の（複数個マッチした場合、そのすべての） 座標を返却します。 画⾯面遷移のトリガーを検出するのに最適です。
16. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 基本パターン 「受け⼊入れテスト」の⾃自動化は、下記の基本パ ターンを組み合わせることで実現可能です。 v 状況分析 v ⾏行行動決定 v 画⾯面遷移 v 時間調整 v 情報取得
17. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 基本パターン【状況分析】 ターゲットとなるスマホアプリが現在どのような 状態にあるのか？スクリーンショットを領領域分割 し、個々の領領域を画像解析することで判断します。 テンプレートマッ チング 画像の領領域 分割 スクリーン ショットの 取得
18. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 基本パターン【⾏行行動決定】 状況分析を⾏行行ったのち、どのようなアクションを 取るべきなのか？ 各種パラメータや内部状態を 勘案しながら、スクリプトが決定します。 各種パラメータ 内部状態
19. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 基本パターン【画⾯面遷移】 ボタンやリンクをタップすることによって画⾯面遷 移を⾏行行います。ただし、それらのトリガーとなる オブジェクトの座標を決め打ちするのは、（メン テナンス性を考慮すると）好ましくありません。 タップ フリック スワイプ ピンチ BACK
20. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 基本パターン【時間調整】 次にとるべきアクションが決定しても、それを即 座に実⾏行行に移せない状況が発⽣生し得ます。 1. データのアップデート中 2. サーバーとの通信中 3. お知らせ等のカットイン 4. エラーの発⽣生 5. その他（想定外）の事象 上記1と2の場合、タイムアウトを考慮した上で ⼀一定時間スリープします。
21. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 基本パターン【情報取得】 画⾯面に表⽰示された「画像」や「⽂文字」から情報を 取得します。描画された「⽂文字」は、ビットマッ プ化された「画像」に過ぎないので、テキスト化 のためのプロセスが別途必要となります。 画⾯面の領領域分割 画像のトリミング データの符号化（OCR / CV） データの永続化
22. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ Shadowverseのカードパックの実装事例例から、 技術的なポイントを解説します。 v アプリ起動 v タイトル画⾯面 v ローディング画⾯面 v ホーム画⾯面 v ショップ画⾯面 v カードパック購⼊入画⾯面 v カード⼀一覧 v カード詳細
23. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【アプリ起動】 Appiumを使ってスマホアプリを起動します。 その際に指定するのが、アプリを⼀一意に特定する ための「パッケージ名」です。私たちのシステム では、必要な情報をJSON形式の定義ファイルに 記述します。 Shadowverseの場合、下記のように指定します。 "appPackage": "jp.co.cygames.Shadowverse"
24. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【タイトル画⾯面】 タイトル画⾯面が表⽰示されたら、画⾯面の任意の場所 をタップしてホーム画⾯面に遷移します。 【ASSERT】画⾯面中央のロゴ 【TAP】画⾯面下部のプロンプト 【ASSERT】画⾯面上部のボタン
25. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【アカウント連携設定】 アカウント連携設定に関するダイアログが表⽰示さ れたら、画⾯面下部の「後で」ボタンをタップして 設定を保留留します。 【ASSERT】画⾯面上部の⽂文字列列 【TAP】画⾯面下部のボタン
26. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【ローディング画⾯面】 サーバーとの通信している最中は、ローディング 画⾯面が表⽰示されます。タイムアウトを設定した上 で、通信が完了了するまで待機します。 【ASSERT】画⾯面右下のアイコン
27. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【お知らせダイアログ】 お知らせダイアログが表⽰示された場合には、「閉 じる」ボタンをタップします。 【TAP】画⾯面下部のボタン 【ASSERT】画⾯面上部の罫線
28. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【ホーム画⾯面】 ホーム画⾯面が表⽰示されたら、画⾯面下部のボタンを タップして、ショップ画⾯面に遷移します。 【ASSERT】画⾯面下部のボタン 【TAP】画⾯面下部のボタン
29. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【ショップ画⾯面】 ショップ画⾯面が表⽰示されたら、カードパック購⼊入 のアイコンをタップします。 【ASSERT】画⾯面下部のボタン 【TAP】画⾯面中央部の画像
30. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【カードパック購⼊入画⾯面】 カードパック購⼊入画⾯面が表⽰示されたら、チケット での「購⼊入する」ボタンをタップします。 【ASSERT】画⾯面上部の⽂文字列列 【TAP】画⾯面中央部のボタン 【ASSERT】画⾯面中央部の⽂文字列列 【ASSERT】画⾯面下部のボタン
31. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【数量量選択ダイアログ】 数量量選択ダイアログが表⽰示されたら、画⾯面下部の ボタンをタップします。 【ASSERT】画⾯面上部の⽂文字列列 【TAP】画⾯面下部のボタン
32. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【購⼊入確認ダイアログ】 購⼊入確認ダイアログが表⽰示されたら、画⾯面下部の 「購⼊入する」ボタンをタップします。 【ASSERT】画⾯面上部の⽂文字列列 【TAP】画⾯面下部のボタン
33. ©  2016,  Cygames,  Inc.,  all  rights  reserved. カードパックのアニメーションが表⽰示されます。 ケーススタディ【アニメーション】
34. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【カード⼀一覧】 カード⼀一覧が表⽰示されたら、すべてのカードを順 番にタップします。 【ASSERT】画⾯面下部のボタン 【TAP】画⾯面中央部の画像 【ASSERT】画⾯面下部のテキスト
35. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【カード詳細：Aパターン】 カード詳細が表⽰示されたら、エビデンスの永続化 に必要な情報をテキストデータに変換します。 【ASSERT】画⾯面上部の⽂文字列列 【OCR】画⾯面右側の⽂文字列列 【CV】画⾯面左側の画像
36. ©  2016,  Cygames,  Inc.,  all  rights  reserved. ケーススタディ【カード詳細：Bパターン】 カード詳細が表⽰示されたら、エビデンスの永続化 に必要な情報をテキストデータに変換します。 【ASSERT】画⾯面上部の⽂文字列列 【OCR】画⾯面右側の⽂文字列列 【CV】画⾯面左側の画像
37. ©  2016,  Cygames,  Inc.,  all  rights  reserved. デモ動画
38. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 最適化 テンプレートマッチングの最適化に関するポイン トを整理理すると、次のようになります。 v 探索索範囲の局所化 v 画像サイズの調整 v テンプレート画像の加⼯工 v テンプレート画像の階層管理理
39. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 最適化【探索索範囲の局所化】 ターゲット画像の全域で照合作業を⾏行行うのは計算 コストの無駄遣いです。画像をクリッピングする ことによって、探索索範囲を絞り込みましょう。 探索索範囲を局所化することに より、照合作業が⾼高速化する。 探索索範囲を狭めすぎると、今 度度はレイアウト変更更に柔軟に 対応できなくなる。
40. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 最適化【画像サイズの調整】 ターゲット画像やテンプレート画像のサイズが⼩小 さければ、その分だけ照合作業を⾼高速に終えるこ とができます。 画像サイズが1/2になれば、占有する⾯面 積、つまりメモリ消費量量は1/4になる。 照合速度度はそれに反⽐比例例する。 テンプレートマッチングに利利⽤用する画 像は、エビデンスとして保存する画像 と同⼀一サイズである必要はない。
41. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 最適化【テンプレート画像の加⼯工】 テンプレートマッチングには「透明⾊色」という概 念念はありません。テンプレート画像に背景が映り 込んでいる場合、照合作業に影響のない範囲でト リミングしましょう。 【NG】形状が複雑なため、テンプレート画像の 中に背景が映り込んでいる。 【NG】背景部分を除去しても、透明⾊色として扱 われない。マスク処理理にも対応しない。 【OK】背景に影響されないように、テンプレー ト画像をトリミングする。
42. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 照合作業を最少のコストで済ませるためには、テ ンプレート画像を適切切な粒粒度度でグルーピングする 必要があります。 ダイアログ 共通 ローディング アップデート ショップ 共通 カードパック 共通 チケット ルピ クリスタル サプライ クリスタル 最適化【テンプレート画像の階層管理理】 テンプレート画像をフォルダごとに分割する。 フォルダ同⼠士や同⼀一フォルダ内のテンプレー ト画像については、出現頻度度の⾼高い順に照合 作業を⾏行行う。
43. ©  2016,  Cygames,  Inc.,  all  rights  reserved. サブシステム 「受け⼊入れテスト」の⼀一部を⾃自動化するにあたり、 下記のようなサブシステムを整備しました。 v OCRサービス v ドライブレーダー v エビデンスビューワー
44. ©  2016,  Cygames,  Inc.,  all  rights  reserved. サブシステム【OCRサービス】 市販の⽇日本語OCRライブラリを利利⽤用して、ビッ トマップ画像中に含まれるテキスト情報を抽出す るため、下記のような（社内向け）Webサービ スを⽴立立ち上げました。 • WebSocketによるデータ通信 • 任意の矩形でトリミング • 任意の矩形でテキスト化領領域を指定可能 • 複数のテキスト化領領域を指定可能 • 透過背景のノイズを⾃自動除去 個々のPCにOCR機能を組み込む必要がなく、 セットアップや運⽤用が容易易になります。
45. ©  2016,  Cygames,  Inc.,  all  rights  reserved. サブシステム【ドライブレコーダー】 下記の理理由により、スクリプトがタイムアウトも しくは異異常終了了した場合、直近のｎ秒間の様⼦子を 動画ファイルとして⾃自動保存してくれます。 • スクリプトの不不備 • 実機のハードウェア障害 • 実機のソフトウェア障害 • その他（想定外）の事象 スクリプト開発の初期段階では、実装要件の考慮 漏漏れも多く、記録された動画ファイルがエラー原 因の解析に役⽴立立ちます。
46. ©  2016,  Cygames,  Inc.,  all  rights  reserved. サブシステム【エビデンスビューワー】 スクリプトを実⾏行行すると、既定の場所に下記のよ うなエビデンスが⾃自動保存されます。 • スクリーンショット • 実⾏行行結果のサマリー情報 • 実⾏行行結果の詳細情報 • ログファイル • 例例外発⽣生時のスタックトレース • 例例外発⽣生時の動画ファイル Webブラウザーを使って、社内のどこからでも ⾃自動集計されたエビデンスにアクセスできます。 また、スクリプトを実⾏行行することも可能です。
47. ©  2016,  Cygames,  Inc.,  all  rights  reserved. まとめ コンピュータビジョンを応⽤用した「受け⼊入れテス ト」の⾃自動化は、すでに実⽤用レベルの域に到達し ている “開発現場で使える” 技術です。 細⼼心の注意を払ってスクリプトを実装すれば、熟 練したスタッフと遜⾊色のない品質を担保できます。 ただし、⼈人間ほどの柔軟性は備えていないので、 想定外の事象にはとても弱いのです。 すべての領領域を⼀一括移⾏行行するのは、コストやリス クの⾯面からみても現実的ではありません。反復復の 頻度度の⾼高い処理理から順に置き換えるのが、もっと も有効なアプローチだと思います。
48. ©  2016,  Cygames,  Inc.,  all  rights  reserved. 質疑応答 もし疑問や質問があれば、 可能な範囲内でお答えします。