モバイルE2Eテストを継続・改善させるために取り組むKarakuri

Test Engineers Meetup #3
https://test-engineers-meetup.connpass.com/event/96727/

Transcript

1. モバイルE2Eテストを継続・改善させるために 取り組むKarakuri Nemoto Tadashi Test Engineers Meetup #3
2. 自己紹介 • 根本 征(Nemoto Tadashi) • Automation & QA (AQA) Group • テスト自動化 • Selenium, Appium, XCUITest, Espresso • モバイルCI / CD改善 • 社内の生産性を上げるための自動化・サポート • https://seleck.cc/1230 • 自称 Zapierエバンジェリスト
3. Automation & QA Group
4. モバイルテスティング
6. AndroidのCI時間を10分短縮し、 開発を爆速にするためのKarakuriを作った話 https://tech.mercari.com/entry/2018/07/04/110000 Android CI CircleCI 2.0
7. Android CI Danger Codecov AndroidのCI時間を10分短縮し、 開発を爆速にするためのKarakuriを作った話 https://tech.mercari.com/entry/2018/07/04/110000
8. エンジニアと一緒にテスト書いたり
10. E2Eテスト(特にモバイル)は メンテナンスコストが高い 不安定
11. QAと一緒にE2Eテスト自動化を推進し 1年以上メンテナンス・改善をしている
12. なぜQAとなのか • QAとエンジニアで確認・テストしたいことは違う • テストの不安定さ < 自分たちの作業の一部自動化 • スキルアップへのモチベーション
13. 3つのポイント・改善 • 実行環境を用意・安定化 • テストレポートを充実させる • 調査・メンテナンスできる人を増やす
14. 実行環境を用意・安定化
15. Android apkビルド Google Cloud Storage
16. Android
17. Android クラウド実行環境 Others デバイス
18. iOS iOS Simulator メルカリiOSのUIテスト自動化をま るっとご紹介します！ https://tech.mercari.com/entr y/2018/08/07/123000
19. テストレポートを充実させる
20. マスター タイトルの書式設定 • マスター テキストの書式設定 Android(github.com/vbanthia/rspec_html_reporter)
21. マスター タイトルの書式設定 • マスター テキストの書式設定 Android(github.com/vbanthia/rspec_html_reporter)
22. マスター タイトルの書式設定 • マスター テキストの書式設定 Android(github.com/vbanthia/rspec_html_reporter)
23. iOS(XCTestHTMLReport) メルカリiOSのUIテスト自動化をま るっとご紹介します！ https://tech.mercari.com/entr y/2018/08/07/123000
24. 調査・メンテナンスできる人を増やす
25. QAとの協業 自動化エンジニア QA • 実行結果の確認・フィードバック • テストシナリオ作成・更新 • 一部スクリプト修正 • テストスクリプトの実装・修正 • 実行環境の構築・整備 • ライブラリの作成
27. 次のステップ 自動化エンジニア QA • 実行結果の確認・フィードバック • テストシナリオ作成・更新 • テストスクリプトの実装・修正 • テストスクリプトの実装・修正 • 実行環境の構築・整備 • ライブラリの作成
28. Appium + RSpec + Turnip (Android) 自動化エンジニア QA • 実装しているシナリオの理解 • 新規シナリオの作成 • 既存シナリオの修正 • Stepの作成 • サンプルのシナリオを提供 • シナリオを書くためのサポート
29. github.com/tadashi0713/table_beet2
30. QAがシナリオを書くためのサポート
31. 3つのポイント・改善 • 実行環境を用意・安定化 • テストレポートを充実させる • 調査・メンテナンスできる人を増やす + Automation, Karakuriしていく文化
32. エンジニアの行動指針 Automation, Karakuri
33. Automation (自動化) 本来すべきこと(コード・設計) に集中するため 機械になるべくやらせて、効率化させる 2度以上行なった作業は自動化の対象
34. Karakuri (仕組み化) 問題が起きた時、気合いではなく、 人的エラーが起きない仕組みで解決する
35. Automation, Karakuriしていく文化
36. 一発でパーフェクトなE2Eテストは作れない 自発的・継続的に Automation, Karakuriしていく文化