手作業から自動化へ〜私たちのテスト改革〜 / ソフトウェアテスト自動化カンファレンス2023

ソフトウェアテスト自動化カンファレンス2023にて、
https://testautomationresearch.connpass.com/event/299491/
「手作業から自動化へ、私たちのテスト改革」と題して発表したときの資料です。

Transcript

1. 公開 ©︎ LY Corporation ~ 私たちのテスト改革 ~ 手作業から自動化へ LINEヤフー株式会社 永留亮一・渡邉悠一 ソフトウェアテスト自動化カンファレンス2023
2. 公開 ©︎ LY Corporation 2 ▼ 永留 亮一 Yahoo! MAP Android / Backend Development Manager ベンチャー、SIer経験後、 ・2016年10月 〜 ヤフー株式会社 ・2023年10月 〜 LINEヤフー株式会社 自己紹介 ▼ 渡邉 悠一 Yahoo! MAP Android / Backend Engineer 組み込み系経験後、 ・2017年11月 〜 ヤフー株式会社 ・2023年10月 〜 LINEヤフー株式会社
3. 公開 ©︎ LY Corporation 3 本日お話すること
4. 公開 ©︎ LY Corporation 4 本日お話すること
5. 公開 ©︎ LY Corporation 5 アプリケーション本体 •Spring Boot / Spring Batch •Java •JUnit5 Platform •社内のサーバーレスな実行環境 •K8SベースのシステムへDockerイメージをデプロイ パイプライン •社内のCI/CD •Circle CI, Github Actionsなどと同様 利用技術
6. 公開 ©︎ LY Corporation 目標 「 Elite ＞ High 」 6 「2023 年の State of DevOps Report: 組織文化の重要性」より引用 https://cloud.google.com/blog/ja/products/devops-sre/announcing-the-2023-state-of-devops-report
7. 公開 ©︎ LY Corporation 7 1. 前提 2. デプロイパイプライン 3. 結合テスト自動化方針 4. 構築した結合テスト 5. 自動化した結果 6. この先 アジェンダ
8. 公開 ©︎ LY Corporation CI/CDの構築 8 デプロイパイプライン 手動 Before 単体 テスト PR マージ 本番 デプロイ STG デプロイ STG テスト DEV テスト STG テスト準備 手動 手動 手動
9. 公開 ©︎ LY Corporation CI/CDの構築 9 デプロイパイプライン 手動 単体 テスト PR マージ 本番 デプロイ STG デプロイ STG テスト DEV テスト STG テスト準備 Before After 手動 手動 手動 ① ② ③ ④ ⑤ ⑥ ⑦ 単体 テスト PR マージ 本番 デプロイ STG デプロイ STG テスト DEV テスト STG テスト準備
10. 公開 ©︎ LY Corporation 10 最小限の結合テストを自動で作る 結合テスト自動化方針 The Practical Test Pyramidより引用 https://martinfowler.com/articles/practical-test-pyramid.html
11. 公開 ©︎ LY Corporation 11 可能な限り単体テストでカバー 単体テストがしやすい構造も重要 単体テスト The Practical Test Pyramidより引用 https://martinfowler.com/articles/practical-test-pyramid.html
12. 公開 ©︎ LY Corporation 12 開発でローカル実行できない環境の動作確認 STG環境よりも早い段階で結合テスト 結合テスト（開発環境） DB Storage API Spring Batch
13. ©︎ LY Corporation 公開 結合テスト（開発環境）のサンプルコード 13 • Spring Batch Test • WireMock によるモックサーバ • ローカルなど開発環境で結合テスト
14. 公開 ©︎ LY Corporation 14 本物と結合した結果が問題ないこと I/Fや出力データなど外部から観察できる結果が仕様通りであることを担保 条件網羅的な観点ではない 結合テスト（ステージング環境） DB Storage API Spring Batch
15. 公開 ©︎ LY Corporation 15 バッチのようなシステムの自動テストにおける工夫 結合テスト（ステージング環境） 結合テストの準備と検証を、単体テストのようにシームレスに、 一箇所見れば誰でもわかるような形で実現したい STG デプロイ 実行 STG 実行結果 検証 STG データ 準備 JUnit5 ？？？
16. 公開 ©︎ LY Corporation 16 JUnit5の仕組みをそのまま利用 JUnit5のTAGとgradleジョブで単体テストとは分離 パイプライン上で以下のフローを実行 結合テスト（ステージング環境） STG デプロイ 実行 STG 実行結果 検証 STG データ 準備 JUnit5 JUnit5
17. ©︎ LY Corporation 公開 結合テスト（ステージング環境）のサンプルコード 17 gradle
18. ©︎ LY Corporation 公開 結合テスト（ステージング環境）のサンプルコード 18 JUnit5によるテスト準備・テスト本体
19. ©︎ LY Corporation 公開 結合テスト（ステージング環境）のサンプルコード 19 パイプライン定義
20. 公開 ©︎ LY Corporation 20 デプロイパイプライン After 単体 テスト PR マージ 本番 デプロイ STG デプロイ STG テスト DEV テスト STG テスト準備
21. 公開 ©︎ LY Corporation 21 デプロイ回数（月） １桁 から ２桁 へ リードタイム 1日〜1週間 から 半日〜１日(最小１時間) 自動化した結果 【課題】 ・レビュー時間がネックになりつつある ・バックエンドは改善したが、フロントの動作確認 【副作用】 ・PRを分割する抵抗がなくなった ・ちょっとした設定変更など気楽に修正・デプロイできる
22. 公開 ©︎ LY Corporation 22 2023年9月より、E2E自動テストの取り組み開始 この先