Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【ソフトウェアテスト自動化カンファレンス2020】CI パイプラインでのテスト戦略とその実現方法

Takaichi00
December 05, 2020

【ソフトウェアテスト自動化カンファレンス2020】CI パイプラインでのテスト戦略とその実現方法

Takaichi00

December 05, 2020
Tweet

More Decks by Takaichi00

Other Decks in Technology

Transcript

  1. 自己紹介 @Takaichi00 tomoaki.takaichi.5 ・髙市 智章(タカイチ トモアキ) ・Java / Node でのシステム開発

    ・CI / CD ・Container / k8s ・アジャイル開発実践 共著: クリーンなコードへの SonarQube即効活用術 http://u0u0.net/RSvx
  2. ❏ 「LeanとDevOpsの科学」では、組織のパフォーマンス (収益性 / 市場専有率 / 生産性) は、「ソフトウェアデリバ リのパフォーマンス」が予測要因の一つとされている なぜ

    CI / CD を行う必要があるか 出典: https://img.ips.co.jp/ij/18/1118101029/1118101029-520x.jpg 出典: https://d2l930y2yx77uc.cloudfront.net/production/uploads/images/17728222/picture_pc_7ad9d39bff46bb8813d1c7c8812fa5c9.png
  3. ❏ 「ソフトウェアデリバリのパフォーマンス」を統計的に優位な 形で改善できる24のケイパビリティの中に、「継続的インテグ レーション (CI) の実装」「継続的デリバリ (CD) の実践」が含 まれている ❏

    組織のパフォーマンス(収益性 / 市場専有率 / 生産性)を向上さ せるために、CI / CD の実践は効果的である なぜ CI / CD を行う必要があるか 組織のパフォーマンス CI / CD の実践 向上
  4. ❏ CI / CD を実践していないプロジェクトでは以下のような 問題が往々にして起こりがち ❏ 何日も main ブランチにマージされずに機能開発が並行して

    行われ、リリース間際にマージ作業。しかしコンフリクトが 多発し、マージしてもシステムが動作しないで遅延。 ❏ リリース期限ギリギリに本番環境にデプロイ。しかし本番環 境特有の設定値が考慮されておらず、外部システムと連携で きなかったり、パフォーマンスに問題が生じて遅延。 CI / CD を実践しないとどうなるか
  5. ❏ 継続的にマージし、CI を実施することで常に動作するソフト ウェアを維持する ❏ トランクベース開発と組み合わせて実施することでより効果を発揮する ❏ 継続的にデプロイを行い、リリースによるリスクを早期に発見 し対処する ❏

    CI / CD を含めた、ソフトウェアをバージョン管理にチェック インしてからユーザーの手に渡すまでのプロセスをデプロイメ ントパイプラインと呼ぶ CI / CD のメリットは自動化だけではない
  6. ❏ コミットステージのすべてのステップが成功したときのみ、今 後の受け入れステージや本番環境で利用するバイナリを成果物 リポジトリ (Artifactory など) にアップロードする ❏ リリース候補となるバイナリを生成するのはコミットステージ の最後ただ一度きりにする

    ❏ デプロイ環境ごとにビルドはしない ❏ バイナリの再生成の際に何らかの変更が紛れ込んでしまうという リスク ❏ 再コンパイルに時間がかかりフィードバックが遅くなる リリース候補となるバイナリを生成する
  7. ❏ CI はツールでなくプラクティスである。以下のような規律 をチームで守ることで CI は実現される コミットステージのプラクティス 1. 定期的に main

    ブランチにチェックインをする (最低でも1日2回) 2. ビルドが壊れているときはチェックインしない 3. コミットテストが通るまで次の作業を始めない a. 変更の記憶があるうちに素早くエラーを修正したい 4. テストが失敗してもビルドは続ける a. テスト以外にも失敗要因はあるかもしれない 5. 5分以内で終わるようにする (10分以上かかってはいけない)
  8. 1. 受け入れステージが失敗したら即座にチーム全体で修正する 2. 自動受け入れテストは自分たちの開発環境で実行できるようにする a. 失敗した場合開発者のマシンで再現できなければならない 3. 外部システムとすべて統合された環境で実行しない a. テストダブルを利用し、外部システムのふるまいはこちらで定義できように

    4. 受け入れテストは実行可能な仕様として機能するよう、ビジネスの 言葉(ユビキタス言語)で表現する 5. 本番環境と同じプロセスでデプロイを行う a. 自動デプロイメントのテストという意味合いもあるため 受け入れステージのプラクティス
  9. Kubernetes で実行されるアプリケーション の場合 GitHub コミットテスト ソースコード解析 脆弱性チェック ビルド/バイナリ生成 Artifactory 自動

    デプロイ kubernetes (疑似本番環境) 自動受け入れテ スト テストの セット アップ DB (疑似本番環境) 疑似外部システム ← 外部システムをスタブに切り替える テーブル再作成 データ投入
  10. ❏ コミットステージ / 受け入れステージで実施するテストは どのように設計すればいいだろうか? どのようにテストを設計するか? コミットステージ 受け入れステージ • 素早く実行できる

    • そもそもアプリケーションは起動 するか? • 開発者視点のテスト • 疑似本番環境で実行する • 機能的な価値を満たしているか? • 顧客視点のテスト
  11. ❏ コミットステージでは主に Q1, 単体テスト/コンポーネントテストを 実施する ❏ xUnit 系のテストで、クラスや関数に対してテストを実施することが 多い (JUnit,

    PHPUnit など) ❏ 境界値試験など多くのテストケースが発生するテストはなるべくコ ミットステージで実施する コミットステージで実施するテスト 出典: https://notta55.hatenablog.com/entry/2015/05/03/161631
  12. ❏ 受け入れステージでは主に Q2, Q3, API レイヤー, GUI に対してのテ ストを実施する ❏

    これらのテストは実行に時間がかかり、特に GUI のテストは少しの変 更で壊れやすいため、単体テストほど厚くテストをしない ❏ 境界値試験のようなテストはあまり実施しないようにする 受け入れステージで実施するテスト 出典: https://notta55.hatenablog.com/entry/2015/05/03/161631
  13. ❏ 近年コンピューターリソースが向上し、GUI を含むシステ ムテストや DB アクセスのコストが低下したことで生まれ た考え方 テストアワーグラス (砂時計) ユニットテスト

    システムテスト インテグレーションテスト ❏ システムテストが少ないため、「なぜその機能が 必要なのか」を忘れてしまう ❏ インテグレーションテストがあっても、今意味が ある機能なのかがわからないためメンテナンスコ ストが高くなってしまう テストピラミッドの欠点:
  14. ❏ GUI テストは一般的に時間がかかるが、並列実行などで工夫す れば時間を短縮することができる ❏ 例えばメルカリ様では、Selenium Grid をベースに作られた Zalenium と

    Kubernetes を組み合わせることで、従来では1時 間かかっていた GUI テストを 6~7 分で実施することに成功 GUI テストの実行時間を短くする取り組み 「メルカリWeb版のUIテスト自動化で目指している 世界と、そのために作った Selenium Grid・Zalenium 環境 on Azure Kubernetes Service(AKS)」 (https://engineering.mercari.com/blog/entry/2019 -04-16-060000/)
  15. ❏ 一般的なテストピラミッドの考え方は持ちつつも、システ ムの特徴にあったテスト戦略を考える ❏ 例) GUI を持たないアプリケーションでは、EtoE 試験を厚 くしテストアワーグラスのような構造をとる ❏

    例) GUI テストが高速に実行できる基盤、ナレッジがある ので、GUI テストを厚くしテストアワーグラスのような構 造をとる システムの特徴によってテスト戦略は変わる
  16. 例: 簡単な UI をもつ Java (SpringBoot) の管理システム .Class コミットステージ .Class

    .Class .Class .Class Test MockMVC 受け入れステージ ユニットテスト ※ MockMVC … アプリケーションサーバ上にデプ ロイすることなくSpring MVC の動作を再現できる Cucumber を使い自然言語でテストケース を記載 Selenide を使って 自動 GUI テストを実行 コンポーネントテスト (クラスを結合させて動作検証する)
  17. ❏ それぞれのテストの割合はテストピラミッドの考え方に近 づける 例: 簡単な UI をもつ Java (SpringBoot) の管理システム

    ユニットテスト (コミットステージ) コンポーネントテスト (コミットステージ) 自動 GUI 受け入れテスト (受け入れステージ)
  18. 例: 複数の REST API からなるシステム .Class コミットステージ .Class .Class .Class

    .Class Test 受け入れステージ ユニットテスト API ごとの受け入れテスト App A App B (スタブ) App B DB API を結合させた受け入れテスト App A App B DB
  19. ❏ それぞれのテストの割合はテストピラミッドの考え方に近 づける 例: 複数の REST API からなるシステム ユニットテスト (コミットステージ)

    API ごとの受け入れテスト (受け入れステージ) API を結合させた受け入れテスト (受け入れステージ)
  20. ❏ Spring Boot CLI を用いて CLI アプリケーションを作成する 例: CLI アプリケーション

    CLI .Class コミットステージ .Class .Class .Class .Class Test ユニットテスト 受け入れステージ 自動受け入れテスト 受け入れ基準となるテストケースを元に、 実際に CLI を実行して動作を検証する
  21. 継続的デリバリー 参考書籍 実践アジャイルテスト LeanとDevOpsの科学 実践テスト駆動開発 テスト駆動開発 出典: https://img.ips.co.jp/ij/18/1118101029/1118101029-520x.jpg 出典: https://images-na.ssl-images-amazon.com/images/I/51TkJaY4jPL._SX400_BO1,204,203,200_.jpg

    出典: https://m.media-amazon.com/images/I/51v3XabFauL._SX260_.jpg 出典: https://images-na.ssl-images-amazon.com/images/I/51hsd-b1RTL._SX350_BO1,204,203,200_.jpg 出典: https://images-na.ssl-images-amazon.com/images/I/61UOZrEZR6L._SX398_BO1,204,203,200_.jpg