テスト自動化ツールを比較してみた 導入後の課題と相性の良いテスト

Transcript

1. テスト自動化ツールを比較してみた
   導入後の課題と相性の良いテスト
   © 株式会社カンリー. All Rights Reserved.
   

   View Slide

2. 加藤 裕太
   所属/役割
   趣味
   最近の仕事
   いま興味あること
   かとう ゆうた
   開発部/QAエンジニア
   キャンプ
   UI/UX観点での仕様書レビュー、改修
   セキュリティテストの知識
   自己紹介
   

   View Slide

3. 01. テスト自動化を行った背景
   02. 社内既存自動化ツールを運用してみた課題
   03. MagicPodとAutifyの比較、導入
   04. まとめ
   アジェンダ
   

   View Slide

4. 01 テスト自動化を行った背景
   

   View Slide

5. テスト自動化を行った背景
   各企業の店舗を検索するための
   ローカルSEOに対応した自社HP
   

   View Slide

6. テスト自動化を行った背景
   過剰アクセスでサーバーが落ちてもすぐに気付けない…

   サイトのアップデート時に既存実装箇所がバグったままリリースしてし
   まった…

   

   View Slide

7. テスト自動化を行った背景
   　　　　　　　　　サイトの死活監視の為、

   定期的に自動実行されるE2Eテストを実装することに

   

   View Slide

8. テスト自動化を行った背景
   自動化の第一歩を踏み出しました！

   と、いうわけで

   

   View Slide

9. 02 社内既存自動化ツールを運用してみた
   

   View Slide

10. 社内既存自動化ツールを運用してみた
    そもそもどういうツールがあるの？

    

    View Slide

11. ● オープンソース系

    ○ コーディングスキルがないと扱いが難しい

    ○ スキルがあれば自由にカスタマイズできる
    

    ○ 無料で使えるものが多い

    

    

    ● ノーコード系　←今回こっちを使用

    ○ コーディングスキルがまったくない人でも扱える

    ○ クラウドで利用できるためすぐに扱える
    

    ○ 有料サービスであるものが多い

    そもそもどういうツールがあるの？
    

    View Slide

12. ● 毎日1時間おきに自動実行されること

    ● ホームページ全画面の各要素が正常に表示されているか

    ● ユーザーの導線に沿ってテストが行われること

    社内既存自動化ツールを運用してみた
    今回のテスト要件

    いざ、実装開始！
    

    View Slide

13. 　　　　　そして実装が終わった！！！！！！

    

    View Slide

14. 運用してみた結果

    社内既存自動化ツールを運用してみた
    

    View Slide

15. 運用コストの圧倒的増加。。。。。

    

    ● 料金形態がテスト実行1回あたりの従量課金制だった

    ○ 短い間隔で繰り返し行うテストに向いていない 

    ● テスト対象のUIが変更されるとテストが失敗する

    ○ UI要素を検出し直す必要があり、こまめなメンテナンスが必要 

    ● 日本語に対応しておらず、国内ユーザーが少ない

    ○ とっつきにくく、他QAメンバーのキャッチアップコストが増加 

    ○ ググっても自動テストに関するナレッジがほぼ見つからず 

    

    

    結果
    

    View Slide

16. 社内既存自動化ツールを運用してみた
    じゃあ、国内の有名なツールを見てみよう！

    

    View Slide

17. 03 MagicPodとAutifyの比較、導入
    

    View Slide

18. ツール選定の際に重要視したこと

    

    ● 実装、メンテナンスに開発知識が不要なこと

    ● 初期キャッチアップコストが低いこと

    ● 実装後のメンテナンスコストが低いこと

    ● 料金体系がテスト要件とマッチしていること

    

    

    　　

    　　　　　　　　　　　　　　　　　　　　　　NO！属人化

    MagicPodとAutifyの比較、導入
    

    View Slide

19. 　　　　　　　　実際に使ってみた

    

    View Slide

20. MagicPodとAutifyの比較、導入
    レコーディング機能によって誰でもすぐにテストを作成できる
    最大10並列でテストを実行できる
    テスト実行回数に上限があり、上限（ 400回）以降は従量課金制
    テスト実行回数に制限が無い
    条件分岐などノーコードで複雑なテストが行える
    キャッチアップコストが少し高い
    　←どっちもAIによるテストケース
    　　↓自動修復機能あり
    

    View Slide

21. MagicPodとAutifyの比較、導入
    レコーディング機能によって誰でもすぐにテストを作成できる
    最大10並列でテストを実行できる
    テスト実行回数に上限があり、上限（ 400回）以降は従量課金制
    テスト実行回数に制限が無い
    条件分岐などノーコードで複雑なテストが行える
    キャッチアップコストが少し高い
    　←どっちもAIによるテストケース
    　　↓自動修復機能あり
    

    View Slide

22. 04 まとめ
    

    View Slide

23. まとめ
    ● オープンソース系テスト自動化ツールは無料で使えることが強みだが、

    一定以上の知識を必要としメンテナンスコストが高くなりがち

    ● ノーコード系テスト自動化ツールは開発知識を必要とせず、

    チーム全体への推進が容易。有償なので費用対効果を見極める必要あり

    

    ● 自動テストを短いスパンで繰り返し実行したい、

    複雑な条件分岐をテストケースに組み込みたいならMagicPod

    ● キャッチアップコストを削減したい、

    非エンジニアでもスムーズに自動テストを作成したいならAutify

    ● それぞれのツールに違った強みがあるので

    自社のフェーズや課題と照らし合わせてツール選定を行うことが大切

    

    View Slide

24. We Are Hiring!!
    https://hrmos.co/pages/canly/jobs
    QRコード
    カンリー 採用
    2
    4
    24
    

    View Slide