テスト自動化支援で見えてきた 自動化導入/運用の壁と新たな取り組み

Transcript

1. 1 テスト自動化支援で見えてきた 自動化導入/運用の壁と新たな取り組み
2. ↓↓ Business card ↓↓ Moderator Profile Satoshi Kishi Field sales manager, TechVan 独立系SIerに15年在籍、アプリ・品質・インフラ・運用 のITサービス事業を幅広く経験。 営業部門のプレイングマネージャーとして、事業セグメ ント問わず人・組織を鍛えながら数値やプロセス管理、 企業収益の最大化を図る総合的なマネジメントを担う。
3. 3 事業内容 ※記載されている会社名、製品名およびサービス名は、各社の登録商標または商標です。 業務システム開発 クラウドインテグレーション 金融、公共、製造、サービス等々 ソフトウェアテスト 品質コンサルティングサービス、第三者検証サービス、 アジャイルQAサービス、オフサイトテストサービス、 テスト自動化ツール導入支援 等 クラウドアプリケーションの導入・データ連携 システムソリューション System solution 品質ソリューション Quality solution クラウドインフラ・ネットワーク構築 プラットフォーム構築 AWS、Azure、Oracle、CISCO IT資産管理・LCM システム運用・サポート 端末管理・キッティング、 SKYSEA、SS1 ITシステム運用、ヘルプデスク、BPO デジタルワークスペース、仮想デスクトップ、EDR インフラソリューション Infrastructure solution マネージドサービス Managed service S Q I M お客様の事業課題をITの力で解決します。 社員人数 ※2023年7月 時点 1,320名 売上高 ※2023年度予測 150億
4. 4 テクバンの強み 4 お客様にとって最適な 解決策をご提案 お客様と伴走し システム運用をサポート 業務改善を実現する システムの構築 課題解決策のご提案・システム構築・運用サポートまでをワンストップでご支援します。 業務改善提案 システム構築 運用サポート
5. ↓↓ Business card ↓↓ Speaker Profile Tateishi Mitsuhiro QA manager, TechVan テスターからキャリアをスタートし、現在はテスト自動化 エンジニアとしておもにテスト自動化の導入/運用支援に 携わっている。 mablで好きな機能は「要素の検索」と「JSスニペット」。
6. 6 ◆ 本日お話すること ・過去の成功/失敗事例から学ぶ、 テスト自動化における課題と解決方法のヒント＋テクバンの新しい取り組み ◆ 想定する視聴者 ・これからテスト自動化を導入する方 ・すでにテスト自動化を導入済みだが、上手く運用できていない方 セッション概要
7. 7 ◆ テスト自動化導入支援PJの傾向 ・少：自社開発でサービスを開発している事業会社 多：エンタープライズ系の大手IT会社 ◆ テスト自動化導入/運用の課題と目的 ・課題：開発/QA工数の逼迫 目的：コスト(工数)の削減 →開発側がテストを行っているが、その工数をもっと開発に回した →QAの工数が足りず、カバーしたい範囲のテストが実施できない 過去のテスト自動化導入PJの傾向と課題
8. 8 ① コスト削減の罠 ② 運用時のギャップ
9. 9 ◆ ROIが出せずに結局導入を断念(あるいは最初の数か月～1年で離脱) ・リリース(テスト実行)頻度の低さ ・自動化のハードルの高さ、制約の厳しさ ・メンテナンスコストの高さ etc. ◆ テスト自動化の効果＝コスト削減？ ・テスト自動化の導入で新たにかかるコストを正確に把握する難易度高 →純粋な「手動実行のコスト ⇔ 自動テストのコストの比較」が難しい ・新たなコストは導入～運用に渡ってかかり続ける 問題① コスト削減の罠
10. 10 ◆ 金額的なコスト ・自動化ツール利用料 ・自動化環境利用料 ・その他周辺ツール利用料 ◆ 工数(時間)的なコスト ・初期学習、教育 ・初期環境構築、環境のメンテナンス ・自動テストの設計、実装、運用、メンテナンス ・テスト結果分析(テスト結果の確認・反映・管理、テスト失敗時の調査、対応) ・ガイドライン策定 テスト自動化の導入で新たにかかるコストの一例
11. 11 ◆ 運用フェーズの作業が重く、運用が上手く立ち行かなくなる ・実行結果が不安定、かつ作りが脆い自動テスト(Flaky×Fragile) ・メンテナンスサイクルの遅さによるリファクタリングの遅れ ・手動→自動へそのまま置き換えたことによる大量のアサーション ◆ すべての作業を外部へ委託することの弊害 ・リソース確保のしづらさを助長 ・短期間での引継ぎにより「実運用を考慮した内容の引継ぎ」などには限界 問題② 運用時のギャップ
12. 12 ◆ コスト削減の難しさ 新たなコスト、低いリリース頻度、高い自動化のハードル/メンテナンスコスト ◆ 運用の難しさ 不安定なテスト結果、リファクタリングの遅れ、大量のアサーション ◆ 引継ぎの難しさ リソース確保の難しさ、実運用に則した引継ぎの限界 ...ではどうするか？ テスト自動化の導入/運用は一筋縄ではいかない
13. 13 ① コスト削減の罠 ② 運用時のギャップ ① テスト自動化の効果を 幅広く捉える ② 自動化を正しく理解し、 運用前⇔運用後の ギャップを埋める
14. 14 ◆ テスト自動化による「コスト削減」以外の効果 ・テストカバレッジの向上 ・リリースサイクルの短縮 ・バグやデグレの早期発見 ・テスト実行の質の統一 - ヒューマンエラーの防止 - 慣れによる怠惰(観点の抜け落ち等)の防止 ・E2E自動テストが常に回っていることによる安心感の創出 ・単調なテスト実行によるエンジニアのモチベーション低下の防止 etc. ① テスト自動化の効果を幅広く捉える(1/2)
15. 15 ◆ 「テストの自動化を導入すべきタイミングなのか？」を疑う ・「手動テスト工数の逼迫」→「テスト自動化」のバイアスから抜け出す - テスト観点を見直す - ユニットテスト、APIテストを把握する - 別のテスト実施方法を採用する ・常に「目的を達成するための手段であるか」を問い続ける ① テスト自動化の効果を幅広く捉える(2/2)
16. 16 ◆ 運用の最適化 ・素早く、高頻度に自動テストを運用する ・何かしらの動く自動テストから始める ・メンテナンス頻度を高める → 実行環境の幅を増やす ◆ 安定性・信頼性の向上 ・テストの観点や流れを見直した自動テスト設計 →「データ依存」「アサーション効力の低下」の防止 ・「前処理/後処理」操作のAPIの実装、他機能の使用の排除による冪等性の担保 ② 自動化を正しく理解し、運用前⇔運用後のギャップを埋める(1/2)
17. 17 標準機能を活用して可読性・保守性を向上 mablにおける運用のヒント① エコー + アノテーション プラン + ラベル Flow + パラメーター
18. 18 「大量のアサーション」ではなく「ビジュアルリグレッションテスト」 mablにおける運用のヒント②
19. 19 「テストステータス」で不安定なテストの閾値を決めてプラン分け mablにおける運用のヒント③
20. 20 ◆ 引継ぎ問題への対策 ・ガイドラインの作成(以下はmablの例) ・設計済みの自動テスト ・自動テストの運用 ・各種リソース(テスト、プラン、Flow、JSスニペット、ブランチなど)の管理 ・自動テストの実装規約(ロケータの指定方法など)、命名規則 ・テストデータの管理 ・参考情報(ロケータ集、JSスニペット集など) ・「伴走サポート」によるロングタームでのサポート、ペアプロ的トレーニング ② 自動化を正しく理解し、運用前⇔運用後のギャップを埋める(2/2)
21. 21 あああ まとめ 問題 原因 解決策のヒント コスト削減の問題 ・効果をコスト削減のみで考える ・導入によりかかる新たなコスト ・低いリリース頻度が低い ・自動化のハードルが高い、制約が厳しい ・自動テストのメンテナンスコストが高い ・テスト自動化による「コスト削減」以 外の効果を把握し生かす ・「テストの自動化を導入すべきタイミ ングなのか？」を疑う 運用上の問題 ・テストの実行結果が不安定、作りが脆い ・リファクタリングの遅れ ・大量のアサーション ・運用の最適化 →素早く、高頻度に実行/メンテ ・安定性・信頼性の向上 →データ依存の防止、冪等性の担保 引継ぎの問題 (サポートを依頼する場合) ・導入後のリソース確保の難しさ ・実運用に則した引継ぎの限界 ・ガイドラインの作成 ・ロングタームでのサポート、ペアプロ 的トレーニング(サポートを受ける場合)
22. 告知
23. 23 PoCサポート • 1ヵ月～3ヵ月ほどの期間で実証実験のサポート をいたします • アセスメントから初期設定やベーステスト作成、 評価結果のレポート作成を実施いたします 無料トライアルサポート • 無料トライアル期間を活用した 製品選定のサポートを実施 • 実際にツールに触れてのご意見を お聞かせください 伴走サポート • 導入支援だけでなく、運用における 問い合わせ対応などのサポートが可能 • 実際にツールを触りながら、運用の支援を させて頂くことも 本番導入サポート • 自動テストだけではカバーできない テストについて、手動テストのご支援も可能 • 自動テストを含むより広範囲の（手動） テストにおいても、お声掛けください ワンストップサポートサービスのご提供
24. 24 ダイバーシティテストサービス ハンディキャップを抱えるITエンジニアで構成 当事者目線でお客様の支援をするサービス エンジニアの個性や価値観を活かしたサービス 気づき（バグ発見能力）に特化 自動化（テストケース作成） ウェブアクセシビリティ対応...等
25. 25 What’s 具体的なサービス内容を知りたい方 導入支援ベンダーをお探しの方 QRコードをかざして アクセスしてみてね 検索 テクバン