プロセス改善とE2E自動テストによる、プロダクトの品質向上事例

2024/12/05に開催されたpmconf 2024にて発表した資料です。
https://2024.pmconf.jp/
https://2024.pmconf.jp/sessions/CXBpStRW

#AGILETPI #プロセス改善 #ProcessImprovement
#テスト自動化 #自動テスト #TestAutomation

HP: http://www.humancrest.co.jp
https://www.humancrest.co.jp/qa_services/qa_consulting_management.html
https://www.humancrest.co.jp/qa_products/lynx.html

Transcript

1. 株式会社ヒューマンクレスト プロセス改善とE2E自動テストに よる、 プロダクト品質向上事例 取締役 兼 技術推進本部 本部長 浅黄 友隆
2. AGENDA 本日のアジェンダ 1. Quest 2. 事例 1. 結論 2. 何をしたか 1. AGILE TPI 2. E2E自動テスト 3. 変化 3. まとめ
3. 自己紹介 浅黄 友隆 技術推進本部 本部長 • 自動テスト大好き • 趣味 : カメラ、ドライブ • 職歴 : 営業→開発→テスト
4. © 2024 Human Crest Co., Ltd. 株式会社ヒューマンクレスト 4 • “ちゃんとうごかす”をサービスする会社です
5. © 2024 Human Crest Co., Ltd. 株式会社ヒューマンクレスト 5 Japan Quality Co., Ltd.／ DADラボ（海外検証拠点） ベトナム ダナン 16F, Da Nang Software Park, 02 Quang Trung, Thach Thang Ward, Hai Chau District, Da Nang, VIETNAM ARRANGILITY SDN. BHD. マレーシア サイバージャヤ Unit LG-02 & LG-03, Ground Floor, CoPlace 5 Block 3710, Persiaran APEC, Cyber 8, 63000 Cyberjaya, Selangor Darul Ehsan, MALAYSIA ベトナム ダナンで 「日本の味」を探求 するならここ
6. © 2024 Human Crest Co., Ltd. 本日の事例に関して • 決してだれかを非難しているわけではありません。 • 自動テストは、UI層を操作するE2Eテストに限った話です。Unitテスト等は 含まれておりません。 UI Service Unit 6
7. Quest 1.
8. A quest for quality
9. © 2024 Human Crest Co., Ltd. 1. Quest どんな品質を求めていますか？ • バグはない • 機能追加、修正が簡単 • コードが見やすい • 使いやすい • 安心して使える • 素早くリリース、早い修正 • ユーザーに価値を届ける • 収益が得られる 9
10. © 2024 Human Crest Co., Ltd. 1. Quest どんな品質を求めていますか？ • バグはない • 機能追加、修正が簡単 • コードが見やすい • 使いやすい • 安心して使える • 素早くリリース、早い修正 • ユーザーに価値を届ける • 収益が得られる 10 内部品質 外部品質 利用時の品質 ユーザー品質 参考:1.2
11. © 2024 Human Crest Co., Ltd. 1. Quest 品質に影響を与える要素 11 品質 プロダクト プロセス ピープル 参考:3
12. © 2024 Human Crest Co., Ltd. 1. Quest 品質に影響を与える要素 12 品質 プロダクト プロセス ピープル 組織 チーム パイプライン ワークフロー ドメイン知識 各種スキル
13. 事例 2.
14. 2. 事例 • 本事例 14
15. 2. 事例 15
16. © 2024 Human Crest Co., Ltd. 2. 事例 • 状況 ◦ 現状QA体制がなく、開発者がテストしている ◦ 新機能のテストはできているが、リグレッションテストはできていない ◦ 不具合はユーザーからの報告で気がつくこともある • 課題 ◦ 品質面に不安がある 16
17. © 2024 Human Crest Co., Ltd. 2. 事例 • 目的 ◦ メンバーの品質意識を高める ◦ より良いサービスを提供する チーム • アプローチ ◦ プロセスに対する改善 17 2023年1月〜
18. © 2024 Human Crest Co., Ltd. 2.1 結論 バグ 出なくなりました。 18 2024年11月 現在
19. © 2024 Human Crest Co., Ltd. 2.2 何をしたか 19 • WFからSCRUMへ • 実例マッピング • シフトレフト • テストケースの標準化 • スクラムイベント全員参加 • PBIのアウトカム・受け入れ基準 の明確化 • デプロイメントパイプライン • E2E自動テスト • Unitテスト導入 • テスト技術セミナー • 輪読会 • バグ共有会
20. © 2024 Human Crest Co., Ltd. 2.2 何をしたか 20 • WFからSCRUMへ • 実例マッピング • シフトレフト • テストケースの標準化 • スクラムイベント全員参加 • PBIのアウトカム・受け入れ基準 の明確化 • デプロイメントパイプライン • E2E自動テスト • Unitテスト導入 • テスト技術セミナー • 輪読会 • バグ共有会 「Agile TPI」を活用し、評価、検証、改善を繰り返した。
21. © 2024 Human Crest Co., Ltd. 2.2 何をしたか • Agile TPI モデル 21 キーエリア カテゴリ チェックポイント ク ラ ス タ 16種類 3種類 108種類 A~G
22. © 2024 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • キーエリア 22 Key area Professional Team Organization 01 利害関係者のコミットメント C D D C E C D 02 関与の度合い A A B C A A B 03 テスト戦略 A B C D A C C A C 04 テスト組織 D E F G D F D G 05 コミュニケーション A C B D C 06 報告 D F F D D F E 07 テストプロセス管理 E E F E F F E F 08 見積もりと計画 G F G F F 09 メトリクス C C C E 10 欠陥管理 C D E C E F G D E 11 テストウェア管理 F G G F F G 12 手法の実践 D D D E F G 13 テスト担当者のプロ意識 A B B D A B C 14 テストケース設計 C D E C D F F 15 テストツール A A A A B C 16 テスト環境 A A C B B C D
23. © 2024 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • カテゴリ 23 Key area Professional Team Organization 01 利害関係者のコミットメント C D D C E C D 02 関与の度合い A A B C A A B 03 テスト戦略 A B C D A C C A C 04 テスト組織 D E F G D F D G 05 コミュニケーション A C B D C 06 報告 D F F D D F E 07 テストプロセス管理 E E F E F F E F 08 見積もりと計画 G F G F F 09 メトリクス C C C E 10 欠陥管理 C D E C E F G D E 11 テストウェア管理 F G G F F G 12 手法の実践 D D D E F G 13 テスト担当者のプロ意識 A B B D A B C 14 テストケース設計 C D E C D F F 15 テストツール A A A A B C 16 テスト環境 A A C B B C D
24. © 2024 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • チェックポイント 24 Key area Professional Team Organization 01 利害関係者のコミットメント C D D C E C D 02 関与の度合い A A B C A A B 03 テスト戦略 A B C D A C C A C 04 テスト組織 D E F G D F D G 05 コミュニケーション A C B D C 06 報告 D F F D D F E 07 テストプロセス管理 E E F E F F E F 08 見積もりと計画 G F G F F 09 メトリクス C C C E 10 欠陥管理 C D E C E F G D E 11 テストウェア管理 F G G F F G 12 手法の実践 D D D E F G 13 テスト担当者のプロ意識 A B B D A B C 14 テストケース設計 C D E C D F F 15 テストツール A A A A B C 16 テスト環境 A A C B B C D
25. © 2024 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • 優先度の設定 25 Key area Professional Team Organization 01 利害関係者のコミットメント C D D C E C D 02 関与の度合い A A B C A A B 03 テスト戦略 A B C D A C C A C 04 テスト組織 D E F G D F D G 05 コミュニケーション A C B D C 06 報告 D F F D D F E 07 テストプロセス管理 E E F E F F E F 08 見積もりと計画 G F G F F 09 メトリクス C C C E 10 欠陥管理 C D E C E F G D E 11 テストウェア管理 F G G F F G 12 手法の実践 D D D E F G 13 テスト担当者のプロ意識 A B B D A B C 14 テストケース設計 C D E C D F F 15 テストツール A A A A B C 16 テスト環境 A A C B B C D
26. © 2024 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • クラスタ 26 Key area Professional Team Organization 01 利害関係者のコミットメント C D D C E C D 02 関与の度合い A A B C A A B 03 テスト戦略 A B C D A C C A C 04 テスト組織 D E F G D F D G 05 コミュニケーション A C B D C 06 報告 D F F D D F E 07 テストプロセス管理 E E F E F F E F 08 見積もりと計画 G F G F F 09 メトリクス C C C E 10 欠陥管理 C D E C E F G D E 11 テストウェア管理 F G G F F G 12 手法の実践 D D D E F G 13 テスト担当者のプロ意識 A B B D A B C 14 テストケース設計 C D E C D F F 15 テストツール A A A A B C 16 テスト環境 A A C B B C D
27. © 2024 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • 優先度の高いキーエリアから、チェックポイントを確認し、NO→YESにする 活動を行う。 • その中でも、クラスタAから順番に行う。 27 Key area Professional Team Organization 01 利害関係者のコミットメント C D D C E C D 02 関与の度合い A A B C A A B 03 テスト戦略 A B C D A C C A C 04 テスト組織 D E F G D F D G 05 コミュニケーション A C B D C 06 報告 D F F D D F E 07 テストプロセス管理 E E F E F F E F 08 見積もりと計画 G F G F F 09 メトリクス C C C E 10 欠陥管理 C D E C E F G D E 11 テストウェア管理 F G G F F G 12 手法の実践 D D D E F G 13 テスト担当者のプロ意識 A B B D A B C 14 テストケース設計 C D E C D F F 15 テストツール A A A A B C 16 テスト環境 A A C B B C D
28. © 2024 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • チェックリスト ◦ テスト担当者のプロ意識 クラスタA ➢ 対策 ◦ QAセミナーや輪読会の開催 ▪ テスト活動の知識 ▪ テスト技術の習得 ◦ 成果 ▪ テストスキルの向上 ▪ 品質意識の向上 28 テストの役割を担う開発者が、特にテストエンジニアリングとテストケース設計に関す るテストのトレーニングを受けている。 開催 ：毎週1時間 参加者：全員 内容 ：ISTQB FL Agile QA BDD/TDD DevOps 狩野モデル
29. © 2024 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • チェックリスト ◦ 関与の度合い クラスタA ◦ テストケース設計 クラスタA （TPI Next） ➢ 対策 ◦ テストケースの書き方を統一 フォーマットを用意 ◦ プロセスの変更（コーディング前にテスト設計、ケース作成を行う） ◦ 成果 ▪ プロダクト開発の手戻りが減る 29 プロダクトリスク分析、計画、準備、テストケース設計のようなテスト活動は、テスト活動をスプリントの クリティカルパスとならないように、テスト実行よりも前に行われている。 テストケースには、以下の説明項目を含む。 a)開始時の状況、b)変更プロセス＝実施するテストアクション、c)予測される結果。
30. © 2024 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI 30 品質 プロダクト プロセス ピープル 組織 チーム パイプライン ワークフロー ドメイン知識 各種スキル
31. © 2024 Human Crest Co., Ltd. 2.2.2 何をしたか？ E2E自動テスト • 課題 ◦ リグレッションテストが出来ていない • チェックリスト ◦ テストツール クラスタA ➢ 対策 ◦ リグレッションテストを自動化 ▪ 何？をテストするのか？テスト設計からやり直し ▪ UIですべてを自動化しない（Unitテストへ） 31 回帰テスト自動実行のためのテストツールが使用されている。 UI Service Unit
32. © 2024 Human Crest Co., Ltd. 2.2.2 何をしたか？ E2E自動テスト ◦ 成果 ▪ 毎日テストが実行されている状態になり、リファクタリング等も容易 32
33. © 2024 Human Crest Co., Ltd. 2.3 変化 33 • 2023年6月 • 2024年11月
34. まとめ 3.
35. © 2024 Human Crest Co., Ltd. 3. まとめ 35 品質 プロダクト プロセス ピープル 組織 チーム パイプライン ワークフロー ドメイン知識 各種スキル
36. © 2024 Human Crest Co., Ltd. 3. まとめ • Agile TPIのチェックポイントで現状を評価 ◦ 問題点に気がつく • 取り組むチェックポイントを決定 ◦ 3ヶ月毎に、1~2ポイント • 1ポイントに対する対策を決定する ◦ 立案、計画、実施、評価 • 改善されているか、振り返り、再度、チェックポイントを確認する 36
37. ご清聴ありがとうございました
38. 参考 1. ISO/IEC 25010:2011, Systems and Software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models 2. 「DORAメトリクス」, DevOps Research and Assessment (DORA), 09/23/2020 https://cloud.google.com/blog/products/devops-sre/using-the-four-keys-to- measure-your-devops-performance?hl=en 3. Berend van Veenendaal, Dennis Geurts, Rik Marselis, Wouter Ruigrok(2022). Quality for DevOps teams. Sogeti 38