Agile TPIを活用した品質改善事例

JaSST Tokyo 2025　
にて発表した資料です。
HP: http://www.humancrest.co.jp
#JaSST #AgileTPI

Transcript

1. 株式会社ヒューマンクレスト Agile TPI を活用した 品質向上事例 取締役 兼 技術推進本部 本部長 浅黄 友隆
2. 自己紹介 浅黄 友隆 技術推進本部 本部長 • 情熱：自動テスト→Agile→AI • 趣味 : カメラ、ドライブ • 職歴 : 営業→開発→テスト #ScrumMaster #CTAL-TM #CT-FL #CTAL-TA
3. © 2025 Human Crest Co., Ltd. 株式会社ヒューマンクレスト 3 “ちゃんとうごかす”をサービスする会社です
4. © 2025 Human Crest Co., Ltd. 株式会社ヒューマンクレストグループ 4 Japan Quality Co., Ltd.／ DADラボ（海外検証拠点） ベトナム ダナン 16F, Da Nang Software Park, 02 Quang Trung, Thach Thang Ward, Hai Chau District, Da Nang, VIETNAM ARRANGILITY SDN. BHD. マレーシア サイバージャヤ Unit LG-02 & LG-03, Ground Floor, CoPlace 5 Block 3710, Persiaran APEC, Cyber 8, 63000 Cyberjaya, Selangor Darul Ehsan, MALAYSIA ベトナム ダナンで 「日本の味」が恋し くなったら
5. © 2025 Human Crest Co., Ltd. AGENDA 本日のアジェンダ 1. はじめに 2. Agile TPI 事例 3. AIとの協働
6. はじめに 1.
7. © 2025 Human Crest Co., Ltd. 1. 品質に影響を与える要素 8 品質 プロダクト プロセス ピープル 参考:1
8. © 2025 Human Crest Co., Ltd. 1. 品質に影響を与える要素 9 品質 プロダクト プロセス ピープル 組織 チーム パイプライン ワークフロー ドメイン知識 各種スキル Agile TPI
9. © 2025 Human Crest Co., Ltd. 1. 品質に影響を与える要素 10 品質 プロダクト プロセス ピープル AI AI AI
10. © 2025 Human Crest Co., Ltd. 本日の事例に関して • 決してだれかを非難しているわけではありません。 11
11. Agile TPI 事例 2.
12. 2. 事例 13
13. 2. 事例 14
14. © 2025 Human Crest Co., Ltd. 2. 事例 • 状況 ◦ 現状QA体制がなく、開発者がテストしている ◦ 新機能のテストはできているが、リグレッションテストはできていない ◦ 不具合はユーザーからの報告で気がつくこともある • 課題 ◦ 品質面に不安がある 15
15. © 2025 Human Crest Co., Ltd. 2. 事例 • 目的 ◦ メンバーの品質意識を高める ◦ より良いサービスを提供する チーム • アプローチ ◦ プロセスに対する改善 16 2023年1月〜
16. © 2025 Human Crest Co., Ltd. 2.1 結論 バグ 出なくなりました。 17 2024年11月
17. © 2025 Human Crest Co., Ltd. 2.2 何をしたか 18 • WFからSCRUMへ • 実例マッピング • シフトレフト • テストケースの標準化 • スクラムイベント全員参加 • PBIのアウトカム・受け入れ基準 の明確化 • デプロイメントパイプライン • E2E自動テスト • Unitテスト導入 • テスト技術セミナー • 輪読会 • バグ共有会
18. © 2025 Human Crest Co., Ltd. 2.2 何をしたか 19 • WFからSCRUMへ • 実例マッピング • シフトレフト • テストケースの標準化 • スクラムイベント全員参加 • PBIのアウトカム・受け入れ基準 の明確化 • デプロイメントパイプライン • E2E自動テスト • Unitテスト導入 • テスト技術セミナー • 輪読会 • バグ共有会 「Agile TPI」を活用し、評価、検証、改善を繰り返した。
19. © 2025 Human Crest Co., Ltd. 2.2 何をしたか • Agile TPI モデル 20 キーエリア カテゴリ チェックポイント ク ラ ス タ 16種類 3種類 108種類 A~G
20. © 2025 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • キーエリア 21 Key area Professional Team Organization 01 利害関係者のコミットメント C D D C E C D 02 関与の度合い A A B C A A B 03 テスト戦略 A B C D A C C A C 04 テスト組織 D E F G D F D G 05 コミュニケーション A C B D C 06 報告 D F F D D F E 07 テストプロセス管理 E E F E F F E F 08 見積もりと計画 G F G F F 09 メトリクス C C C E 10 欠陥管理 C D E C E F G D E 11 テストウェア管理 F G G F F G 12 手法の実践 D D D E F G 13 テスト担当者のプロ意識 A B B D A B C 14 テストケース設計 C D E C D F F 15 テストツール A A A A B C 16 テスト環境 A A C B B C D
21. © 2025 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • カテゴリ 22 Key area Professional Team Organization 01 利害関係者のコミットメント C D D C E C D 02 関与の度合い A A B C A A B 03 テスト戦略 A B C D A C C A C 04 テスト組織 D E F G D F D G 05 コミュニケーション A C B D C 06 報告 D F F D D F E 07 テストプロセス管理 E E F E F F E F 08 見積もりと計画 G F G F F 09 メトリクス C C C E 10 欠陥管理 C D E C E F G D E 11 テストウェア管理 F G G F F G 12 手法の実践 D D D E F G 13 テスト担当者のプロ意識 A B B D A B C 14 テストケース設計 C D E C D F F 15 テストツール A A A A B C 16 テスト環境 A A C B B C D
22. © 2025 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • チェックポイント 23 Key area Professional Team Organization 01 利害関係者のコミットメント C D D C E C D 02 関与の度合い A A B C A A B 03 テスト戦略 A B C D A C C A C 04 テスト組織 D E F G D F D G 05 コミュニケーション A C B D C 06 報告 D F F D D F E 07 テストプロセス管理 E E F E F F E F 08 見積もりと計画 G F G F F 09 メトリクス C C C E 10 欠陥管理 C D E C E F G D E 11 テストウェア管理 F G G F F G 12 手法の実践 D D D E F G 13 テスト担当者のプロ意識 A B B D A B C 14 テストケース設計 C D E C D F F 15 テストツール A A A A B C 16 テスト環境 A A C B B C D
23. © 2025 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • 優先度の設定 24 Key area Professional Team Organization 01 利害関係者のコミットメント C D D C E C D 02 関与の度合い A A B C A A B 03 テスト戦略 A B C D A C C A C 04 テスト組織 D E F G D F D G 05 コミュニケーション A C B D C 06 報告 D F F D D F E 07 テストプロセス管理 E E F E F F E F 08 見積もりと計画 G F G F F 09 メトリクス C C C E 10 欠陥管理 C D E C E F G D E 11 テストウェア管理 F G G F F G 12 手法の実践 D D D E F G 13 テスト担当者のプロ意識 A B B D A B C 14 テストケース設計 C D E C D F F 15 テストツール A A A A B C 16 テスト環境 A A C B B C D
24. © 2025 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • クラスタ 25 Key area Professional Team Organization 01 利害関係者のコミットメント C D D C E C D 02 関与の度合い A A B C A A B 03 テスト戦略 A B C D A C C A C 04 テスト組織 D E F G D F D G 05 コミュニケーション A C B D C 06 報告 D F F D D F E 07 テストプロセス管理 E E F E F F E F 08 見積もりと計画 G F G F F 09 メトリクス C C C E 10 欠陥管理 C D E C E F G D E 11 テストウェア管理 F G G F F G 12 手法の実践 D D D E F G 13 テスト担当者のプロ意識 A B B D A B C 14 テストケース設計 C D E C D F F 15 テストツール A A A A B C 16 テスト環境 A A C B B C D
25. © 2025 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • 優先度の高いキーエリアから、かつクラスタAのチェックポイントを確認 • チェックポイントが”No”であれば、”Yes”にする活動を行なう 26 Key area Professional Team Organization 01 利害関係者のコミットメント C D D C E C D 02 関与の度合い A A B C A A B 03 テスト戦略 A B C D A C C A C 04 テスト組織 D E F G D F D G 05 コミュニケーション A C B D C 06 報告 D F F D D F E 07 テストプロセス管理 E E F E F F E F 08 見積もりと計画 G F G F F 09 メトリクス C C C E 10 欠陥管理 C D E C E F G D E 11 テストウェア管理 F G G F F G 12 手法の実践 D D D E F G 13 テスト担当者のプロ意識 A B B D A B C 14 テストケース設計 C D E C D F F 15 テストツール A A A A B C 16 テスト環境 A A C B B C D
26. © 2025 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • チェックリスト ◦ テスト担当者のプロ意識 クラスタA ⮚ 対策 ◦ QAセミナーや輪読会の開催 ▪ テスト活動の知識 ▪ テスト技術の習得 ◦ 成果 ▪ テストスキルの向上 ▪ 品質意識の向上 27 テストの役割を担う開発者が、特にテストエンジニアリングとテストケース設計に関する テストのトレーニングを受けている。 開催 ：毎週1時間 参加者：全員 内容 ：ISTQB FL Agile QA BDD/TDD DevOps 狩野モデル
27. © 2025 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI • チェックリスト ◦ 関与の度合い クラスタA ◦ テストケース設計 クラスタA （TPI Next） ⮚ 対策 ◦ テストケースの書き方を統一 フォーマットを用意 ◦ プロセスの変更（コーディング前にテスト設計、ケース作成を行う） ◦ 成果 ▪ プロダクト開発の手戻りが減る 28 プロダクトリスク分析、計画、準備、テストケース設計のようなテスト活動は、テスト活動をスプリントの クリティカルパスとならないように、テスト実行よりも前に行われている。 テストケースには、以下の説明項目を含む。 a)開始時の状況、b)変更プロセス＝実施するテストアクション、c)予測される結果。
28. © 2025 Human Crest Co., Ltd. 2.2.1 何をしたか？ Agile TPI 29 品質 プロダクト プロセス ピープル 組織 チーム パイプライン ワークフロー ドメイン知識 各種スキル
29. © 2025 Human Crest Co., Ltd. 2.2.2 何をしたか？ E2E自動テスト • 課題 ◦ リグレッションテストが出来ていない • チェックリスト ◦ テストツール クラスタA ⮚ 対策 ◦ リグレッションテストを自動化 ▪ 何？をテストするのか？テスト設計からやり直し ▪ UIですべてを自動化しない（Unitテストへ） 30 回帰テスト自動実行のためのテストツールが使用されている。 UI Service Unit
30. © 2025 Human Crest Co., Ltd. 2.2.2 何をしたか？ E2E自動テスト ◦ 成果 ▪ 毎日テストが実行されている状態になり、リファクタリング等も容易 31
31. © 2025 Human Crest Co., Ltd. 2.3 変化 32 • 2023年6月 • 2024年11月
32. © 2025 Human Crest Co., Ltd. 2.3 変化 33 P T O Y 77 38 25 14 N 31 6 7 18 71% 86% 78% 44% Team毎に取り組んだ為 Organizationが低い
33. Agile TPI 事例まとめ 2.4
34. © 2025 Human Crest Co., Ltd. 2.4 まとめ 35 品質 プロダクト プロセス ピープル 組織 チーム パイプライン ワークフロー ドメイン知識 各種スキル
35. © 2025 Human Crest Co., Ltd. 2.4. まとめ • Agile TPIのチェックポイントで現状を評価 ◦ 問題点に気がつく • 取り組むチェックポイントを決定 ◦ 3ヶ月毎に、1~2ポイント • 1ポイントに対する対策を決定する ◦ 立案、計画、実施、評価 • 改善されているか、振り返り、再度、チェックポイントを確認する 36
36. AIと協働 3.
37. © 2025 Human Crest Co., Ltd. 3.1 AIによるテストプロセスへの影響 • ソフトウェア開発プロセスの変化とAIの役割 ◦ 今！ ソフトウェア開発におけるAI技術の活用が盛んになっている ◦ AIによる開発効率化、品質向上への期待がすごい ◦ 開発プロセスの変化がテストプロセスに与える影響は？ 38 自動補完型 AIツール 対話型 AIツール エージェント型 AIツール 参考:2
38. © 2025 Human Crest Co., Ltd. ※ AIとのコミュニケーション 意図 •タスク •ニーズ •振る舞い コンテキスト •ゴール •背景 •制約 コンテンツ •コード •データ •ドキュメント 39 参考:2
39. © 2025 Human Crest Co., Ltd. 3.1 AIによるテストプロセスへの影響 • AIを活用したテストの可能性 ◦ テスト設計: ▪ AIによるテストケースの自動生成 ▪ 境界値分析や同値分割などのテスト技法の適用支援 ◦ テストデータ ▪ AIによるテストデータの自動生成、網羅性の向上 ◦ リスク分析 ▪ AIによるプロダクトリスクの識別 ▪ リスクベースドテストへの活用支援 ◦ テスト結果分析 ▪ AIによるテスト結果の分析、根本原因の特定支援 40 テスト成果物 分析系 計画 分析 設計 実装 実行 報告
40. © 2025 Human Crest Co., Ltd. 3.2 テストエンジニアとAIの協働 • 生成AIが生成したテスト設計は、必ずレビューする必要がある ◦ AIの誤り、偏りを修正する • AIを効果的に活用するためには、テストエンジニアの専門知識と経験が不可 欠である • AIはあくまでツールであり、最終的なテストに関するアウトプットの責任は テストエンジニアにある • 作成されたテストケース、自動テストスクリプトの妥当性、網羅性のレビュ ー。AIの提案に対して専門知識に基づいた判断を行うことが重要 41
41. © 2025 Human Crest Co., Ltd. 3.2 テストエンジニアとAIの協働 • AIと協働し、単体テストを作成する効果的な手順 ◦ 発散：テストケースのパターンを生成してもらう ◦ 整理：パターンの整理をAIに依頼し、人間がレビューする ◦ 収斂：網羅されたテストケースを絞り込む ◦ 選択：人間がレビューしてテストケースを選別する ◦ 実装：AIにテストコードを実装させる • 上記の考え方は、全てのテストレベルで可能である ◦ テストシナリオやテストデータを生成し、テストエンジニアが評価、検証、改善 を行なう 42 参考:3
42. © 2025 Human Crest Co., Ltd. 3.2 テストエンジニアとAIの協働 • 身につけておきたいスキル 43 テスト技術 ドメイン知識 AI特性理解 創造力 スキル
43. © 2025 Human Crest Co., Ltd. 3.2 テストエンジニアとAIの協働 • レビューにおける専門知識の重要性 ◦ 妥当性 ◦ 網羅性 ◦ 効率性 ◦ 実現可能性 ◦ 非機能要件の考慮 ◦ テスト技法の適用 • テストエンジニアに進化が必要なこと ◦ AI技術の理解 ◦ 高度なテスト設計・分析技術 ◦ リスクベース思考 44
44. © 2025 Human Crest Co., Ltd. 3.3 AI活用事例 • テストケースの自動生成 • 画面仕様書にある文言が、絞り込み系であればそのままパターンに反映 する。しかし、除外系の（◯◯以外、とか）文言は、理解が及ばず、パ ターンに組み込まれることもあった。 45
45. © 2025 Human Crest Co., Ltd. 3.3 AIとの協働 まとめ 46 品質 プロダクト プロセス ピープル AI AI AI 知識と経験を共有するパートナーとして協働するイメージ
46. © 2025 Human Crest Co., Ltd. 3.3 AIに期待 1. バグを見つける能力 2. バグを埋め込まない能力 47
47. ご清聴ありがとうございました
48. 参考 1. Berend van Veenendaal, Dennis Geurts, Rik Marselis, Wouter Ruigrok(2022). Quality for DevOps teams. Sogeti 2. 服部祐樹, コード×AI ソフトウェア開発者の為の生成AI実践入門, 技術評論 社, 136ページ 3. 服部祐樹, コード×AI ソフトウェア開発者の為の生成AI実践入門, 技術評論 社, 221ページ 50