大規模アジャイル時代の品質確保 #veri_techplay

TECH PLAYさま共催のイベントでの発表資料です
https://techplay.jp/event/860211

Transcript

2. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 約40年にわたりソフトウェア検証で品質向上に貢献 ◼ 仕様などの要求事項が満たされているかを評価する Verification と、機能や性能が本来意図された用途や 目的に合っているかを評価する Validation 当社の社名にはこの 2つのV を提供する（Service）という想いが込められています 株式会社ベリサーブ 本社 東京都千代田区神田三崎町3-1-16 神保町北東急ビル 9階 西日本支社 大阪府大阪市中央区北浜1-8-16 大阪証券取引所ビル 19階 中部支社 愛知県名古屋市東区泉2-27-14 関電不動産高岳ビル 13階 沖縄テストセンター 沖縄県うるま市字州崎14-1 沖縄IT津梁パーク 情報通信機器検証拠点施設 宇都宮テクニカルセンター 栃木県宇都宮市宿郷2-7-3 IRビル宿郷 5階 広島テクニカルセンター 広島県広島市南区荒神町1-2 日宝荒神町ビル 2階 刈谷テクニカルセンター 愛知県刈谷市桜町1-24 JS刈谷駅ビル 2階 西新宿テクニカルセンター 東京都新宿区西新宿6-24-1 西新宿三井ビル 14階 社 名 株式会社ベリサーブ (VeriServe Corporation) 設 立 2001年7月24日 代 表 者 代表取締役社長 新堀 義之 従業員数 1,452名（2022年3月末時点 連結） 資 本 金 792百万円（2022年3月末時点） 事業内容 1. 製品検証サービス 2. セキュリティ検証サービス 3. その他サービス 子 会 社 株式会社ベリサーブ沖縄テストセンター AIQVE ONE株式会社 拠 点 右記参照 1
3. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 2021年4月に株式会社ベリサーブ入社 ◼ 研究企画開発部 サービス開発課 課長 / プロダクトマネージャー ◆ ベリサーブ内製のテスト支援プロダクト群の全体統制と普及展開に従事 ➢ 前職は大手SIerにて、全社横断技術部門にて技術開発や商用案件適用支援などに従事 ◼ 2009年～2013年：ソフトウェアテスト技術を中心に ◼ 2013年～2020年：アジャイル開発関連技術を中心に 自己紹介 2 朱峰 錦司（あけみね きんじ）
4. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ ソフトウェアテスト技術関連の社外活動にも継続的に従事 自己紹介 3 2013年～2019年 2016年～2017年 2021年～ WACATE 実行委員 ICST 2017 運営委員 JaSST nano お世話係 出典： https://wacate.jp/ 出典： http://aster.or.jp/conference/icst2017/ 出典： https://jasst-nano.connpass.com/
5. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 聴講いただいている皆さまに、以下についてお持ち帰りいただけば幸いです ◼大規模アジャイル開発の特徴 ◼その特徴ゆえに生じるソフトウェアテストに関する課題 ◼これら課題の解決アプローチ 本講演のゴール 4
6. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 以下については本日は触れませんので、別の場での情報収集をお願いいたします ◼大規模アジャイル開発の具体的な始め方 ◼大規模アジャイル開発における仕様策定や設計の話 ◼詳細な事例の話 本講演のゴールではないもの 5
7. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 1. アジャイル開発 2. 大規模アジャイル開発 3. 大規模アジャイル開発におけるソフトウェアテストの課題 4. 大規模アジャイル開発を加速させるソフトウェアテストアプローチ 5. ベリサーブが提供する支援ソリューション 6. おわりに 本日のアジェンダ 6 大半は、小規模開発でも共通する話
8. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 7 1. アジャイル開発
9. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 8 早速ですが クイズです！
10. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 9 出典： https://steemit.com/steemit/@johnnywingston/how-long-does-it-take-steemit-to-hit-50-000-000-users--1502430927-1670258
11. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ローンチされてからユーザ数が5,000万人になるまで 10 1ヵ月もかからずに達成！
12. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 VUCAの時代 11 V olatility U ncertainty A mbiguity C omplexity 変動性 不確実性 複雑性 曖昧性
13. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 従来型開発によるビジネスリスクの増加 12 ビジネス価値 時間 開発完了 当 初 想 定 よ り も 価 値 が 大 き く 下 が る リ ス ク
14. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ビジネス価値を段階的に確認していくアプローチ 13 ビジネス価値 時間 短 い ス パ ン で 変 化 に 追 随 す る こ と で 価 値 が 向 上
15. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 アジャイル開発とは 14 VUCAの時代において ITビジネスリスクを低減させる システム開発のスタイル
16. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ アジャイルなビジネス・開発を実践するためのさまざまな方法論・フレームワークが存在 アジャイル開発の実践方法 15 リーン スタートアップ スクラム エクストリーム プログラミング 出典： https://www.scrum.org/resources/scrum-framework-poster 出典： https://en.wikipedia.org/wiki/Extreme_programming 出典： https://rihoublog.com/2018/09/22/understanding-lean-startup-in-5-mins/
17. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 16 2. 大規模アジャイル開発
18. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 近年、大規模アジャイル開発の実践が増えている ◼ digital.ai社によるアジャイル開発に関する調査「State of Agile」の2021年版では、アジャイル実践企業の 73%が、なにかしらの形で、2チーム以上のアジャイル開発チームが協業していると報告されている ◼ 規模感は2チーム（約15名）～全社レベル（約1000名）までさまざまな形で取り組まれている アジャイル開発の大規模化 17 出典： 15th State of Agile Annual Report
19. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 大規模アジャイル開発の実践には2つのパターンがある アジャイル開発の大規模化のニーズ 18 通常のアジャイルチームで小さく始めたものが ビジネスの成長とともに少しずつ大きくなるパターン 最初から大規模プロダクトを開発する前提で 従来の開発よりデリバリースピードを上げる工夫をするパターン 出典： https://www.scrum.org/resources/scrum-framework-poster
20. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 特に、最初から大規模型のアジャイル開発については、技術進化によって後押しされている ◼ サーバーシステム領域 ◆ マイクロサービスアーキテクチャの実践と成熟 ◆ Kubernetesや類似サービスによる軽量コンテナベースのシステム運用 アジャイル開発の大規模化を支える技術 19 出典： https://www.commerce21.co.jp/microservices/
21. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 特に、最初から大規模型のアジャイル開発については、技術進化によって後押しされている ◼ 組み込み領域 ◆ OTA / FOTAによる販売後のシステムアップデートの実現 ◆ 組み込みシステムのテスト自動化の実践と成熟 アジャイル開発の大規模化を支える技術 20 出典： https://www.omochaya3.com/自動車の無線更新市場の成長する生産、需要、主/
22. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ さまざまな方法論やフレームワークが存在 大規模アジャイル開発の実践方法 21 LeSS 出典： https://less.works/ SAFe 出典： https://www.scaledagileframework.com/ フラットな組織体系をなるべく維持 最低限の階層組織を導入 経営の巻き込み
23. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 22 3. 大規模アジャイル開発におけるソフトウェアテストの課題
24. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 具体的なアプローチによらず、一般的に大規模アジャイル開発においては、サブチームへの開発分割と、 その成果の統合が発生する ➢ この工程のソフトウェアテストは、各チーム単位でのテストに比べ、テストシナリオが複雑であったり、 手動テストの割合が増える傾向にあり、効率的に対処する必要がある 課題①：デリバリーアジリティの維持 23 ソフトウェアテスト活動による スピード低下を避けなければならない
25. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 大規模アジャイル開発においては、各チームの成果が統合されてはじめてプロダクトが完成するため、 分業状態にある各チームメンバーは、自分たちのプロダクトが最終的にどう動くのかがイメージしづらくなる ➢ 各開発チームメンバーが、自身らのプロダクトの価値追及をすることこそがアジャイル開発の肝のため、 メンバーらが定期的に完成したプロダクトに触れる仕組みが必要となる 課題②：プロダクト価値の追求 24 最終プロダクトは どう動くんだろう？
26. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 大規模アジャイル開発を加速させるために、以下の対応が必要 課題への対応 25 自動テスト実装・ 保守の効率化 手動テスト設計・ 管理の効率化 価値探索のための 活動の導入 ✓ プロダクトの規模に応じて 増え続ける自動化範囲 ✓ 同様に増え続ける保守工数 ✓ 求められる高い品質と説明性 ✓ デリバリーごとに発生する テスト設計や管理工数の増大 ✓ 体制に起因するプロダクト 理解度の低下 ✓ フィードバック頻度の減少 課題①：デリバリーアジリティの維持 課題②：プロダクト価値の追求
27. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 26 4. 大規模アジャイル開発を加速させるソフトウェアテストアプローチ
28. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ いずれの課題にも、すでに有効なアプローチが存在 大規模アジャイル開発を加速させるソフトウェアテストアプローチ 27 自動テスト実装・ 保守の効率化 手動テスト設計・ 管理の効率化 価値探索のための 活動の導入 課題①：デリバリーアジリティの維持 課題②：プロダクト価値の追求 AI支援を備える高度な 自動化ツールの活用 テスト技法適用・ テスト管理ツールの活用 チームによる 探索的テストの活用
29. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 現時点ではまだWebやモバイルの領域に限られるが、有償ツールを中心に高度なテスト自動化ツールの 活用事例が増えてきている ◼ テスト実装支援 ◆ GUIによる直感的な画面操作でのテストシナリオ実現が可能 ◆ プロダクト規模に応じてスケールしていくテスト自動化チームの実装スキルを補完 ◼ オートヒーリング ◆ プロダクトコードの内部仕様変更を検知し、さらにはテストシナリオを追随する形で変更可能 ◆ 既存テストシナリオのメンテナンス工数削減 アプローチ①：AI支援を備える高度な自動化ツールの活用 28
30. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 依然残る手動テストについては、従来開発と同様のアプローチでプロセスを効率化することが有用 ◼ テスト設計 ◆ テストケース作成の際に、しっかりとテスト（設計）技法を活用することで、仕様に対する網羅性を確保しつつ、 なるべく少ないテストケース数で効率的なテストを実現 ◆ 加えて、テストケースの導出過程がより明確になるため、品質に関する説明性も向上 ◼ テスト管理 ◆ テスト状況の透明性向上 ⚫ アジャイル開発において、アジリティ向上に必須な要素として透明性の確保が挙げられる ⚫ 手動テストについては、そのテスト進捗や、テスト結果からわかる品質状況の可視化が重要 ⚫ テスト管理ツールを活用することで、上記の可視化を、手間なくシンプルに実現可能 ◆ テスト（再）計画の加速 ⚫ 1つのフェーズ・工程内の再テスト計画の加速 ⚫ イテレーション間のテストケースの再利用によるテスト計画の加速 アプローチ②：テスト技法適用・テスト管理ツールの活用 29
31. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 アプローチ③：チームによる探索的テストの活用 30 ➢ 探索的テスト ◼ テスト対象を動作させながら、その場でテスト設計～実行～結果の分析を積み重ねて行っていく、 テスト対象との対話型のソフトウェアテストスタイル ➢ 市場フィードバックに加え、自身らが開発しているプロダクトを自身らで定期的に使い倒し、 さまざまな目線で気になる振る舞いをあぶりだすことで、プロダクト価値向上につなげられる ◼ スプリント（繰り返し開発の実施単位）期間に必ず1回はチームメンバーで集まって一斉に探索をする、 などのリズムを作ると良い ➢ アプローチの性質上、テスト結果が残しにくいため、実践するメンバー間で 軽量な統一様式を定めて、あとで持ち寄り・振り返りやすくすると、より効果的
32. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 31 5. ベリサーブが提供する支援ソリューション
33. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ テストプロセスの様々な工程を支援するプロダクトを開発・運用中 ベリサーブが提供する支援ソリューション 32 テ ス ト 計 画 テ ス ト 完 了 テ ス ト 分 析 テ ス ト 設 計 テ ス ト 実 行 テストのモニタリングとコントロール InsighTest テスト管理をシンプルに。快適、スケーラブルなテスト管理ツール “今すぐ使える”テスト技法ツール チームによる探索的テストを加速させるツール テ ス ト 実 装 Coming soon
34. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ テスト技法ツール GIHOZ 33
35. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 は、各種テスト技法を手軽に利用できるクラウド型ツールです。 アカウント登録のみで、すぐに利用が可能です。 GIHOZ 34 ソフトウェア開発に関わる全ての人の テスト設計の「作業」をゼロにします 手軽にテストケースを作成・利用 ✔ ✔ ✔ 目的に応じてテスト技法を選択 ソフトウェア開発の効率化に貢献 クラウド型 テスト技法 ツール
36. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 よく用いられる代表的な6つのテスト技法をワンストップで提供 35
37. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 使い勝手を追及したUX/UI 36
38. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ テスト管理ツール QualityForward 37
39. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 QualityForward は、リリースサイクルの高速化を支え、 プロジェクトの大規模複雑化にも対応可能な、テスト管理ツールです テスト・品質の可視化のための定常作業を自動化し、 エンジニアを煩雑な集計・管理作業から解放します 快適なパフォーマンスを、テストチームに ✔ ✔ ✔ ✔ さまざまな開発モデルに対応 素早く細かい分析レポート 「シームレスな連携とナレッジの集約・蓄積」でチームを１つに クラウド型 テスト管理 ツール 38
40. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 一目でプロジェクト状況を把握 テストの「今」を一目で把握 ⚫ テストケースの件数と消化率 ⚫ テスト結果の割合 ⚫ 当日の予定実施件数 ⚫ 期日に対し遅れているか、進んでいるか 成分バー 全体の進捗・品質状況を一目で把握 ⚫ テストケース消化の予測と実績 ⚫ バグのopen/closedの予測と実績 ⚫ 重要なスケジュールやイベント PB曲線グラフ 品質状況を一目で把握 ⚫ どんな機能・観点に向けたテストケースが どれぐらい存在しているか ⚫ そのテストがどれぐらい実行されているか ⚫ どれぐらいPassしたのか、Failしたのか カバレッジパネル ➢ テストプロジェクトの進捗・品質状況の細部から全体像まで分かるレポートを多数用意 ぴったり！ 結構遅れてる💦 39
41. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 積み上げグラフ 本日の実績消化数パイチャート テストブロッカー ステータス別パイチャート バグ優先度別パイチャート インシデント一覧 ➢ その他進捗・品質管理に有用なレポートも提供 一目でプロジェクト状況を把握 40
42. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 手軽なテスト資産再利用でテスト計画を効率化 ➢ キーワードやタグ、担当者をキーに 柔軟にテストケースを検索でき、 欲しい情報をすぐ特定可能 対象の優先度 対象のテスト結果 バージョン ステータス 担当者 タグ ロック機能 Pass Fail Skip Cut Block N/A Q&A A B C ➢ 実施済みのテストを元に、FAILになった項目や、 前回実施できなかった項目など、 テスト対象を絞り込んで再テスト可能 41
43. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 探索的テストツール InsighTest 42 Coming soon
44. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 InsighTest は、チームによる探索的テストの状況の可視化や、 テストを通して得られた知見の共有を支援します。 InsighTest 43 チームによる探索的テストのコラボレーションを効率化します 確認によるリスク低減から、気づきによるプロダクト価値向上へ ✔ ✔ 個人の気づきを、チームの気づきへ クラウド型 探索的テスト 支援ツール Coming soon
45. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ テスターの思考を邪魔しない、なるべくシンプルで心理障壁のない情報の記録の枠組みを提供 ◼ twitterのようなシンプルなインタフェース ◼ 3つの選択肢による判断の属性管理 ◆ 期待通り ◆ 期待に反する ◆ その他気づき ◼ クリップボードも直接貼り付け可能 シンプルでとっつきやすいテスト結果の記録 44
46. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 複数人によるテストの実施状況が一目でパっとわかるダッシュボードを提供 ◼ 全テスターのタイムライン ◆ いいね！機能も添えて ◼ テスト対象機能の割合と、 そのテスト成否状況の複合表現 複数人によるテスト状況を総合的に可視化 45
47. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 複数人によるテストの実施結果を持ち寄って共有・振り返りをする枠組みを提供 ◼ 各テスターによる判断に対する最終意思決定 ◆ 期待通り or 期待に反する ⚫ 正式に不具合とするか？ ⚫ 問題ない不具合とするか？ ⚫ 保留か？ ⚫ 他との重複か？ ◆ その他気づき ⚫ 正式に不具合とするか？ ⚫ 共有のみとするか？ ビルトインで振り返り・チーム内知見共有をサポート 46
48. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 47 6. おわりに
49. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 聴講いただいている皆さまに、以下についてお持ち帰りいただけば幸いです ◼大規模アジャイル開発の特徴 ◼その特徴ゆえに生じるソフトウェアテストに関する課題 ◼これら課題の解決アプローチ まとめ：本講演のゴール 48
50. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 まとめ：アジャイル開発 49 VUCAの時代において ITビジネスリスクを低減させる システム開発のスタイル
51. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 2つのパターンのニーズと実践のためのフレームワーク まとめ：大規模アジャイル開発 50 通常のアジャイルチームで小さく始めたものが ビジネスの成長とともに少しずつ大きくなるパターン 最初から大規模プロダクトを開発する前提で 従来の開発よりデリバリースピードを上げる工夫をするパターン LeSS SAFe
52. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 大規模アジャイル開発を加速させるために、ソフトウェアテスト活動が達成すべき課題とそのためのアプローチ まとめ：大規模アジャイル開発を加速させるソフトウェアテストアプローチ 51 自動テスト実装・ 保守の効率化 手動テスト設計・ 管理の効率化 価値探索のための 活動の導入 課題①：デリバリーアジリティの維持 課題②：プロダクト価値の追求 AI支援を備える高度な 自動化ツールの活用 テスト技法適用・ テスト管理ツールの活用 チームによる 探索的テストの活用
53. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ テストプロセスの様々な工程を支援するプロダクトを開発・運用中 まとめ：ベリサーブが提供する支援ソリューション 52 テ ス ト 計 画 テ ス ト 完 了 テ ス ト 分 析 テ ス ト 設 計 テ ス ト 実 行 テストのモニタリングとコントロール InsighTest テスト管理をシンプルに。快適、スケーラブルなテスト管理ツール “今すぐ使える”テスト技法ツール チームによる探索的テストを加速させるツール テ ス ト 実 装 Coming soon 新ツール
54. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ Connpassの当社グループにてツール紹介・ハンズオンセミナーを定期的に開催中 ◼ https://veriserve-event.connpass.com/ 各ソリューションの詳細について 53 月イチの、GIHOZを使ったテスト技法勉強会 月イチの、QualityForward紹介イベント その他さまざまな技術テーマでイベント開催中
55. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。