Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

大規模アジャイル時代の品質確保 #veri_techplay

大規模アジャイル時代の品質確保 #veri_techplay

TECH PLAYさま共催のイベントでの発表資料です
https://techplay.jp/event/860211

Kinji AKEMINE

July 26, 2022
Tweet

More Decks by Kinji AKEMINE

Other Decks in Technology

Transcript

  1. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 約40年にわたりソフトウェア検証で品質向上に貢献 ◼ 仕様などの要求事項が満たされているかを評価する Verification

    と、機能や性能が本来意図された用途や 目的に合っているかを評価する Validation 当社の社名にはこの 2つのV を提供する(Service)という想いが込められています 株式会社ベリサーブ 本社 東京都千代田区神田三崎町3-1-16 神保町北東急ビル 9階 西日本支社 大阪府大阪市中央区北浜1-8-16 大阪証券取引所ビル 19階 中部支社 愛知県名古屋市東区泉2-27-14 関電不動産高岳ビル 13階 沖縄テストセンター 沖縄県うるま市字州崎14-1 沖縄IT津梁パーク 情報通信機器検証拠点施設 宇都宮テクニカルセンター 栃木県宇都宮市宿郷2-7-3 IRビル宿郷 5階 広島テクニカルセンター 広島県広島市南区荒神町1-2 日宝荒神町ビル 2階 刈谷テクニカルセンター 愛知県刈谷市桜町1-24 JS刈谷駅ビル 2階 西新宿テクニカルセンター 東京都新宿区西新宿6-24-1 西新宿三井ビル 14階 社 名 株式会社ベリサーブ (VeriServe Corporation) 設 立 2001年7月24日 代 表 者 代表取締役社長 新堀 義之 従業員数 1,452名(2022年3月末時点 連結) 資 本 金 792百万円(2022年3月末時点) 事業内容 1. 製品検証サービス 2. セキュリティ検証サービス 3. その他サービス 子 会 社 株式会社ベリサーブ沖縄テストセンター AIQVE ONE株式会社 拠 点 右記参照 1
  2. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 2021年4月に株式会社ベリサーブ入社 ◼ 研究企画開発部 サービス開発課

    課長 / プロダクトマネージャー ◆ ベリサーブ内製のテスト支援プロダクト群の全体統制と普及展開に従事 ➢ 前職は大手SIerにて、全社横断技術部門にて技術開発や商用案件適用支援などに従事 ◼ 2009年~2013年:ソフトウェアテスト技術を中心に ◼ 2013年~2020年:アジャイル開発関連技術を中心に 自己紹介 2 朱峰 錦司(あけみね きんじ)
  3. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ ソフトウェアテスト技術関連の社外活動にも継続的に従事 自己紹介 3 2013年~2019年

    2016年~2017年 2021年~ WACATE 実行委員 ICST 2017 運営委員 JaSST nano お世話係 出典: https://wacate.jp/ 出典: http://aster.or.jp/conference/icst2017/ 出典: https://jasst-nano.connpass.com/
  4. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 1. アジャイル開発 2. 大規模アジャイル開発 3.

    大規模アジャイル開発におけるソフトウェアテストの課題 4. 大規模アジャイル開発を加速させるソフトウェアテストアプローチ 5. ベリサーブが提供する支援ソリューション 6. おわりに 本日のアジェンダ 6 大半は、小規模開発でも共通する話
  5. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ アジャイルなビジネス・開発を実践するためのさまざまな方法論・フレームワークが存在 アジャイル開発の実践方法 15 リーン

    スタートアップ スクラム エクストリーム プログラミング 出典: https://www.scrum.org/resources/scrum-framework-poster 出典: https://en.wikipedia.org/wiki/Extreme_programming 出典: https://rihoublog.com/2018/09/22/understanding-lean-startup-in-5-mins/
  6. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 近年、大規模アジャイル開発の実践が増えている ◼ digital.ai社によるアジャイル開発に関する調査「State of

    Agile」の2021年版では、アジャイル実践企業の 73%が、なにかしらの形で、2チーム以上のアジャイル開発チームが協業していると報告されている ◼ 規模感は2チーム(約15名)~全社レベル(約1000名)までさまざまな形で取り組まれている アジャイル開発の大規模化 17 出典: 15th State of Agile Annual Report
  7. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 大規模アジャイル開発の実践には2つのパターンがある アジャイル開発の大規模化のニーズ 18 通常のアジャイルチームで小さく始めたものが

    ビジネスの成長とともに少しずつ大きくなるパターン 最初から大規模プロダクトを開発する前提で 従来の開発よりデリバリースピードを上げる工夫をするパターン 出典: https://www.scrum.org/resources/scrum-framework-poster
  8. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 特に、最初から大規模型のアジャイル開発については、技術進化によって後押しされている ◼ サーバーシステム領域 ◆

    マイクロサービスアーキテクチャの実践と成熟 ◆ Kubernetesや類似サービスによる軽量コンテナベースのシステム運用 アジャイル開発の大規模化を支える技術 19 出典: https://www.commerce21.co.jp/microservices/
  9. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 特に、最初から大規模型のアジャイル開発については、技術進化によって後押しされている ◼ 組み込み領域 ◆

    OTA / FOTAによる販売後のシステムアップデートの実現 ◆ 組み込みシステムのテスト自動化の実践と成熟 アジャイル開発の大規模化を支える技術 20 出典: https://www.omochaya3.com/自動車の無線更新市場の成長する生産、需要、主/
  10. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ さまざまな方法論やフレームワークが存在 大規模アジャイル開発の実践方法 21 LeSS

    出典: https://less.works/ SAFe 出典: https://www.scaledagileframework.com/ フラットな組織体系をなるべく維持 最低限の階層組織を導入 経営の巻き込み
  11. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 大規模アジャイル開発を加速させるために、以下の対応が必要 課題への対応 25 自動テスト実装・

    保守の効率化 手動テスト設計・ 管理の効率化 価値探索のための 活動の導入 ✓ プロダクトの規模に応じて 増え続ける自動化範囲 ✓ 同様に増え続ける保守工数 ✓ 求められる高い品質と説明性 ✓ デリバリーごとに発生する テスト設計や管理工数の増大 ✓ 体制に起因するプロダクト 理解度の低下 ✓ フィードバック頻度の減少 課題①:デリバリーアジリティの維持 課題②:プロダクト価値の追求
  12. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ いずれの課題にも、すでに有効なアプローチが存在 大規模アジャイル開発を加速させるソフトウェアテストアプローチ 27 自動テスト実装・

    保守の効率化 手動テスト設計・ 管理の効率化 価値探索のための 活動の導入 課題①:デリバリーアジリティの維持 課題②:プロダクト価値の追求 AI支援を備える高度な 自動化ツールの活用 テスト技法適用・ テスト管理ツールの活用 チームによる 探索的テストの活用
  13. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 現時点ではまだWebやモバイルの領域に限られるが、有償ツールを中心に高度なテスト自動化ツールの 活用事例が増えてきている ◼ テスト実装支援

    ◆ GUIによる直感的な画面操作でのテストシナリオ実現が可能 ◆ プロダクト規模に応じてスケールしていくテスト自動化チームの実装スキルを補完 ◼ オートヒーリング ◆ プロダクトコードの内部仕様変更を検知し、さらにはテストシナリオを追随する形で変更可能 ◆ 既存テストシナリオのメンテナンス工数削減 アプローチ①:AI支援を備える高度な自動化ツールの活用 28
  14. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 依然残る手動テストについては、従来開発と同様のアプローチでプロセスを効率化することが有用 ◼ テスト設計 ◆

    テストケース作成の際に、しっかりとテスト(設計)技法を活用することで、仕様に対する網羅性を確保しつつ、 なるべく少ないテストケース数で効率的なテストを実現 ◆ 加えて、テストケースの導出過程がより明確になるため、品質に関する説明性も向上 ◼ テスト管理 ◆ テスト状況の透明性向上 ⚫ アジャイル開発において、アジリティ向上に必須な要素として透明性の確保が挙げられる ⚫ 手動テストについては、そのテスト進捗や、テスト結果からわかる品質状況の可視化が重要 ⚫ テスト管理ツールを活用することで、上記の可視化を、手間なくシンプルに実現可能 ◆ テスト(再)計画の加速 ⚫ 1つのフェーズ・工程内の再テスト計画の加速 ⚫ イテレーション間のテストケースの再利用によるテスト計画の加速 アプローチ②:テスト技法適用・テスト管理ツールの活用 29
  15. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 アプローチ③:チームによる探索的テストの活用 30 ➢ 探索的テスト ◼

    テスト対象を動作させながら、その場でテスト設計~実行~結果の分析を積み重ねて行っていく、 テスト対象との対話型のソフトウェアテストスタイル ➢ 市場フィードバックに加え、自身らが開発しているプロダクトを自身らで定期的に使い倒し、 さまざまな目線で気になる振る舞いをあぶりだすことで、プロダクト価値向上につなげられる ◼ スプリント(繰り返し開発の実施単位)期間に必ず1回はチームメンバーで集まって一斉に探索をする、 などのリズムを作ると良い ➢ アプローチの性質上、テスト結果が残しにくいため、実践するメンバー間で 軽量な統一様式を定めて、あとで持ち寄り・振り返りやすくすると、より効果的
  16. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ テストプロセスの様々な工程を支援するプロダクトを開発・運用中 ベリサーブが提供する支援ソリューション 32 テ

    ス ト 計 画 テ ス ト 完 了 テ ス ト 分 析 テ ス ト 設 計 テ ス ト 実 行 テストのモニタリングとコントロール InsighTest テスト管理をシンプルに。快適、スケーラブルなテスト管理ツール “今すぐ使える”テスト技法ツール チームによる探索的テストを加速させるツール テ ス ト 実 装 Coming soon
  17. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 は、各種テスト技法を手軽に利用できるクラウド型ツールです。 アカウント登録のみで、すぐに利用が可能です。 GIHOZ 34 ソフトウェア開発に関わる全ての人の

    テスト設計の「作業」をゼロにします 手軽にテストケースを作成・利用 ✔ ✔ ✔ 目的に応じてテスト技法を選択 ソフトウェア開発の効率化に貢献 クラウド型 テスト技法 ツール
  18. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 QualityForward は、リリースサイクルの高速化を支え、 プロジェクトの大規模複雑化にも対応可能な、テスト管理ツールです テスト・品質の可視化のための定常作業を自動化し、 エンジニアを煩雑な集計・管理作業から解放します

    快適なパフォーマンスを、テストチームに ✔ ✔ ✔ ✔ さまざまな開発モデルに対応 素早く細かい分析レポート 「シームレスな連携とナレッジの集約・蓄積」でチームを1つに クラウド型 テスト管理 ツール 38
  19. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 一目でプロジェクト状況を把握 テストの「今」を一目で把握 ⚫ テストケースの件数と消化率 ⚫

    テスト結果の割合 ⚫ 当日の予定実施件数 ⚫ 期日に対し遅れているか、進んでいるか 成分バー 全体の進捗・品質状況を一目で把握 ⚫ テストケース消化の予測と実績 ⚫ バグのopen/closedの予測と実績 ⚫ 重要なスケジュールやイベント PB曲線グラフ 品質状況を一目で把握 ⚫ どんな機能・観点に向けたテストケースが どれぐらい存在しているか ⚫ そのテストがどれぐらい実行されているか ⚫ どれぐらいPassしたのか、Failしたのか カバレッジパネル ➢ テストプロジェクトの進捗・品質状況の細部から全体像まで分かるレポートを多数用意 ぴったり! 結構遅れてる💦 39
  20. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 手軽なテスト資産再利用でテスト計画を効率化 ➢ キーワードやタグ、担当者をキーに 柔軟にテストケースを検索でき、 欲しい情報をすぐ特定可能

    対象の優先度 対象のテスト結果 バージョン ステータス 担当者 タグ ロック機能 Pass Fail Skip Cut Block N/A Q&A A B C ➢ 実施済みのテストを元に、FAILになった項目や、 前回実施できなかった項目など、 テスト対象を絞り込んで再テスト可能 41
  21. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 InsighTest は、チームによる探索的テストの状況の可視化や、 テストを通して得られた知見の共有を支援します。 InsighTest 43

    チームによる探索的テストのコラボレーションを効率化します 確認によるリスク低減から、気づきによるプロダクト価値向上へ ✔ ✔ 個人の気づきを、チームの気づきへ クラウド型 探索的テスト 支援ツール Coming soon
  22. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ テスターの思考を邪魔しない、なるべくシンプルで心理障壁のない情報の記録の枠組みを提供 ◼ twitterのようなシンプルなインタフェース ◼

    3つの選択肢による判断の属性管理 ◆ 期待通り ◆ 期待に反する ◆ その他気づき ◼ クリップボードも直接貼り付け可能 シンプルでとっつきやすいテスト結果の記録 44
  23. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 複数人によるテストの実施結果を持ち寄って共有・振り返りをする枠組みを提供 ◼ 各テスターによる判断に対する最終意思決定 ◆

    期待通り or 期待に反する ⚫ 正式に不具合とするか? ⚫ 問題ない不具合とするか? ⚫ 保留か? ⚫ 他との重複か? ◆ その他気づき ⚫ 正式に不具合とするか? ⚫ 共有のみとするか? ビルトインで振り返り・チーム内知見共有をサポート 46
  24. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 2つのパターンのニーズと実践のためのフレームワーク まとめ:大規模アジャイル開発 50 通常のアジャイルチームで小さく始めたものが

    ビジネスの成長とともに少しずつ大きくなるパターン 最初から大規模プロダクトを開発する前提で 従来の開発よりデリバリースピードを上げる工夫をするパターン LeSS SAFe
  25. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ 大規模アジャイル開発を加速させるために、ソフトウェアテスト活動が達成すべき課題とそのためのアプローチ まとめ:大規模アジャイル開発を加速させるソフトウェアテストアプローチ 51 自動テスト実装・

    保守の効率化 手動テスト設計・ 管理の効率化 価値探索のための 活動の導入 課題①:デリバリーアジリティの維持 課題②:プロダクト価値の追求 AI支援を備える高度な 自動化ツールの活用 テスト技法適用・ テスト管理ツールの活用 チームによる 探索的テストの活用
  26. © 2022 VeriServe Corporation 会社名・製品名・サービス名は、各社の登録商標または商標です。 ➢ テストプロセスの様々な工程を支援するプロダクトを開発・運用中 まとめ:ベリサーブが提供する支援ソリューション 52 テ

    ス ト 計 画 テ ス ト 完 了 テ ス ト 分 析 テ ス ト 設 計 テ ス ト 実 行 テストのモニタリングとコントロール InsighTest テスト管理をシンプルに。快適、スケーラブルなテスト管理ツール “今すぐ使える”テスト技法ツール チームによる探索的テストを加速させるツール テ ス ト 実 装 Coming soon 新ツール