10Xにおける品質保証活動の全体像と改善 / Quality Assurance Big Picture

『脱・テスト待ち』 〜"速さ"と"品質"を両立させる、組織とプロセスの再設計〜での登壇資料です。

【発表資料中のURL】
◆P4
・B-Testing
・B-Testing.fm(Podcast)

◆P11
・QAという単語についての私のツイート

◆P21
・NIST（アメリカ国立標準技術研究所）の論文「 The Economic Impacts of Inadequate Infrastructure for Software Testing」

◆P32
・ISTQBテスト技術者資格制度Foundation Level シラバス 日本語版 Version 2023V4.0.J02

Transcript

1. 10X, Inc. ALL RIGHTS RESERVED 品質保証活動の全体像 〜目指すべき品質保証活動の形〜
2. 10X, Inc. ALL RIGHTS RESERVED 目次 2 1. はじめに 2. 品質保証（QA）活動とは何か 3. 10Xの品質保証活動を洗い出す 4. 品質保証活動をする上での以前までの課題 5. より良い品質保証活動をするための第一歩 6. おわりに
3. 10X, Inc. ALL RIGHTS RESERVED 3 はじめに
4. 10X, Inc. ALL RIGHTS RESERVED 自己紹介 • 風間裕也（ブロッコリー） • 株式会社10X 品質管理チーム • 副業：B-Testing（個人事業主）として ◦ 株式会社MonotaRO （テストコンサルタント） 他数社でお手伝い • 社外活動 ◦ JaSST Review（ソフトウェアレビューシンポジウム）実行委員長 ◦ WACATE（テストの合宿型ワークショップ形式勉強会）実行委員長 ◦ SReEE（ソフトウェアレビューをエンジニアリングっぽく捉える会）リーダー ◦ 『Agile Testing Condensed』『The BDD Booksシリーズ』翻訳 ◦ Podcast始めました（B-Testing.fm） 4 はじめに SNS上の アイコン Whisk で作成
5. 10X, Inc. ALL RIGHTS RESERVED • ネットスーパーの運営に必要なすべての機能を提供してい る、国内トップクラスのネットスーパープラットフォーム • 様々な業態・規模・地域のネットスーパー事業を支えてい ます 5 Stailer ネットスーパー概要 ※2025/06/16時点でレビュー件数が100件以上、複数のアプリを提供している場合はレビュー数の加重平均で比較 導入企業
6. 10X, Inc. ALL RIGHTS RESERVED お客様向けネットスーパーアプリのほか、 ネットスーパー事業を支える業務用アプリケーションも提供しています 6 Stailer ネットスーパー 小売事業者向けアプリ ミスが少なく効率的な業務オペレーションを実現 配達スタッフ向けアプリ スタッフ用アプリと完全連動し、効率的なルーティングを実施
7. 10X, Inc. ALL RIGHTS RESERVED ドメインごとにアプリケーションを開発するチームと、 横断的に業務を行うチームの2種類があります 7 チーム体制 Cool Experience チーム データ基盤 チーム 4名 店舗チーム 売場チーム 品質管理チーム 5名 デザインチーム 2名 AI発注チーム SREチーム 3名 セキュリティ チーム 3名 お取引チーム PdM & CS 4名 プロダクトやドメインへ横断的に関わるチームは、適宜連携が必要なチームと組んで業務に取り組みます 各チーム3〜5名
8. 10X, Inc. ALL RIGHTS RESERVED 8 品質保証（QA）活動とは何か
9. 10X, Inc. ALL RIGHTS RESERVED 9 はじめに〜品質保証活動とは何か〜 【質問】次のうち、品質保証(Quality Assurance, QA)活動はどれ？ • テスト実施 • テスト準備（テストするパターンの洗い出し） • レビュー • 画面設計(Figmaなど) • ロジック設計(Design Docなど) • ユーザーストーリー • 要件定義 • 要求定義
10. 10X, Inc. ALL RIGHTS RESERVED 10 はじめに〜品質保証活動とは何か〜 【答え】全て、品質保証(Quality Assurance, QA)活動です！ • テスト実施 • テスト準備（テストするパターンの洗い出し） • レビュー • 画面設計(Figmaなど) • ロジック設計(Design Docなど) • ユーザーストーリー • 要件定義 • 要求定義 品質を向上させるために行う活動全てが品質保証活動です。 「品質保証活動(QA)＝テスト」ではありません！
11. 10X, Inc. ALL RIGHTS RESERVED 11 はじめに〜品質保証活動とは何か〜 「QA」という言葉が一人歩きしてしまうと… https://x.com/nihonbuson/status/1767058416567189846
12. 10X, Inc. ALL RIGHTS RESERVED 12 はじめに〜品質保証活動とは何か〜 「QA」という言葉が一人歩きしてしまうと… 解説 QA時（開発終了後）にQA（評価環境）で QA（QAエンジニア）がQA（テスト）する https://x.com/nihonbuson/status/1767058416567189846
13. 10X, Inc. ALL RIGHTS RESERVED 13 10Xの品質保証活動を洗い出す
14. 10X, Inc. ALL RIGHTS RESERVED 14 10Xの品質保証活動を洗い出す 10Xの品質保証活動を洗い出す 10Xでは、リリースまでに様々な開発プロセスを踏んでいます。 その中で、品質保証活動も行っています。 今回は10Xの品質保証活動を、Vモデルの図の形で洗い出してみます。
15. 10X, Inc. ALL RIGHTS RESERVED Vモデルとは？ 設計・実装工程で作り込まれた ソフトウェアの欠陥が、 相対するテスト工程で 検出する前提で作られたモデル 右側のテスト工程の区分けを テストレベルと呼ぶ Agile開発においても適用可能 15 10Xの品質保証活動を洗い出す
16. 10X, Inc. ALL RIGHTS RESERVED 10XにVモデルを当てはめる 16 10Xの品質保証活動を洗い出す
17. 10X, Inc. ALL RIGHTS RESERVED Vモデルの各活動の具体的な内容と担当者を書き出す(※以前までの活動) 17 10Xの品質保証活動を洗い出す
18. 10X, Inc. ALL RIGHTS RESERVED 18 品質保証活動をする上での 以前までの課題
19. 10X, Inc. ALL RIGHTS RESERVED 以前までの課題 19 品質保証活動をする上での以前までの課題 課題2 テストすべき観点やパターンを 洗い出しきれずにテストコードを書いている 課題1 Design Doc時点で テストや品質観点についての議論が少ない
20. 10X, Inc. ALL RIGHTS RESERVED 以前までの課題 20 品質保証活動をする上での以前までの課題 課題3 前工程で発見できなかった内容の皺寄せが すべてVモデル右上のテスト工程にきている ロジック設計時点で 気付けなかった漏れ ユニットテストで 洗い出せなかった テスト内容
21. 10X, Inc. ALL RIGHTS RESERVED 一般論として、後工程になるほど、工数はかさむ 21 品質保証活動をする上での以前までの課題 ※ NIST（アメリカ国立標準技術研究所）の論文「 The Economic Impacts of Inadequate Infrastructure for Software Testing」 　の表5-1をもとに作成。
22. 10X, Inc. ALL RIGHTS RESERVED 以前までの課題まとめ • 課題1：Design Doc時点で、テストや品質観点についての議論が少ない • 課題2：テストすべき観点やパターンを洗い出しきれずにテストコードを書いている • 課題3：前工程で発見できなかった内容の皺寄せがすべて 　　　 Vモデル右上のテスト工程にきている 品質管理チームが課題1や課題2を解決するための動きをできていなかったのが原因の一つ。 一方で、課題1や課題2の解決に向かおうにも課題3に追われて工数確保ができなかった。 （木こりのジレンマ状態） 22 品質保証活動をする上での以前までの課題
23. 10X, Inc. ALL RIGHTS RESERVED 23 より良い品質保証活動を するための第一歩
24. 10X, Inc. ALL RIGHTS RESERVED 第一歩の進め方 課題へのアプローチを少しずつ始めていった。 全ての案件で強制的に行うのではなく、 入った方が良い部分（特に複雑度の高い部分）から少しずつ入っていき浸透させる 24 より良い品質保証活動をするための第一歩
25. 10X, Inc. ALL RIGHTS RESERVED 課題の解消をするために 25 より良い品質保証活動をするための第一歩 試み3 テスト活動の一部を 開発者が行う 試み1 Design Docの一部で 品管メンバーによる レビューを行う 試み2 ユニットテストでも品管メンバーが一緒に テストパターンの洗い出しを行う
26. 10X, Inc. ALL RIGHTS RESERVED 試み1：Design Docの一部で品管メンバーによるレビューを行う • Design Docをレビューする際に、他の開発メンバーだけでなく、 品質管理メンバーもレビューを行う • レビューの中で行いたいわけではないこと ◦ 指摘をしたい ◦ フェーズゲート的な動きをしたい • レビューの中で行いたいこと ◦ 中に書いてある内容で理解できない部分の質問 ◦ 「Design Docの内容を元にテストをするなら…」という想定の元で、 テストの内容について相談 ▪ 結果的に、Design Docの「テスト設計」の項目の更新にも繋がる 26 より良い品質保証活動をするための第一歩
27. 10X, Inc. ALL RIGHTS RESERVED 試み1：Design Docの一部で品管メンバーによるレビューを行う • 事例: より安全なリリース計画の提案 27 より良い品質保証活動をするための第一歩
28. 10X, Inc. ALL RIGHTS RESERVED • Unit Testを書く際に、開発者と品質管理メンバーが協力して どんなパターンのテストを行うべきかについて話し合う • 開発者は「何をテストすれば良いのか」「どんなパターンがあるのか」を 品質管理メンバーに説明する • 品質管理メンバーはテストコードを見たり、開発者の説明を聞いた上で、 どのようなテストを行うか理解できるかどうか確認する 試み2：Unit Testで品管メンバーが一緒にテストパターンの洗い出しを行う 28 より良い品質保証活動をするための第一歩
29. 10X, Inc. ALL RIGHTS RESERVED 試み2：Unit Testで品管メンバーが一緒にテストパターンの洗い出しを行う • 事例①: Design Doc中に記載の Unit Testの方針に 不足していた観点を追加 29 より良い品質保証活動をするための第一歩
30. 10X, Inc. ALL RIGHTS RESERVED • 事例②: ◦ テストの意図が分かりやすいようなテストパターンを作成 試み2：Unit Testで品管メンバーが一緒にテストパターンの洗い出しを行う 30 より良い品質保証活動をするための第一歩
31. 10X, Inc. ALL RIGHTS RESERVED 試み3：テスト活動の一部を開発者が行う • 開発者に、ロジック設計部分のテスト実施を行ってもらう • 予め品質管理メンバーがテストするパターンについて洗い出す 31 より良い品質保証活動をするための第一歩
32. 10X, Inc. ALL RIGHTS RESERVED テストプロセスとは 32 より良い品質保証活動をするための第一歩 テスト 分析 テスト 設計 テスト 実装 テスト 実行 何をテスト するか それをどう テストするか テストの実行に 必要なものすべて を準備したか テストスイート を実行する 手動テストならテスト手順書作成 自動テストならテストスクリプト作成 テスト設計技法の適用 参考：ISTQBテスト技術者資格制度 Foundation Level シラバス 日本語版 Version 2023V4.0.J02
33. 10X, Inc. ALL RIGHTS RESERVED 試み3：開発者にテスト活動の一部をお願いする • 事例:注文のパターン作成 33 より良い品質保証活動をするための第一歩
34. 10X, Inc. ALL RIGHTS RESERVED 試み3：開発者にテスト活動の一部をお願いする • 事例:注文のパターン作成 34 より良い品質保証活動をするための第一歩
35. 10X, Inc. ALL RIGHTS RESERVED これらの課題が少しずつ改善しています 35 より良い品質保証活動をするための第一歩 課題3 前工程で発見できなかった内容の皺寄せが すべてVモデル右上のテスト工程にきている ロジック設計時点で 気付けなかった漏れ ユニットテストで 洗い出せなかった テスト内容
36. 10X, Inc. ALL RIGHTS RESERVED 36 おわりに
37. 10X, Inc. ALL RIGHTS RESERVED 37 おわりに まとめ • 品質保証活動はテストだけではない • 新たな品質保証活動の取り組みをいくつか行っている ◦ 試み1：品管メンバーによるDesign Docのレビュー ◦ 試み2：品管メンバーによるユニットテストでのテストパターンの洗い出し ◦ 試み3：開発者による画面設計やロジック設計に対するテスト実施
38. 10X, Inc. ALL RIGHTS RESERVED テストプロセスも含めた品質保証活動の全体像（再掲） 38 おわりに