QAエンジニアが伝えたい品質保証の羅針盤 / Compass for Quality Assurance

2024年5月9日に開催された「【Waveleap主催】QAエンジニアが伝えたい品質保証の羅針盤」で登壇した発表資料です。
https://sister.connpass.com/event/316733/

【イベント概要】
近年プロダクト開発において、品質保証の役割は大きく変化しています。
品質保証は、単に不具合を見つけることではなく、カスタマーにとってより良い価値や体験を提供するための活動です。
また、早い開発・リリースサイクルの中で、チームで目指すべき品質ゴールを共有しながら進めることが重要であり、求められるようになりました。

みなさんは、顧客のサービス要求に応えたプロダクト品質や価値の提供を、チーム全体で目指せていますか？

この勉強会では、QAエンジニアリングマネージャーのmiisanが プロダクトのクオリティを上げる方法やチーム全体で品質保証に取り組む"チームごと化”のコツ について解説します。
本イベントを通じて、QAエンジニア、開発者、PdM、PMのみなさんが、より良いプロダクト開発の実現に向けた"品質保証の在り方”について一緒に考えていくことを目指しています。

品質保証には終わりがなく、正解はありません。
ぜひこのイベントを通して、皆さんと一緒に”良い品質”ってなんだろう？ということを考え、それぞれのサービスの品質保証の在り方を考えるきっかけにしましょう！

Transcript

1. QAエンジニアが伝えたい 品質保証の羅針盤 品質もスピードもあきらめないプロダクト開発ってなに？ miisan (@mii________san) 2024/5/9
2. AGENDA
 © 2023 Reiwa Travel, Inc.
 2
 1. ⾃⼰紹介 2. 品質保証とは？ 3. プロダクト品質について 4. アジャイルテスティングについて 5. まとめ 6. 番外編：私のこれからのキャリアテーマ
3. © 2023 Reiwa Travel, Inc.
 ⾃⼰紹介
4. © 2023 Reiwa Travel, Inc.
 ⾃⼰紹介 4
 Background 新卒：ERPパッケージの開発‧QA業務などを担当。 2社⽬：メルペイのコアローンチ前にQA Engineerとして 参画。Lead QA Engineerを経て、QA EMとしてサービス 全体の品質向上、QA組織作りをリードする。 3社⽬：令和トラベルで1⼈⽬QA Engineerとして、QA組 織の⽴ち上げや『NEWT』の品質⽂化を推進。DevRev、 QA/WebチームのEMなどを兼務し、現在は開発イネーブ リングUnit⻑として、開発組織全体をリードする。 Other スタートアップ企業のQA⽀援や⼥性エンジニアの推進活 動に取り組む。(参考) 趣味は、旅⾏とダイビング🤿 最近、⼼理カウンセラーの資格を取得しました✍ QA Group/ Web Group EM 開発イネーブリングUnit⻑ miisan
5. © 2023 Reiwa Travel, Inc.
 ⾃⼰紹介 • スタートアップ企業のEngineering Manager ◦ QA GroupとFrontend Groupのマネージャーを兼務 ◦ 専⾨領域と⾮専⾨領域のマネジメントを並⾏で⾏い、チームの成果最⼤化を⽬指す • 1⼈⽬QA EngineerとしてQA Groupの⽴ち上げ ◦ 品質⽂化のないところにQAチームを創設し、⽂化や仲間を集める ◦ ゼロイチの挑戦と拡張 • エンジニアリング広報‧DevRelの⽴ち上げ ◦ エンジニアブログ‧イベントの主催、企画 • 開発イネーブリングUnitの創設とUnit⻑ ◦ 組織スケールをみすえたプロダクト開発の進化に向け、プロダクト開発組織‧体制の  構築と推進 ◦ 組織マネジメントやチームビルディングの強化など、エンジニア組織のカルチャー作り 5
 直近のおしごと
6. © 2023 Reiwa Travel, Inc.
 ⾃⼰紹介 • スタートアップ企業のEngineering Manager ◦ QA GroupとFrontend Groupのマネージャーを兼務 ◦ 専⾨領域と⾮専⾨領域のマネジメントを並⾏で⾏い、チームの成果最⼤化を⽬指す • 1⼈⽬QA EngineerとしてQA Groupの⽴ち上げ ◦ 品質⽂化のないところにQAチームを創設し、⽂化や仲間を集める ◦ ゼロイチの挑戦と拡張 • エンジニアリング広報‧DevRelの⽴ち上げ ◦ エンジニアブログ‧イベントの主催、企画 • 開発イネーブリングUnitの創設とUnit⻑ ◦ 組織スケールをみすえたプロダクト開発の進化に向け、プロダクト開発組織‧体制の  構築と推進 ◦ 組織マネジメントやチームビルディングの強化など、エンジニア組織のカルチャー作り 6
 直近のおしごと “QAエンジニア” として、エンジニア組織・プロダクト全体に関わってきました！
7. © 2023 Reiwa Travel, Inc.
 Today’s Goal 7
 自身が携わっているサービスの 目指したい品質状態について言語化できる！
8. © 2023 Reiwa Travel, Inc.
 Today’s theme 8
 品質保証の羅針盤
9. © 2023 Reiwa Travel, Inc.
 9
 羅針盤を⾒つけると‧‧‧ ある地点から遠く離れた他の地点への⽅位を知り 羅針盤を頼りに⼤洋を航海できる🚢
10. © 2023 Reiwa Travel, Inc.
 品質保証とは？
11. © 2023 Reiwa Travel, Inc.
 品質保証とは？ 11
 私たちは良いプロダクトを 作っています！ 課題解決や社会貢献できる サービスを作っています！
12. © 2023 Reiwa Travel, Inc.
 品質保証とは？ 12
 私たちは良いプロダクトを 作っています！ 課題解決や社会貢献できる サービスを作っています！ 良いもの = 品質がよい => 品質保証
13. © 2023 Reiwa Travel, Inc.
 品質保証とは？ 13
 “品質” 保証
14. © 2023 Reiwa Travel, Inc.
 品質保証とは？ • 不具合などの⽋陥、エラーがないこと • 本来備わっている特性の集まりが、要件事項を満たしている状態 • 信頼性が⾼い状態 • 顧客からのニーズにマッチしていること ‧‧‧ 14
 “品質” 保証
15. © 2023 Reiwa Travel, Inc.
 品質保証とは？ • 不具合などの⽋陥、エラーがないこと • 本来備わっている特性の集まりが、要件事項を満たしている状態 • 信頼性が⾼い状態 • 顧客からのニーズにマッチしていること ‧‧‧ 15
 “品質” 保証 これらを満たしていれば品質を保証したと言える？
16. © 2023 Reiwa Travel, Inc.
 品質保証とは？ • 「品質が良い」とは、仕様通りに動くことや不具合がないサービスのことをさすわけではない • 品質とは、誰かにとっての価値のこと (by G.M.Weinberg) • 不具合を⾒つけることではなく、カスタマーにとってより良い価値を提供するための活動 16
 “品質” 保証
17. © 2023 Reiwa Travel, Inc.
 品質保証とは？ 17
 品質保証を考える上でのポイント “品質”は抽象度の高い概念であるため、品質の定義や解釈を揃えることで、 チーム全員が自走した形でプロダクト開発に向き合える！ • 「品質保証をする」が何かは、会社やプロダクト、サービスの特性によって変わる ◦ エンタメサービスと⾦融サービスで同じ品質基準になることが適切なのか？ • 「私たちは良いプロダクトを作っています！」の “良いプロダクト”‧”良い品質”について、 チームで同じ解釈で語れるか？ ◦ 異なる解釈を持って進むと、バラバラのゴールに辿り着いてしまう • 「カスタマーにとっての価値を作る」とは⼀体何か？ ◦ 価値の解釈が異なると、優先順位に齟齬がでる
18. © 2023 Reiwa Travel, Inc.
 難問 18
 良いものを作るには時間がかかる
19. © 2023 Reiwa Travel, Inc.
 My answer 19
 良いものを作る “から” はやい
20. © 2023 Reiwa Travel, Inc.
 My answer 20
 品質とスピードはトレード‧オンできる コードの品質を⾼く保っていた”にも関わらず”速いのではない。 コードの品質を⾼く保っていた”からこそ”速いのだ。 レガシーコードからの脱却 ソフトウェアの寿命を延ばし価値を⾼める 9つのプラクティス (オライリージャパン 2019/9/19)
21. © 2023 Reiwa Travel, Inc.
 令和トラベルでの実績 21
 品質とスピードはトレード‧オンできる リリース件数は増加傾向 障害発⽣件数は減少傾向
22. © 2023 Reiwa Travel, Inc.
 令和トラベルでの実績 22
 品質とスピードはトレード‧オンできる リリース件数は増加傾向 障害発⽣件数は減少傾向 プロダクトゴールを達成し 事業成⻑に寄与👏
23. © 2023 Reiwa Travel, Inc.
 3つの視点 23
 「品質」を作り上げるには、プロセス・チーム・プロダクトの相互向上が必須 Process Product Team
24. © 2023 Reiwa Travel, Inc.
 3つの視点 24
 「品質」を作り上げるには、プロセス・チーム・プロダクトの相互向上が必須 Process Product Team 本日の フォーカス☑
25. © 2023 Reiwa Travel, Inc.
 プロダクト品質について
26. © 2023 Reiwa Travel, Inc.
 プロダクト品質について 26
 プロダクト品質を高めるためにQAエンジニアに必要なこと テスト技術 想像⼒
27. © 2023 Reiwa Travel, Inc.
 プロダクト品質について 27
 プロダクト品質を高めるためにQAエンジニアに必要なこと テスト技術 想像⼒ テスト技法などスキルや知識の保有
28. © 2023 Reiwa Travel, Inc.
 プロダクト品質について 28
 プロダクト品質を高めるためにQAエンジニアに必要なこと テスト技術 想像⼒ テスト技法などスキルの保有 良質な問いをたてられること テスト技法などスキルや知識の保有
29. © 2023 Reiwa Travel, Inc.
 テストとは 29
 既知の不具合が起きないことの確認 未知の不具合を探す作業 1 2 • 要求や仕様、記述通りの正しい振る舞いをするか • コードを変更してもこれまでと同じように動作するか • プロダクトを学習、探索・未知なるものを探す • プロダクトを評価し、想定外の問題を発見する目的を持ちテストする Checking Exploring 1 + 2 = Tested
30. © 2023 Reiwa Travel, Inc.
 テストについて 30
 テスト お客さまへのリスクを軽減させる お客さまへの価値を最大化させる手段の一つ つまり、損失の回避と、価値向上の二面を得るために行うもの なぜテストは必要なのか？
31. © 2023 Reiwa Travel, Inc.
 テストについて 31
 テストの種類 レベル タイプ
32. © 2023 Reiwa Travel, Inc.
 テストについて 32
 テストの種類 レベル タイプ
33. © 2023 Reiwa Travel, Inc.
 テストについて 33
 テストの種類 レベル
34. © 2023 Reiwa Travel, Inc.
 テストについて 34
 テストの種類 レベル テスト 目的 何を？ 単体テスト プログラム単体のテスト プログラムのロジック 結合テスト コンポーネント単位のテスト API//MicroService… システムテスト システム全体のテスト アプリ/Webサービス...
35. © 2023 Reiwa Travel, Inc.
 テストについて 35
 テストの種類 レベル テストレベルを分けて考える理由
36. © 2023 Reiwa Travel, Inc.
 テストについて 36
 テストレベルで大切なこと レベル テストは、QAエンジニアがするもの
37. © 2023 Reiwa Travel, Inc.
 テストについて 37
 テストレベルで大切なこと レベル テストは、QAエンジニアがするもの テストは、テストレベルごとに、 エンジニア全員でするもの テストレベルを意識 すると、問題の切り分け がしやすくなる。 早く問題を特定でき、 開発プロセスの はやい段階で問題を 減らすことができる🌷
38. © 2023 Reiwa Travel, Inc.
 テストについて 38
 テストの種類 レベル タイプ
39. © 2023 Reiwa Travel, Inc.
 テストについて 39
 タイプ テストの種類 ※参考：つながる世界のソフトウェア品質ガイド あたらしい価値提供のための品質モデル活用のすす め (独立行政法人情報処理推進機構（ IPA）/ 2015年5月29日)
40. © 2023 Reiwa Travel, Inc.
 テストについて 40
 タイプ テストの種類 ※参考：つながる世界のソフトウェア品質ガイド あたらしい価値提供のための品質モデル活用のすす め (独立行政法人情報処理推進機構（ IPA）/ 2015年5月29日)
41. © 2023 Reiwa Travel, Inc.
 テストについて 41
 タイプ テストの種類 • 機能テスト ◦ 機能 ◦ 何を実現すべきか（仕様通りに動いているかなど）を検証する • 非機能テスト ◦ 機能以外のスコープ ◦ どのように動作するか（使用性・耐久性・安全性）を検証する
42. © 2023 Reiwa Travel, Inc.
 テストについて 42
 タイプ テストの種類 • 機能テスト ◦ 機能 ◦ 何を実現すべきか（仕様通りに動いているかなど）を検証する • 非機能テスト ◦ 機能以外のスコープ ◦ どのように動作するか（使用性・耐久性・安全性）を検証する
43. © 2023 Reiwa Travel, Inc.
 テストについて 43
 タイプ テストの種類 非機能テスト • パフォーマンス観点 1. 時間効率性 a. システムが応答、処理などを実行する速度要件を満たしているか 2. 容量満足性 a. 同時利用数やデータ許容量などシステムの容量が要求を満たしているか • カスタマー体験観点 1. 習得性 a. カスタマーが使い方を学習しやすいか 2. エラー防止性 a. システムが誤動作しないように防止できているか 3. アクセシビリティ a. 幅広い範囲の心身特性や能力の人が利用し、目的を達成することができるか
44. © 2023 Reiwa Travel, Inc.
 テストについて 44
 テストタイプで大切なこと タイプ 仕様が正しく動くことの確認
45. © 2023 Reiwa Travel, Inc.
 テストについて 45
 テストタイプで大切なこと タイプ 仕様が正しく動くことの確認 テスト目的に合わせて、 実現したい体験を確認する テストタイプを意識 すると、機能要件だけで なく、カスタマー体験に必 要な挙動を 確認しやすくなる。 テストの目的を整理する ことで、網羅的な体験を保 証できる🌷
46. © 2023 Reiwa Travel, Inc.
 テストについて 46
 十分なテストとは 無限の時間を使わずに、「テストした」と言える状態とは？ 1. 重大なインシデントを引き起こす欠陥がないこと 2. 現在の状態で十分な価値を実現できていること 3. プロダクトの価値が残存リスクを上回ること 4. リリースする利益が遅らせる損害を上回ること
47. © 2023 Reiwa Travel, Inc.
 アジャイルテスティングについて
48. © 2023 Reiwa Travel, Inc.
 アジャイルテスティングとは 48
 • アジャイルテスティング ◦ 開発プロセスの各段階でテストを組み込み、品質を確保することが目的 • アジャイル開発における品質保証 ◦ 特定の段階で特定のチームや人のみが取り組むというよりも、あらゆる段階でチーム全体となって取り 組むこと 最後にテストする ずっとテストし続ける
49. © 2023 Reiwa Travel, Inc.
 アジャイルテスティングとは 49
 なぜアジャイルテスティングの考え方が必要なのか？ 「最後の砦」としてのQAエンジニアの品質活動の限界 Design Requirements Specing Coding Testing QAエンジニアの主な役割がテストすることだとすると、 開発プロセスにおいて関わる領域が狭く、リリース直前での「守り」しかできない。
50. © 2023 Reiwa Travel, Inc.
 アジャイルテスティングとは 50
 なぜアジャイルテスティングの考え方が必要なのか？ どんなに強固な「網」でも完全なものはない Design Requirements Specing Coding Testing テストだけを強化しても、ソフトウェア開発は「テスト」と「その他」と、 2つのプロセスにわけられるほど単純なものではない。
51. © 2023 Reiwa Travel, Inc.
 アジャイルテスティングとは 51
 なぜアジャイルテスティングの考え方が必要なのか？ 「網」（= テスト）は完全でない から 特定の工程のみでの品質向上に依存せず、 「全プロセス（全員）」で信頼性の総和を向上させる必要がある 要件定義 -> デザイン設計 -> 開発設計 -> 実装 -> テスト -> デプロイ のソフトウェア開発における各フェーズで、何ができるかを 考えることが重要！
52. © 2023 Reiwa Travel, Inc.
 アジャイルテスティングとは 52
 ずっとテストし続ける ・・・ One Team 開発 アジャイルテスティングとは、 あらゆるフェーズで品質を⾼め、チームで取り組むもの！
53. © 2023 Reiwa Travel, Inc.
 アジャイルテスティングとは 53
 ずっとテストし続ける ・・・ One Team 開発 アジャイルテスティングとは、 あらゆるフェーズで品質を⾼め、チームで取り組むもの！ 各フェーズで行う品質向上の取り組みの掛け合わせが 最終的な”成果”と”スピード”につながる！
54. © 2023 Reiwa Travel, Inc.
 アジャイルテスティングとは 54
 品質保証にチーム全体で取り組む"チームごと化”のコツは チームメンバー全員が「いい品質ってなに？」を、言葉にできますか？ 言語化できないこと、方向性が一致していないことをチームでおえるわけがない 自分たちが目指したい・ありたい姿を共通でもつことで、品質に向き合う可能性を引き上げる 💪 チームで、「品質とはなにか」について話してみることや、これまで起きた不具合や障害を 振り返ることからはじめてみては？ さらにそこから「品質」を定量化することで、自然とチーム目標が設定できる。 品質に関する目標を チームで持ってみよう！
55. © 2023 Reiwa Travel, Inc.
 令和トラベルでの取り組み • 品質についての理解を全員で揃える : ⼊社者へのQAオンボーディングの実施、品質の⾔語化 ◦ 参考：“品質”をみんなのものにするために⾏なっている⼊社者オンボーディング • 仕様検討から漏れを減らす : Product MTGを毎週開催し、プロダクトメンバーですり合わせ • カスタマー体験の認識合わせ : デザインコンセプト‧ガイドラインの型化 ◦ 参考：⼀貫したUXをつくるためのプロセス • 実装時の要件漏れを減らす : Figmaの更新プロセスやドキュメントの更新 ◦ 参考：「Figma」の運⽤⽅法 • 開発者⾃⾝で問題に気づく : Sanity testの導⼊、開発者QAプロセスとチェックリスト ◦ 参考：初期品質向上のためのQA⽬線での取り組み • コーディングの品質を担保する : PRレビュー、E2Eテスト • チームで体験に責任を持つ : dogfooding‧プロダクトおさわり会を開催 • リリース後体験の満⾜度を確認する : 品質に関する健康状態を可視化し、モニタリングする ◦ 参考：QA組織を⽴ち上げ、QA⽂化を築いてきた1年間を振り返る 55
 チームや役割の垣根を超え、あらゆるフェーズで品質を⾼めるために👀
56. © 2023 Reiwa Travel, Inc.
 令和トラベルでの取り組み 56
 チームや役割の垣根を超え、あらゆるフェーズで品質を⾼めるために👀 • 品質についての理解を全員で揃える : ⼊社者へのQAオンボーディングの実施、品質の⾔語化 ◦ 参考：“品質”をみんなのものにするために⾏なっている⼊社者オンボーディング
57. © 2023 Reiwa Travel, Inc.
 令和トラベルでの取り組み 57
 チームや役割の垣根を超え、あらゆるフェーズで品質を⾼めるために👀 • Sanity testの導⼊、チェックリスト ◦ 参考：初期品質向上のためのQA⽬線での取り組み • Dog Fooding‧プロダクトおさわり会を開催
58. © 2023 Reiwa Travel, Inc.
 令和トラベルでの取り組み 58
 チームや役割の垣根を超え、あらゆるフェーズで品質を⾼めるために👀 • 品質に関する健康状態を可視化し、モニタリングする ◦ 参考：QA組織を⽴ち上げ、QA⽂化を築いてきた1年間を振り返る
59. © 2023 Reiwa Travel, Inc.
 ディスカッションタイム
60. © 2023 Reiwa Travel, Inc.
 ディスカッションテーマ 60
 「私たちが考える良い品質とは」について話してみよう！ “ディスカッションのヒント” 1. あなたが意識して行っている品質活動はありますか？ 2. あなたのチームで行っている品質活動はありますか？ 3. 今、チーム/個人で抱えている品質課題はありますか？ 4. 目指したい・理想の品質活動はなにか？ ディスカッション後は、自身のサービスにおける”良い品質”について言葉に してみましょう！ そのためのヒントを皆さんからもらいましょう👩
61. © 2023 Reiwa Travel, Inc.
 まとめ
62. © 2023 Reiwa Travel, Inc.
 まとめ 62
 品質保証とはなにか？
63. © 2023 Reiwa Travel, Inc.
 まとめ 63
 品質保証とはなにか？ 品質保証とは、99.99…点を目指し続ける活動のこと。 品質は変化し、様々な視点によって受け取り方が変わるもの。 だからこそ、正解がなく、めちゃくちゃ難しい。 トレード・オフや妥協はとても簡単。 でもやるなら、難しいことを超えていきたい。 一人ではできなくても、チームメンバー全員が同じことを思い、 サービスと向き合うことで、達成確率は格段に上がると信じている。
64. © 2023 Reiwa Travel, Inc.
 まとめ 64
 品質保証とはなにか？ 品質保証とは、99.99…点を目指し続ける活動のこと。 QAエンジニアは、妥協や乖離が大きくなる前に打ち手を考え、 チームの羅針盤としてチームをリードしていくことが重要です。 もしもQAエンジニアがいない組織なら、 皆さんが良いプロダクトを作ることからはじめ、その輪を広げていこう。
65. © 2023 Reiwa Travel, Inc.
 まとめ 65
 品質保証とはなにか？ 品質保証とは、99.99…点を目指し続ける活動のこと。 QAエンジニアは、妥協や乖離が大きくなる前に打ち手を考え、 チームの羅針盤としてチームをリードしていくことが重要です。 もしもQAエンジニアがいない組織なら、 皆さんが良いプロダクトを作ることからはじめ、輪を広げていこう。 「やる」か「やらないか」が、 良いサービスを作り続けられるかどうかの「すべて」です。
66. © 2023 Reiwa Travel, Inc.
 66
 皆さんそれぞれの羅針盤を⾒つけられましたか？
67. © 2023 Reiwa Travel, Inc.
 まとめ 67
 Xまでご連絡ください󰢜 miisanを指定の上、 面談申し込み👌
68. © 2023 Reiwa Travel, Inc.
 まとめ 68
 もっと具体的な戦略を 知りたい方向け✍
69. © 2023 Reiwa Travel, Inc.
 番外編： 私のこれからのキャリアテーマ
70. © 2023 Reiwa Travel, Inc.
 私のこれからのキャリアテーマ 70
 詳細：https://note.com/bgrass/n/nfd3c1092f366 せっかくなので、 キャリアの話もしようと思います！
71. © 2023 Reiwa Travel, Inc.
 Mission 71
 女性エンジニアを増やす 1 2 QAエンジニアの プレゼンスを高める 3 女性のリーダーを増やす
72. © 2023 Reiwa Travel, Inc.
 Mission 72
 女性エンジニアを増やす 1 2 QAエンジニアの プレゼンスを高める 3 女性のリーダーを増やす
73. © 2023 Reiwa Travel, Inc.
 私のこれからのキャリアテーマ 73
 • 私の経験値 ◦ 会社軸：スタートアップ・メガベンチャー・大企業 ◦ フェーズ軸：ゼロイチ・立ち上げ・グロース ◦ 職能軸：開発・QAエンジニア・PM・採用・広報 ◦ 職務軸：メンバー・チームリーダー・マネージャー・部門長 これらの経験は、QAエンジニアをしていたからできたことだと思っている QAエンジニアのキャリアパスは “無限∞”
74. © 2023 Reiwa Travel, Inc.
 私のこれからのキャリアテーマ 74
 私にとって品質活動とは、ソフトウェア品質を高めることだけではなく、 価値あるものを作ること。 この中には、組織を作ることや、プロセスを作ることも含まれます。 だからこそ ”品質活動”は、事業に貢献できる。 事業に貢献できる人のキャリアは、えらべるものです。 QAエンジニアのキャリアパスは “無限∞”
75. © 2023 Reiwa Travel, Inc.
 私のこれからのキャリアテーマ 75
 品質活動に関心を持ってくれる方や、 QAエンジニアのキャリアを選択する人が増えたらとっても嬉しいです🥺 そのために私自身が、私自身の品質活動を通して、 事業や社会に貢献し続けたいと思っています🤝 より良いプロダクトやサービスが、増えることを願っています！！ QAエンジニアのキャリアパスは “無限∞”
76. © 2023 Reiwa Travel, Inc.
 76
 Have an amazing journey. Thank you！