プロダクトの価値を有効的に実証するテストについての考察

Transcript

1. プロダクトの価値を有効的に実証する テストについての考察 2025/05/10 Scrum Fest Nigata 井関 武史
2. アジェンダ (ソフトウェア) テストとは？ テストの役割・意義 テスト戦略 (ランチェスターの法則を添えて) テスト戦略とは プロダクト・組織の成長とテストのやり方 テストという戦闘の配分 品質(価値) を考えたテスト活動 無駄なテスト・有効なテスト まとめ
3. 自己紹介
4. オンライン区長 名前： 井関 武史 （いせき たけふみ） 所属： テストの街「葛飾」 職業： 某 ID 管理製品のQA・テストエンジニア 趣味 歴史 チンタラン（マラソン） ゲーム ポケモン（カード・Switch）、Acecombat、その他 Twitter： @katsushika_take 生息地： 葛飾、神田小川町
5. はじめに 私はテスター (テストエンジニア) です (ソフトウェアの) プロダクトをテストをする人です QA エンジニアではありますが、ソフトウェアのテストもやっています。 「テスト」はおもしろいですし、やりがいもあります でも、チェックする「だけ」のテストは好きじゃないです そして、無駄な (に) テストするのは嫌いです
6. はじめに おことわり 私 (オンライン区長) の理念(思考)・概念をお話しします。 手法・手段については話しません。(時間の都合) 実践していることは直接聞くか、または「テストの街 葛飾」までお越しください 私 (オンライン区長) が経験・体験、そして夢で見たことを話すところがあり ますが、具体的な内容はお話しできません。 ご了承ください
7. (ソフトウェア)テストとは？
8. (ソフトウェア)テストとは？ ソフトウェア開発をする上で、「テスト」とは JSTQB では以下の3つがあげ られています。 ソフトウェアの欠陥を見つけること 欠陥の作りこみ防止 (エラーの予防) 品質が充分であることを確証するための証明
9. (ソフトウェア)テストとは？ ですが。。。 「テスト」はプロダクトが出来上がった後工程としての「単なる」作業では ありません。
10. (ソフトウェア)テストとは？ すべてのプロセス (過程) でも「テスト」を行うことが示されています。 ホリスティックテスト https://janetgregory.ca/testing-from-a-holistic-point-of-view/ (翻訳) https://note.com/globis_engineers/n/neeaad6dfd67b
11. (ソフトウェア)テストとは？ 「テスト」は、単純に〇×をつけるチェック作業ではなく、「成果 (実施した 結果)」と「過程 (実施するプロセス)」 を組み合わせて、自分たちの立ち位 置を評価すること。 「テスト」はプロダクトの品質を保証・管理をしつつ、プロダクト・プロセス の価値を評価するための根幹となる技術であり、活動です。 私は「テスト」という一連の業務 (作業) を「テスト活動」と言っています。 オンライン区長論
12. (ソフトウェア)テストとは？ そのような重要な技術、活動のテストですが、皆様はどのように考えてい ますでしょうか？ テストとは「行動」、「説明」、「納得する (してもらう) ため」であると かの人がおっしゃっていました https://www.youtube.com/watch?v=zhIk9G7S1Ok テスト設計コンテスト2013 関西地域予選 招待講演 (西さん) テストとは、バグを発見したり、仕様通りに動作するかではなく、「どのよ うな (に) 価値を誰に提供できるか」を説明(証明) できること ≒ 「品質を保証する」ということ。 ※) 逆にどのようなリスクが含まれているかを提示すること
13. テスト活動の役割・意義
14. テスト活動の役割・意義 「テスト活動」はプロダクトの価値を評価し向上させる大事な役割・意義を 持っています。 オンライン区長論としては、 「品質 ≒ 価値」 と考えています。
15. テスト活動の役割・意義 ところが、この「テスト活動」を見誤ると、単なるチェック作業になったり、 無駄な活動となることもあります。 はっきり言って、「そんなテスト活動なら必要ない」という事態に陥ります
16. テスト活動の役割・意義 私の経験・体験、夢の話をもとに、あやしいテスト活動を例をいくつか、あ げてみます
17. テスト活動の役割・意義 ユニット、結合(機能)のテストを実施して、システムテストはやらない・考 えない (機能性のテストだけをしている）
18. テスト活動の役割・意義 ユニット、結合(機能)のテストを実施して、システムテストはやらない・考 えない (機能性のテストだけをしている） 機能単位では正しいが、システムとして整合性があっていない 実行時に値チェックしているけど、設定時にしていないとか 入力チェックが直列で保存ボタン押すと、いちいち1個ずつエラーがでて、な かなか保存 (submit) できない (そして、イライラ感 MAX） 様々な処理を駆使して迂回しないと業務フローを解決ができない 一回データ出力して、手作業で修正してから、もう一度実行するとか
19. テスト活動の役割・意義 人の作業を楽にしたり、間違えないようにするために業務システムを 創っているのでは？ なんのために、システムを創っているのか？ 「それ、仕様です (仕様書の通りです)」 「お前がコレを仕様というなら、そうなんだろう。お前ん中ではな」 局所的な機能だけを確認するだけ であれば、開発しているときに チェックするだけでよく、 なんのためのテスト活動なんだ？ テストピラミッドの意義・意味を間違えている。。。 という事例です
20. テスト活動の役割・意義 リリース時にリグレッションテストで、毎回全機能を全テスト
21. テスト活動の役割・意義 リリース時にリグレッションテストで、毎回全機能を全テスト テストやったことでの安心感 どこに影響があるかわからないから網羅した全部のテスト テストはやりましたよ的な。。。説明「無責任」の状態化 テスト活動の主体がリグレッションテスト 特にシステムテストの主体がリグレッションテストに置き換わり テスト活動がただのチェックになる 何をテストしていいかわからなくなったので。。。 ーーーー そのうち、テスターは考えるのをやめた
22. テスト活動の役割・意義 「なんかよくわかないんで、(不安なので) とりあえず全部テストしといて」 「だが、断る」 同じ手順(フロー)、同じデータ、同じ設定で、何度も確認しても「殺虫剤の パラドクス」という状態に陥るので、その「テスト活動」で安心感なんて得 られない 社会(業務)・技術は日々進歩・変化しているため、利用方法も変わってく る定型的な業務フローだけは意味がなくなる 自分たちが創るものが、どのような依存があり、どのように影響があるかの 分析を行うテスト活動しないと、結局、安心感など得られないし覚悟もできない
23. テスト活動の役割・意義 例外・異常の条件、組み合わせのテストパターンが多すぎる・細かすぎる
24. テスト活動の役割・意義 例外・異常の条件、組み合わせのテストパターンが多すぎる・細かすぎる 例外・異常の組み合わせを考えたパターンは無限大になる 重箱の隅をつつくパターンに気を取られて、最も重要なテストがおそろかになる それに合わせて、余計な機能がどんどん肥大化していく CPU・メモリ、リクエスト数などの負荷を監視する機能が密結合でテスト活動し づらい
25. テスト活動の役割・意義 そこまで例外・異常にこだわるなら、そもそも動作を限定するように設計 ※) これ以外では動作しません。 間違っていけないシステム(機能)であれば、無駄かもしれないが入出力デー タのチェックを必ず実施させること (リグレッションテストは不要です) 買い物で支払額、おつりの金額をチェックしないやついないでしょ？ 業務システムの機能と周辺機能は区別をする 周辺機能は、ほかのプロダクト(サービス)にまかせたり、完全に独立させた機能と して実装 例外(異常同値)の機能に対してのチェックの中心となり、業務システム (フ ロー)を効率よく処理できるかなどのテスト活動がおろそかになる 「俺はいったい何ためのテスト活動をしているんだ？」
26. テスト活動の役割・意義 なんか新人に何させたらいいかわからんからテストをやらせてみる
27. テスト活動の役割・意義 プロダクトの価値を、まだ知らない子たちが、テストをしてもチェックする だけになってしまう。 教育システムが崩壊している状態で新人にテスト任せて戦果が出るわけ がない ここは、マリアナ沖海戦か。。。 マリアナの七面鳥撃ちと 揶揄された
28. テスト活動の役割・意義 教育システムが崩壊している状態で新人にテスト任せて戦果が出るわけ がない 新人などプロダクトやドメイン知識がない人がテストを実施するためには、熟練 したテスターが並走する必要があり、教育方針・テストの方針などを決めておく 必要がある。 新人に成果(戦果)は求めてはいけない。 ※) たまにラッキーパンチが入ることはある 新人研修で探索的テスト JaSST 2020 Tokai (大平さん) こちらを参考にしていただけると うれしいです
29. テスト活動の役割・意義 もう一度言います テスト活動は、プロダクトの価値を説明するために、大変重要な活動です。 テスト活動は、品質を保証・管理するのに重要な活動です。 オンライン区長論としては、 「品質 ≒ 価値」 と考えています。
30. 品質(価値) を考えたテスト活動
31. 品質(価値) を考えたテスト活動 「価値」 や「品質」というのを話す前に。。。
32. 品質(価値) を考えたテスト活動 プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこ と 「テストをするため」にプロダクトを作っているわけではない。 要求分析・要件定義、設計、実装などが完璧であれば究極的に「テスト 活動」は 0 になります。
33. 品質(価値) を考えたテスト活動 プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこ と 「テストをするため」にプロダクトを作っているわけではない。 。。。が、「テスト活動」が 0 になることはなりません。 人間は、完璧超人ではないので。。。
34. 品質(価値) を考えたテスト活動 プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこ と 「テストをするため」にプロダクトを作っているわけではない。 「テスト活動」は必ず必要になります 適切な「最少の」戦力と資源で、価値を説明できるようにし、品質を保証・ 管理してリリースをしていかなければならない
35. 品質(価値) を考えたテスト活動 「品質」とはなんでしょうか？ 対象に本来備わっている特性の集まりが，要求事項を満たす程度 (ISO９０００) ニーズにかかわる対象の特徴の全体像 (飯塚悦功) 対象に本来備わっている特性の集まりが、要求事項を満たす程度 (JSTQB) 「品質は誰かにとっての価値である」 (Gerald.M.Weinbeg) ふりかえりを品質保証の重要な位置付けとしてたちカエル ふりかえりカンファレンス 2025 (やまずんさん)
36. 品質(価値) を考えたテスト活動 「品質」の定義には、いずれにも「 『欠陥』がないこと」ということは明示的 に書かれていない 「要求事項を満たす～」、「ニーズに対する～」と記載があり、「誰か」に とって価値を提供する (提供し続ける) こと 欠陥によって要求を満たさない状態・状況になるのであれば、それは価 値を説明 (提供) できていないことになりますが。。。
37. 品質(価値) を考えたテスト活動 「価値」とは、以下のようなものがあります 機能的 情緒的 自己実現的 社会的 文化的 芸術的 。。。etc 業務システムであれば「どれだけ役に立つのか」、「業務が楽 (安心・安全) になるのか」ということになります。 ※) ゲームなどは芸術的価値などの要因も大きいと思います
38. 品質(価値) を考えたテスト活動 「誰か」にとっての価値の「誰か」って顧客だけでしょうか？ プロダクト・サービスを創る人たち (プロセス品質・内部特徴) カスタマーサポート・営業などの人たち(外部特徴) 顧客 (外部特徴・利用時の品質) などなど。。。 プロダクトを顧客に届けたり、維持するには様々な「誰か」が必要になる プロセ ス品質 内部特 徴 (品質) 外部特 徴 (品質) 利用時 の品質 ISO 25010: 2011 影響 影響 影響 依存 依存 依存
39. 品質(価値) を考えたテスト活動 利用する人にとっての品質は非常に重要だが、それだけを考えていると、 いずれ歪がやってくる。 この歪が起こらないようにして継続的にプロダクト・サービスを成長させる こと (すべてのサイクルで「テスト活動」を行う)
40. 品質(価値) を考えたテスト活動 「誰かにとっての価値」という品質を継続的にプロダクト・サービスを成長 させ、価値がだせるようにすること プロダクト・サービスを利用する人だけではなく、関係者全員が対象です というのが、オンライン区長の「テスト活動の役割・意義」と考えています。 顧客は喜んでいるが、中の人が死んでいるのは、 かなり歪が出ている状態 (内部特徴・プロセス品質がオワッテル)
41. 品質(価値) を考えたテスト活動 そのテスト活動の役割・意義を発揮させるための計略をつくります。 それが「テスト戦略」です ※) オンライン区長論 JSTQB の定義とは少し違っていますがご了承ください
42. テスト戦略
43. テスト戦略 戦略とは？ 特定の目的達成のために、総合的な調整を通じて力と資源を効果的に運用す る技術・理論であり、上位の概念が下位の行動を決定するという性質がありま す。 (Wiki） 戦略には7階層あるといわれています 世界観 政策 大戦略 軍事戦略 作戦 戦術 技術
44. 戦略とは？ 戦略は、簡単に言うと目標・目的 (何をなさなければいけないのか？なぜなさなければいけないのか？) 兵站 戦術 作戦 テスト戦略 戦略 戦略を実現するための計画・プロジェクト 作戦をどのように実行していくかの方法論 人・モノ・金はもちろん、技術・知識(ノウハウ)・情報で 戦略・作戦・戦術すべてに必要なものです。 世界観、ポリシー(政策・意思)、リソースの把握・検討
45. 戦略とは？ 戦略は、簡単に言うと目標・目的 (何をなさなければいけないのか？なぜなさなければいけないのか？) 兵站 戦術 作戦 テスト戦略 戦略 戦略を実現するための計画・プロジェクト 作戦をどのように実行していくかの方法論 人・モノ・金はもちろん、技術・知識(ノウハウ)・情報で 戦略・作戦・戦術すべてに必要なものです。 世界観、ポリシー(政策・意思)、リソースの把握・検討 おおよそ、このあた りを話します
46. 戦略とは？ 戦略は、簡単に言うと目標・目的 (何をなさなければいけないのか？なぜなさなければいけないのか？) テスト戦略 会社、組織、チームなどに分かれているため、 単純な構造ではなく、実際にはサブ構造になっている
47. テスト戦略 テスト戦略とは？ 内外の変化を踏まえてプロジェクト (プロダクトの品質) のゴールを設定し、そ こに到達するために求められる適切な施策や投資配分を考えること (JSTQB) JSTQB シラバスにはテスト戦略について、明確な記載がないのですが、テス ト計画の一つとしてテストアプローチの部分に記載されています。 ※) 詳細は、シラバスを参照してください。 リスクベース モデルベース 分析的 どれか1つを使うわけではなく、状況に合わせてアプローチをする必要あり ※) JSTQB では計画(作戦)と戦略が逆になって いるような表現ですが概念は同じです。
48. テスト戦略 プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこ と 「テスト活動をするため」にプロダクトを作っているわけではない。 「テスト戦略」はあくまで、プロダクト戦略の「サブ構造」のひとつ これを間違えると、テストすることが主体となり、なんでもかんでも 「テストしな きゃ」 ということを考えはじめてしまいます
49. テスト戦略 プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこ と 「テスト活動をするため」にプロダクトを作っているわけではない。 よって、いかにして、最小の戦力で効率よく短期間で。。。 バグを撃破できるか 被害 (リスク) を最小にできるか 価値を最大化できるか ※) 7構造でいう「軍事戦略」も考慮が必要です
50. テスト戦略 プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこ と 「テスト活動をするため」にプロダクトを作っているわけではない。 テスターは、「テスト活動」を適切に実施をして、不要なものを排除できる かも常に考える必要があります。 もちろん必要なテスト活動は行います
51. テスト戦略 プロダクトを顧客に利用してもらい、業務(社会)・生活を便利にしていくこ と 「テスト活動をするため」にプロダクトを作っているわけではない。 プロダクトの戦略が、よくわからない状態では「テスト戦略」も共倒れにな るので、テスターはプロダクトの戦略を理解していないといけない ※) ここではプロダクト戦略の話はしません 逆説的に、テスターは、プロダクトの価値(品質) をボトムアップで可視化・ 明確にし、モニタリングする必要もあります。
52. テスト戦略 そこで、どのような戦略をとっていくのかを、プロダクト成長曲線をもとに ランチェスター的な概念でお伝えします。
53. テスト戦略 黎明期 プロダクトを創り始めいち早く顧客に届けるとき 一騎打ち・局地戦
54. テスト戦略 局地戦・一騎打ち 担当のテスターが対象のプロダクト・機能を熟知 (属人化状態) テスターの能力 (性能) が高ければ、作戦成功しやすい ※) 新人やドメイン知識、技術がない人にテスト活動をやらせない コーディングなども同じ 属人化させてノウハウ、知識、手順、技術をしこたま貯金して、メトリクス として整理
55. テスト戦略 成長期 さまざまなプロダクト・機能が増えて、担当のテスターだけでは見ることができ ない状況になってくる 確率戦・広域戦
56. テスト戦略 広域戦・確率戦 黎明期に培った情報をもとに絨毯爆撃 (とは言え。。。) 確率をあげるためには、黎明期・成長期初期で貯めて整理をした情報が重要となる。 ※) バグが出ないようなところをテストしても全く意味がない 絨毯爆撃の機械化・自動化 手作業がどんどんつらくなっていくので、成長期初期には自動化・機械化 次期イノベーション (黎明期) の準備 プロダクト全体の(仕様などの) バランス、機能統合・分離の検討、そして整理 ※)「テストしにくい」というはプロダクトに歪が出始めている すべてのプロダクト (機能) に、それぞれテスターの担当がついているので あれば、局地戦をしてもいいが、そんな組織になっているところは (ほぼ) な い。
57. テスト戦略 成熟期 プロダクトの機能が飽和状態 (機能の変更が中心) 機能の変更が、様々なプロダクトの動作に影響を及ぼす 確率戦・広域戦 + 補給戦
58. テスト戦略 確率戦・広域戦 + 補給戦 今までの情報、自動化・機械化されたものを利用して 影響を及ぼすところ・重要なところに適切にテスト 重要でないところは見切りをつける 属人化をほぼ完全に排除 (手順化・自動化など) 撤退であればサポートを維持できる品質の状態にして 前線から撤退する準備 次期イノベーションが発生するのであれば、既存プロダクトが補給物資となることを 想定してライブラリー化など ここで戦略を間違えると、なんかよくわからないけど全部テストするという 思考 (作戦) になる
59. テスト戦略 戦局は刻々と変わっていく 開発現場、顧客の構築など自分たちが前線で戦っているときに、今やっ ていること (作戦・戦術) が戦略と方向があっているかを確認(ふりかえり) することが必要 「すべてをテストするのだ」 と、彼は語っていましたが、 まさしくその通りです。 今の自分たちのやっていることを テストするのです。
60. テスト戦略 戦略と戦術のバランス
61. テスト戦略 戦略と戦術のバランス ランチェスター戦略方程式 (クープマンモデル) クープマンモデルでは『戦略 [2] : 戦術 [1] 』の配分と言われています プロダクト開発における「テスト活動」の比率が一緒かどうかは判断しま せん。 すべてのテスト活動をするうえで、「戦略 (作戦)」が必要だということです。
62. テスト戦略 「以前と同じで。。。」 などなど、そのような理由で「戦略(作戦)」をおろそ かにしていませんか？ 失敗したとき (欠陥発生、機能不足など) に何が起こったのか理由が説明で きなくなる 失敗したとき方針・方向がわからず軌道修正できず、大失敗に導いていく
63. テスト戦略 最終的に負の連鎖に陥っていく 欠陥が出たら対処する。(対処療法) 「ふりかえり」でといっても、論理的に説明できない(すでに忘れている) 結局、どんどんテストする内容・手順が増えていく なんかしらんけど、どんどん忙しくなっていく 戦略とか作戦とか考えている場合じゃなくなる 自分たちで、「木こりのジレンマ」の状態を作り出している
64. テスト戦略 何かを実施 (戦術) するときには、かならず戦略・作戦があることを意識 すること 比率はともかく、考慮されていない状態にしない。 考慮されていないと、絶対に前線が崩壊する
65. テスト戦略 テスト戦略はプロダクト戦略の一部ですが、以下のようなことを考えてテ スト活動を実施していく必要があります なぜ(どうして)、テスト活動をするのでしょうか？ 実施しているテスト活動において効率よく作戦を遂行できますか？ 自分たちがやっているテスト活動は戦略とあっていますか？ 上記のことを考えて、トップダウンだけではなく、ボトムアップ (今実施して るテスト活動) からも確認して、テスト戦略を常に意識をして、テスト活動 をみなおすことが必要です。
66. 無駄なテスト・有効なテスト
67. 無駄なテスト・有効なテスト 戦略のないテスト活動は、そもそも無駄です この状態であれば、別にテスト活動しなくてもよい テスト活動してもしなくても、品質(価値)として大差ないです 戦略が形骸化した作戦・戦術となっているテスト活動も無駄です 価値(品質) が全く評価されていない状態 プロダクトの意義を忘れている状態 ※) ミッドウェイ海戦(などが)物語っています
68. 無駄なテスト・有効なテスト 「戦略」にあったテスト活動で品質(価値)を評価することが有効なテストで す。 リスクも含めて説明できるテスト活動になっていること 単純に利用時の品質だけではなく、総合的に判断をして落としどころを見 出して、プロダクトの成長を促す (阻害要因を排除)こと プロセス 内部特徴 外部特徴 利用時の品質
69. まとめ
70. まとめ 「戦略」がない (あいまい) 状態では、品質(価値) を評価でき ません。 つまり、価値もリスクも、場当たり的な結果でしかない 単なるチェック作業 「高品質＆高スピード」など、なおさら実現できません。 無駄にテスト活動したり、役に立たないテスト活動になります
71. まとめ 「テスト活動」はすべてのプロセスで必要です。そのテスト活動 の間、常に「戦略」を念頭にして、「戦略」自体のモニタリング もしておくこと。
72. おまけ 「戦略」は重要です。 ただし、戦略を実現するための「作戦」、「戦術」も重要です。 そして、これらを支える「兵站」は、 かなり重要です。 (しかも、見えにくい) 技術、知識(ノウハウ)などを持たずに テスト活動などできません。 武器も防具も回復薬ももたずに ラスボス倒しに行かないでしょ？ 兵站 戦術 作戦 戦略
73. おまけ 技術・知識(ノウハウ)、情報には様々なものがありますが、多ければ多い ほど判断する材料として利用できます。 (様々な) メトリクス テスト技法 MVPの決め方 (ユーザストーリーマッピングなど) プロダクトの理念・設計(仕様) などなど。。。 さらに、この情報を日ごろから最新に アップデートしたり整理しておくことが 必要です 兵站 戦術 作戦 戦略
74. おまけ 戦略の思想部分ですが、以下のことを定義して、どの時点で、 どのようなテスト活動を行えば効果的になるのか、テスト戦略 (そして作戦) を立てています。
75. テストの街「葛飾」？ グループ：https://ost-zatu.connpass.com/ 通称 ：葛飾テストの会 イベント 毎週火曜日 21:30 ～ 23:00 テスト関係の話を中心に雑談 （なんでもあり） 勉強会やセミナーが渋谷や新宿が多くて東側少ないよね、ないなら自分たちで作っ ちゃえで始まった会 キャベツは「中野甘藍」 （葛飾の野菜生産量 第二位） 第一位は「こまつな」だが、葛飾区の南にある某区によってゆるキャラ出ているから却下 虫はバグ、早急に発見・対処しないと大変なことに。。。
76. ご清聴ありがとうございました