Upgrade to Pro — share decks privately, control downloads, hide ads and more …

PO,SMに送るテスト自動化の8原則に5箇条を添えて / scrumniigata2023

PO,SMに送るテスト自動化の8原則に5箇条を添えて / scrumniigata2023

Scrum Fest Niigata 2023

ぱいん

May 20, 2023
Tweet

More Decks by ぱいん

Other Decks in Programming

Transcript

  1. ぱいん© Scrum Fest Niigata 2023
    PO,SMに送る
    テスト自動化の8原則に
    5箇条を添えて
    Eight Test Automation Principles
    with five articles for
    Product Owner and Scrum Master
    @Scrum Fest Niigata 2023
    2023/5/20
    ぱいん

    View full-size slide

  2. ぱいん© Scrum Fest Niigata 2023
    [アイスブレイク] テスト自動化をしててモヤる瞬間
    ● 高すぎる(?) 期待
    ○ テスト自動化でテスターは要らなくな

    ○ テスト自動化と探索的テストが
    令和のテストスタイル
    ● コスパに対する誤解/理解不足
    ○ ツール無料に越したことはない
    ○ 3回実行すれば元が取れる
    2

    View full-size slide

  3. ぱいん© Scrum Fest Niigata 2023
    [アイスブレイク] テスト自動化をしててモヤる瞬間
    ● 高すぎる(?) 期待
    ○ テスト自動化でテスターは要らなくな

    ○ テスト自動化と探索的テストが
    令和のテストスタイル
    ● コスパに対する誤解/理解不足
    ○ ツール無料に越したことはない
    ○ 3回実行すれば元が取れる
    3
    (答えの例)

    ➡ テスト自動化の難しい部分に専
    念できる

    ➡ どこをテストするか、何がリスク
    化は自動化できない


    ➡テスト自動化する人件費は?

    ➡本体改修がほぼない場合のみ
    前提

    【仮説】テスト自動化について
        エンジニアだけが理解しているから噛み合わないのではないか

    View full-size slide

  4. ぱいん© Scrum Fest Niigata 2023
    PO,SMに送る
    テスト自動化の8原則に
    5箇条を添えて
    Eight Test Automation Principles
    with five articles for
    Product Owner and Scrum Master
    @Scrum Fest Niigata 2023
    2023/5/20
    ぱいん

    View full-size slide

  5. ぱいん© Scrum Fest Niigata 2023
    おことわり
    •こちらの発表は、ぱいん個人の考えです
    •過去、現在にわたって、所属組織の考えではありません
    •資料は公開します
    •用語の定義については、ISTQB(テスト技術者資格制度) ソフトウェ
    アテスト標準用語集(日本語版) に準拠します
    5

    View full-size slide

  6. ぱいん© Scrum Fest Niigata 2023
    サマリ
    1. PO, SMにテスト自動化の世界を伝えるべく
    テスト自動化の8原則の紹介と5箇条を錬成し
    てみた
    2. 他の開発ツール(Jira, Slack)に比べると、使い
    方がとても難しい
    – 開発成果物や開発プロセスに密接に絡んでくる
    ため
    3. チームの目指す姿から、
    テスト自動化を1つの手段として活用できると
    様々メリットがある
    6

    View full-size slide

  7. ぱいん© Scrum Fest Niigata 2023
    自己紹介
    •ぱいん a.k.a 奥村 哲郎
    • 仕事
    – QAエンジニア 12年目
    • 今: モバイルアプリ@製造業
    • 過去: 組込アプリ、Webアプリ
    – 2児のパパ
    • 社外活動
    – ソフトウェアテストシンポジウム運営
    • JaSST Review, JaSST Online
    • 趣味
    – 旅行
    – Bリーグ鑑賞(川崎BTファン)
    7
    ぱいん
    @Twitter

    View full-size slide

  8. ぱいん© Scrum Fest Niigata 2023
    アウトライン
    1. 本日の発表のスコープ
    2. E2E自動テストのトレンド
    3. テスト自動化の8原則
    4. テスト自動化の8原則と解釈
    5. システムテスト自動化の5箇条 ver.1.00
    8

    View full-size slide

  9. ぱいん© Scrum Fest Niigata 2023
    本日の発表のスコープ
    9
    [1]

    View full-size slide

  10. ぱいん© Scrum Fest Niigata 2023
    E2E自動テストのトレンド 1/2
    10
    1. ノーコード
    – プログラミング知識が不要
    – 操作や確認内容をUIで記録して、自動再
    生できる(キャプチャアンドリプレイ)

    View full-size slide

  11. ぱいん© Scrum Fest Niigata 2023
    E2E自動テストのトレンド 2/2
    11
    1. ノーコード
    – プログラミング知識が不要
    – 操作や確認内容をUIで記録して、自動再
    生できる(キャプチャアンドリプレイ)
    2. AI活用
    – UI変更に対する自動追従 (オートヒーリン
    グ)
    • 書き直す手間が減ってきた
    – 所感
    • 最終判断は人間になっている
    • まだ賢くはない

    View full-size slide

  12. ぱいん© Scrum Fest Niigata 2023
    テスト自動化の8原則
    12
    ● テスト自動化研究会が作成
    ● テスト自動化に関わるエンジニアには必読ページ

    View full-size slide

  13. ぱいん© Scrum Fest Niigata 2023
    テスト自動化の8原則 と解釈
    13
    ● テスト自動化研究会が作成
    ● テスト自動化に関わるエンジニアには必読ページ

    View full-size slide

  14. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条 ver.1.00
    ツール導入編
    1. トライアル中は将来も考えよう
    2. ツールを考えつつ何をしたいかも整理しよう
    立ち上げ編
    3. 初回リリースはあえて手動化しよう
    運用編
    4. 価値の下がったテストケースは捨てよう
    5. 失敗も経験してチームをレベルアップしよう
    14

    View full-size slide

  15. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条1:
    ツールを考えつつ、何がしたいかも整理しよう
    • 理念なき行動は凶器、行動なき理念は無価値 by 本田宗一郎
    • 新しいツールやデモにワクワクしてHowを追求したくなるが、Why Test
    Automation? も一緒に考えよう
    – ツール導入後の姿から徹底的にブレイクダウンする
    – ロジックツリーの一例
    • リリースサイクルを短縮したい
    – リグレッションテスト工数を減らす
    • 時間がかかるテスト ← テスト自動化 1位
    • 人間がやらないと気づかないテスト
    – 検証からの手戻りを減らす
    • チケットの受入要件を見直す
    • 動作確認の観点をDev-QAで考える
    – 支払い額文字の見切れは毎回見る ← テスト自動化 2位
    – プロダクトの価値を一番考えているPO、チームを改善するSMが
    入ることが重要
    15
    🍍訳) 思考停止、口だけ番長から脱却して、両方やれ

    View full-size slide

  16. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条2:
    トライアル中は将来を考えよう
    • 一般的な自動テストツール導入の流れ
    – デモ → トライアル(2週間-1ヶ月) → 本契約 → 利用開始
    – トライアルで十分な効果検証が出来ていないと、
    契約後に使いこなせなかったり、無駄になることも
    • POやSMは、チームと将来像を共有すること
    – ツールで試しておくテストや問い合わせることが変わってくる
    • 製品のロードマップ
    – 新規機能、他システムとの連携
    – ユーザ、提供国
    • リリースサイクル
    16

    View full-size slide

  17. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条 ver.1.00
    ツール導入編
    1. トライアル中は将来も考えよう
    2. ツールを考えつつ何をしたいかも整理しよう
    立ち上げ編
    3. 初回リリースはあえて手動化しよう
    運用編
    4. 価値の下がったテストケースは捨てよう
    5. 失敗も経験してチームをレベルアップしよう
    17

    View full-size slide

  18. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条3:
    初回リリースはあえて手動でテストをしよう
    • 1回目は手動テストの理由
    1. 手動テストで行ってこそ見つかる不具合はあ

    – 例えばUXに関するもの
    2. いきなりテスト自動化をしようとしても、
    予定通り進まず間に合わないことが多い
    – 絶対燃えるやつ: 1回目のリリースから自動
    テストが流れる前提のスケジュール
    18

    View full-size slide

  19. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条 ver.1.00
    ツール導入編
    1. トライアル中は将来も考えよう
    2. ツールを考えつつ何をしたいかも整理しよう
    立ち上げ編
    3. 初回リリースはあえて手動化しよう
    運用編
    4. 価値の下がったテストケースは捨てよう
    5. 失敗も経験して開発プロセスをレベルアップしよう
    19

    View full-size slide

  20. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条4:
    価値の下がったテストは捨てたり、頻度を下げることも検討しよう
    • 前提: 継続開発の流れとして、機能追加に伴って自動テストも肥大していく
    • FAQ: 作った自動テストは資産にならないの?
    – 資産の価値は変動する
    • 価値: テストしなかったことによって失うモノ(金銭、機会損失他)
    • プロダクト戦略、開発状況、顧客の利用動向によって時々刻々変化する
    – 資産価値が下がることはある
    • 損切りできずに疲弊するくらいなら、そのときは潔く捨てる
    20
    テストケース重要度/事

    成功し続ける テスト結果が不安定
    (Flaky)
    修正の頻度が上がってき

    高 そのまま 原因を深掘り※ 原因を深掘り※
    中 頻度を下げる 一時停止 一時停止
    低 頻度を下げる 消す 消す

    View full-size slide

  21. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条5:
    失敗も経験して開発プロセスをレベルアップしていこう
    • スクラム関係者󰢧 「私、失敗しないので」ってひとい
    ますか?
    • 自動テストの運用で問題点に対処することが
    開発プロセス自体のカイゼンにつながる
    – QAだけが自動テストを推進して壁に
    ぶつかること多数...
    • 自動テストを育てることがプロセスと
    チームのレベルアップの糧
    21

    View full-size slide

  22. ぱいん© Scrum Fest Niigata 2023
    まとめ
    1. PO, SMにテスト自動化の世界を伝えるべく
    テスト自動化の8原則の紹介と5箇条を錬成し
    てみた
    2. 他の開発ツール(Jira, Slack)に比べると、使い
    方がとても難しい
    – 開発成果物や開発プロセスに密接に絡んでくる
    ため
    3. チームの目指す姿から、
    テスト自動化を1つの手段として活用できると
    様々メリットがある
    22

    View full-size slide

  23. ぱいん© Scrum Fest Niigata 2023
    謝辞 (敬称略)
    きっかけ: よーや
    Spaceでアイデアをくれた:
    • teyamagu
    • Freddie (Fumikazu Fujiwara)
    • broccoli
    23

    View full-size slide

  24. ぱいん© Scrum Fest Niigata 2023
    おまけ: ソフトウェアテスト/テスト自動化オススメ本
    チームで読む本として好適
    24

    View full-size slide

  25. ぱいん© Scrum Fest Niigata 2023
    Any questions and comments?
    参考文献、サイト
    No. Slide # ページ名 URL
    1 9,12,13 テスト自動化研究会 - 本会について https://sites.google.com/site/testautomationresearch/about
    2 10,11 MagicPodの特徴 - MagicPod https://magicpod.com/
    3 21 テスト自動化のルンバ効果 - テストウフ https://yoshikiito.net/blog/archives/roomba-effect-test-autom
    ation/
    いらすとや https://www.irasutoya.com/
    25

    View full-size slide