実践力を鍛える探索的テストセミナーを開発したの

JaSST nano vol.38での発表資料です。
より実開発に近い環境で探索的テストを体験することができるセミナーを開発しました。
工夫点などについてご紹介しています。

Transcript

1. ©︎ NTT COMWARE CORPORATION 2024 コーポレート革新本部 技術革新統括部 システム技術部門 吉村優 実践力を鍛える探索的テストセミナーを開発したの JaSST nano vol.38 2024-07-16
2. ©︎ NTT COMWARE CORPORATION 2024 ⚫ 名前：吉村 優（よしむら ゆう） @y_yoshi_m ➢ 認定資格等：JSTQB FL / JCSQE初級,中級 / IVECレベル2,3,4 ⚫ 所属：NTTコムウェア株式会社 コーポレート革新本部 ➢ 全社横断的な組織に所属。開発手法/技術の整備と社内普及がミッションです。 ➢ 2021年頃から、探索的テストを活用したテストの支援に取り組んでいます。 ➢ Qiitaの記事も書いてます「マインドから始める探索的テスト #QA - Qiita」 ⚫ マイブーム ➢ 毎年「自家製の梅干し」を作っているのですが、今年は初めて「自家製らっきょう漬け」 に挑戦してみました。漬物楽しい。 自己紹介 1 去年漬けた梅干と → 今年漬けた辣韭と これから漬ける梅 JaSST nano 初めての発表です。 よろしくお願いします。
3. ©︎ NTT COMWARE CORPORATION 2024 「実践力を鍛える探索的テストセミナーを開発したの」 ⚫ 効果的な探索的テストを実現するためには、実践経験を積むことも重要だと思っています。 ⚫ テスト対象やテスト技法に詳しいだけではなく、考え方などの知識として学びにくいポイントも押さえておくことが大切 ⚫ そこで、探索的テストを実体験できるセミナーを開発して、社内で開催しています。 ⚫ 単なる体験セミナーではなく、より実開発に近い経験ができるような工夫をしたので紹介します！ 今日お話しすること 2
4. ©︎ NTT COMWARE CORPORATION 2024 探索的テストは、テスト担当者がテスト対象について学習しながら、テストケースを同時に設計、実行、評価する。 …（略）… テスト担当者が経験豊富で、ドメインの知識があり、分析力、好奇心、創造性などの重要なスキルを高いレベルで 持っている場合、探索的テストはより効果的になる（1.5.1 項参照）。 セミナーを作った経緯 3 [1] ISTQB(International Software Testing Qualifications Board) テスト技術者資格制度 Foundation Level シラバス Version2023V4.0.J01 https://jstqb.jp/dl/JSTQB-SyllabusFoundation_VersionV40.J01.pdf ⚫ 探索的テストとは（JSTQB FLシラバス[1]より引用） ✓ 効果的に探索的テストを行うためには、テストに必要な汎用的スキルを高いレベルで習得すること に加えて、探索的テスト自体の経験を積むことも必要。
5. ©︎ NTT COMWARE CORPORATION 2024 セミナーを作った経緯 4 ⚫ 探索的テストの経験を積む手段 ① 実開発でやってみる ⚫ → 実開発で高い効果を得るためには経験が必要 → 経験を得るためには実開発で… → 実開発で… → … ⚫ 安定しているタイミングを見計らったり、スモールスタートで段階的に導入するといったことが必要となる場合が多い。 ② 研修などの場を活用する ⚫ 有志の方による勉強会は時折開催されているものの、恒常的に実施している体験型の研修はおそらく存在しない。 ⚫ 世の中のソフトウェアテスト練習用のサイト等を使ったワークを行うことも可能だが、探索的テスト特化にするのは難しい。 ✓ 実開発に近い条件で、いつでも探索的テストを体験できるような場が欲しい！ ✓ 自分たちで作ってしまおう！
6. ©︎ NTT COMWARE CORPORATION 2024 セミナーを作る際に考えたこと 5 ⚫ より実践に近い流れを体験できるものにしたい。 ⚫ 「テスト技法の習得」や「テストケースを書かずにテストする経験」といった観点よりも”探索”っぽさの体験に特化させたい ⚫ 実開発のように、状況を踏まえて実施すべきテストの内容を再考するという流れも体験できるようにしたい
7. ©︎ NTT COMWARE CORPORATION 2024 「より実践に近い流れを体験できるものにしたい。」の実現に向けて 6 ⚫ “探索”ってなに？から考えてみる 未知の事柄などを探り調べること[2] 故障やシステムの 想定外の振る舞い ～～～～～ 等を、 様々な情報を使って見つける・知っていく ～～～～～～ [2] goo辞書 https://dictionary.goo.ne.jp/word/%E6%8E%A2%E7%B4%A2/ ～～～～～～～～～～～～ マニュアル、仕様書、システムの振舞い、品質状況、故障情報などを使って怪しい個所を目利き＆深堀り 探索的テストに 置き換えると、 このあたりの情報はテスト中に あまり大きくは変化しないので、 事前に用意しておけば良い。 このあたりのテスト中に 変化していく情報を活用する仕組みを セミナーに取り込めると良さそう （＝実開発での探索的テストに近くなりそう）
8. ©︎ NTT COMWARE CORPORATION 2024 「より実践に近い流れを体験できるものにしたい。」の実現に向けて 7 ⚫ 考えたセミナーの全体像 故障を埋め込んだ題材Webシステム＋ドキュメント類 セミナー受講者 セミナー運営者 探索的テストを 実施 報告を受けた事象のうち、意図的に 埋め込んだ故障については改修をする 探索的テストを 実施 限られたセミナーの時間内で、報告を受け た故障だけをどのように改修するか… マニュアル等の事 前情報から怪しそ うな部分を選定 見つけた怪しい 事象を報告 対処内容を共有 (故障だったもの/故障でな かったもの) 対処内容を踏ま えて次にテストす べき箇所を選定 (テストチャーター設定) (テストチャーター再設定) テスト テスト リリース
9. ©︎ NTT COMWARE CORPORATION 2024 「より実践に近い流れを体験できるものにしたい。」の実現に向けて 8 ⚫ フィーチャーフラグを活用して実現 ⚫ ソースコードに埋め込んだフラグの値をシステムの外部から変更することで、システムの振舞いを変えることができる技術 ⚫ A/Bテストなどの用途で利用されることが多い フィーチャーフラグを具備した故障を埋め込んだ題材Webシステム＋ドキュメント類 セミナー受講者 セミナー運営者 探索的テストを 実施 報告を受けた事象のうち、意図的に 埋め込んだ故障のフラグを切り替える 探索的テストを 実施 マニュアル等の事 前情報から怪しそ うな部分を選定 見つけた怪しい 事象を報告 対処内容を共有 (故障だったもの/故障でな かったもの) 対処内容を踏ま えて次にテストす べき箇所を選定 (テストチャーター設定) (テストチャーター再設定) テスト テスト リリース 「この事象は故障だったので直しまし た」という実開発の流れをセミナーの 時間内で疑似的に再現 （ ココが一番頑張ったところです!! ）
10. ©︎ NTT COMWARE CORPORATION 2024 工夫点のまとめとその他の工夫 9 ⚫ フィーチャーフラグの活用により、埋め込んだ故障の即時ON/OFFを可能に（前ページのお話） ⚫ 「怪しいと思ったけど仕様だった」や「故障を改修したのでテストの続きよろしく」を疑似的に再現。 ⚫ これにより、テスト中に変化する状況を踏まえて次のテストを考え直すという流れを体験できるセミナーに！ ⚫ 埋め込む故障は実際に探索的テストで見つけたことがある事象＆偏りもアリ（テストの7原則） ⚫ 類似故障を別画面に埋め込んだり、1つの画面のたくさんの故障を入れるなどの偏りを作り、1つの故障をちゃんと分析 できれば芋づる式に故障を見つけられるように！ ⚫ 受講者同士の結果も共有し合うことで、幅広い視点を獲得 ⚫ 結果を受講者同士で共有し合う時間を設けることで、他の人のノウハウや気づきを獲得できるように！
11. ©︎ NTT COMWARE CORPORATION 2024 さいごに 10 ⚫ 実践に近い流れが体験できる探索的テストセミナーを開発したことについてお話ししました。 ⚫ フィーチャーフラグ活用などの工夫を入れたことで、実践力が鍛えられるセミナーになったのではないかなと思っています。 ⚫ 実際にこの内容で社内向けにセミナーを開催しており、これまでに50名近い方に受講いただいています。 ⚫ 探索的テストの流れや考え方を習得できた！と、とても好評です。 今後は、例えばデグレの再現やより高度な故障の埋め込み等ができるとより良くなるかも？と思っていたり… 引き続きブラッシュアップしていこうと考えています。
12. ©︎ NTT COMWARE CORPORATION 2024 11 ご清聴ありがとうございました 「JSTQB」は、特定非営利活動法人ソフトウェアテスト技術振興協会の商標または登録商標です。 「IVEC」は、一般社団法人ＩＴ検証産業協会の商標または登録商標です。 「Qiita」は、株式会社エイチームの商標または登録商標です。 その他、記載されている会社名、製品名、サービス名は、各社の商標または登録商標です。