AIでテストケースを作成するジレンマ / 20250912 Suguru Ishii

2025/9/12 JaSST’25 Niigata 懇親会LT
https://jasst.jp/niigata/25-about/

株式会社SHIFT
CATエヴァンジェリスト
石井 優

Transcript

1. Copyright SHIFT Inc., All Rights Reserved. 2025 / JaSST’25 Niigata 石井 優 株式会社SHIFT CATエヴァンジェリスト Suguru Ishii 12 9 LT AIでテストケースを 作成するジレンマ
2. 2 Copyright SHIFT Inc., All Rights Reserved. 登壇者紹介 経歴 2009/4 – 2014/11倉庫系システム部門 2014/12 – 2015/7東中野のPCサポート屋さん・石井屋 2015/8 - SHIFTにおいて、CATサポート、プリセールス、エヴァンジェリスト 石井 優（Suguru Ishii） ソリューション本部 デリバリ改革統括部 デリバリ改革部 サービスプラットフォームグループ CATエヴァンジェリスト CATほど 面白いプロダクトは なかなかない！ 大規模テストの進捗・品質を可視化 テスト管理ツール 「CAT」 約820社 約18,000ライセンス (※） ※2025年3月時点 CAT CM も よろしくね！ 「テスト管理 CAT CM」で検索！
3. 3 Copyright SHIFT Inc., All Rights Reserved. AIとどう付き合っていくか？ テストの文脈でAIの活用は重要なテーマ、あなたはどこで使っていますか？ 計画？テスト観点？ テストケース？ ソフトウェアテストのなかで どこにAIを組み込むといい？
4. 4 Copyright SHIFT Inc., All Rights Reserved. 安直な選択 テストケース自体をつくってもらうことはできる テストケースを つくってもらおう！
5. 5 Copyright SHIFT Inc., All Rights Reserved. AIでテストケースをつくるジレンマ テストケース自体をつくってもらうことはできる…が 出てきたケースが 使えるかどうか、 確認する必要があるなぁ… • 項目名は正しいか？ • 操作順は正しいか？ • 入力の仕方は正しいか？
6. 6 Copyright SHIFT Inc., All Rights Reserved. AIでテストケースを作るジレンマ テストケース自体ををつくってもらうことはできる…が 使えるかどうかを確認 する必要がある • 項目名は正しいか？ • 操作順は正しいか？ • 入力の仕方は正しいか？ これってもはや テストケースの テストですよね
7. Copyright SHIFT INC, All Rights Reserved. 7 そこで…
8. 8 Copyright SHIFT Inc., All Rights Reserved. 対象とするスコープ・利用者のペルソナ 一般的にシナリオ分析と言われるフェーズを補助。シナリオの抽出を支援。 利用者のペルソナ テスト設計リーダー テスト計画の内容を受けて ケース作成方針を決める 要件分析 システム設計 実装 コンポーネント・ 結合テスト システムテスト 受け入れテスト 対象となるフェーズ 支援するスコープ 外部結合テスト以降 テスト設計リーダーが、 素早くテストシナリオの整理・抽出を行うことを ブーストする 対象外 生成AIで出力する抽象度がちょうどよい 生成されたテストケースをテストが必要となりレビューが困難 テスト計画 テストケース作成 業務フロー・シナリオ分析
9. 9 Copyright SHIFT Inc., All Rights Reserved. シナリオテストの複雑さと、今回のAI支援部分 複雑で迷いやすいシナリオを洗い出すステップをAIが支援 AIでの支援部分
10. 10 Copyright SHIFT Inc., All Rights Reserved. 1 アプリ側ネットワーク障害 アプリの通信不可時に適切なエラー表示と再試行ができるか 2 スマートリモコン側ネットワーク障害 リモコンがオフラインの際にクラウド経由でエラーが返されるか 3 操作タイムアウト・リトライ 応答遅延時に自動リトライと適切なエラー通知が行われるか 4 赤外線送信障害 障害物による赤外線送信失敗が正しく検出・通知されるか 5 エアコン電源オフ状態での操作 電源オフでも操作が成功と誤認されるケースを想定し、仕様として扱えるか 6 通信途絶・回復 通信が途中で切れて復旧した場合に、正常動作に戻るか 7 間欠的通信障害 接続と切断を繰り返す環境での安定性と通知の正確さ 8 複合障害（アプリ側ネットワーク障害＋エアコン電源オフ） ネットワーク復旧後もエアコン側の非応答が誤検出されないか 9 高遅延環境での操作 高遅延時に複数コマンドが重複しても正しい結果になるか 10 複合障害（クラウドサーバー障害＋スマートリモコン再起動） 複数障害時のリトライ・通知・安定性 本来、人の手でつくるとめっちゃ時間かかるんです！！ 〈確認事項〉 今回の成果 AIの出力結果 スマートリモコンとエアコンの連携テストシナリオ10個を約30分で出力 提示されたシナリオ
11. Copyright SHIFT INC, All Rights Reserved. 11 仕組み
12. 12 Copyright SHIFT Inc., All Rights Reserved. 取り組み概要 弊社内で生成AIを利用して、テストシナリオを洗い出す取り組みを実施 シナリオの一覧を出力 生成AI (Dify＋Claude) テスト設計リーダー ベテランのテスト設計者と 一緒に相談しながら進める イメージ 生成AIでのシナリオ洗い出しイメージ 図書館システムの 貸出システムです。 はい。ユーザーがカウンター に来て貸出終了までを テストしたい。 貸し出し機能のみとして ください。 シナリオテストについて 教えてください。 このテストは必要 ですか？ テストシナリオを洗い出しました いかがでしょうか！ この理解であって いますか？
13. 13 Copyright SHIFT Inc., All Rights Reserved. UIの紹介 チャット形式のUI（Dify）で 相談しながらつくれる
14. 14 Copyright SHIFT Inc., All Rights Reserved. 会話の内容 フェーズごとに会話しながら要件・業務フローを整理、シナリオ抽出を進める テストの概要、目的、開始点と終了点、 詳細さを教えて下さい テストの概要 スマートリモコンとエアコン 目的 異常時、ネットワークが通信できない、 エアコンの電源が入っていない 開始～終了 アプリを操作してエアコンに設定 詳細さ システムテストレベル 1.テスト目的の 明確化 2.仕様情報の 整理 機能、ルールを列挙しました。 曖昧な点はこれです。 １．通信障害の種類・発生場所は？ ２．エラー処理とユーザーへの通知は？ ３．通信回復後、未完了の操作はどうなる？ １．完全断絶、接続不安定、高遅延 アプリ-クラウド-リモコン-エアコン の各間 ２．ポップアップアラートを出す ３．回復後なにもしない、操作はタイムアウト させる １．最新の情報を取得する ２．処理の成功・失敗をフィードバックするのみ 3.業務フロー 分析＆出力 要件が明確になりました。アクターやフロー間 の関連性を提示します。次の疑問があります。 １．通信回復後、アプリを再表示したら最新の 状態が表示される？ ２．30秒ごとに接続・切断するときユーザーに は頻繁にエラーがでる？ フローを抽出しました。 正常系フロー、異常系１・２・３… 4.基本シナリオ フロー出力 シナリオを10個抽出しました。 １．アプリ側ネットワーク障害 ２．リモコン側ネットワーク障害… OKです。シナリオ抽出を行ってください。 ありがとうございます！
15. 15 Copyright SHIFT Inc., All Rights Reserved. まとめ 30分ほどで無理なくシナリオを客観的に洗い出せる未来が見えた！ 結果 気づき お土産 紹介したチャットの全文PDF 先輩の作成プロセスを言語化して、後輩 に示すことで伝授可能となった 客観に回ることで「あ、こういうのも やっておきたい」という発見ができる ほどよいステップバイステップで、各アウト プットに対するレビューが非常にしやすい ベテラン設計者がコンサルティングして くれる安心感（仕様や状態の確認など） 30分足らずで行える素早さを実現 思考プロセスが可視化されるため、レ ビューや伝達がしやすい 期待を超えるUX 本日メンバーが お土産を配ります！ ぜひお声がけください～！
16. 16 Copyright SHIFT INC, All Rights Reserved. SHIFT・製品紹介
17. 17 Copyright SHIFT Inc., All Rights Reserved. CAT・TD フリープラン リリース！ 小規模なチーム向けに永続的に無償でご利用いただけるプランをご用意しました！ 「テスト管理 CAT」で検索して今すぐ利用開始！ フリープランの特徴 主要機能は 制限なし テスト管理、課題管理、 進捗管理、分析 最大ユーザー数 10 ユーザー 利用開始まで 約3分 カードの登録も不要！ サポートも利用化 （ベストエフォート） サンプルデータも 利用可！ こんなお客様へおすすめ • 小規模なチームでテスト管理・課題管理を利用したい • ノーマルプランの利用検討のために長期で利用したい • CATに興味があるのでとりあえず触ってみたい とことん使い倒す技 • 1組織内でもメールアドレスが異なる場合は複数の環境も構築可能 • 課題管理のカスタマイズも無制限 カスタムフィールドやフローで課題管理・分析基盤を構築 • テスト仕様書や課題の登録は無制限 • 高度な進捗管理、分析機能でプロジェクトを見える化 制限事項（ノーマルプランとの差異） • 同時プロジェクト管理数：5個 • 最大ユーザー数：10ユーザー • 90日利用利用しない場合自動クローズ • 連携機能などの制限あり （外部BTS連携、ガントチャートなど） 詳細は価格ページをご確認ください サンプルデータを触って各種機能をお試しいただけます 製品HPイメージ
18. Copyright SHIFT Inc., All Rights Reserved. ご清聴ありがとうございました