シナリオテストにおける生成AI活用のアプローチと実用例 / 20251205 Suguru Ishii

2025/12/05 JaSST’25 Tokai
https://jasst.jp/tokai/25-about/

株式会社SHIFT
CATエヴァンジェリスト
石井 優

Transcript

1. Copyright SHIFT Inc., All Rights Reserved. 2025 / JaSST’25 Tokai 石井 優 株式会社SHIFT CATエヴァンジェリスト Suguru Ishii 5 12 シナリオテストにおける 生成AI活用のアプローチと実用例
2. 2 Copyright SHIFT Inc., All Rights Reserved. 登壇者紹介 経歴 2009/4 – 2014/11倉庫系システム部門 2014/12 – 2015/7東中野のPCサポート屋さん・石井屋 2015/8 - SHIFTにおいて、CATサポート、プリセールス、エヴェンジェリスト 石井 優（Suguru Ishii） ソリューション本部 デリバリ改革統括部 デリバリ改革部 サービスプラットフォームグループ CATエヴァンジェリスト CATほど 面白いプロダクトは なかなかない！ 大規模テストの進捗・品質を可視化 テスト管理ツール 「CAT」 約820社 約18,000ライセンス (※） ※2025年3月時点 CAT CM も よろしくね！ 「テスト管理 CAT CM」で検索！
3. 3 Copyright SHIFT Inc., All Rights Reserved. 昨今のテストエンジニアリング 世の中は生成AIの活用どころを模索中。 テスト実行をAIで 自動化するのか テストケースを 全自動生成するか テスト観点を 生成するか 成果物レビューを AIに依頼 テストベースは どう入力するか
4. 4 Copyright SHIFT Inc., All Rights Reserved. 昨今のテストエンジニアリング テスト実行をAIで 自動化するのか テストケースを 全自動生成するか テスト観点を 生成するか 成果物レビューを AIに依頼 テストベースは どう入力するか SHIFTは、シナリオテストでの活用例を実証中。 参考になれば幸いです。 世の中は生成AIの活用どころを模索中。
5. 5 Copyright SHIFT Inc., All Rights Reserved. 取り組みについて シナリオテストAIはSHIFTが独自開発した対話型エージェント AIの質問 ユーザーの回答 チャット形式のUI（Dify）で 相談しながらつくれる SQFの考え方がベース • 標準化された6つのステップ • プロ監修のプロンプト SHIFTの品質フレームワーク Dify Difyでワークフローを構築 • ステップに応じたプロンプトを 設定 • ヒアリングするように振る舞う
6. 6 Copyright SHIFT Inc., All Rights Reserved. 1 アプリ側ネットワーク障害 アプリの通信不可時に適切なエラー表示と再試行ができるか 2 スマートリモコン側ネットワーク障害 リモコンがオフラインの際にクラウド経由でエラーが返されるか 3 操作タイムアウト・リトライ 応答遅延時に自動リトライと適切なエラー通知が行われるか 4 赤外線送信障害 障害物による赤外線送信失敗が正しく検出・通知されるか 5 エアコン電源オフ状態での操作 電源オフでも操作が成功と誤認されるケースを想定し、仕様として扱えるか 6 通信途絶・回復 通信が途中で切れて復旧した場合に、正常動作に戻るか 7 間欠的通信障害 接続と切断を繰り返す環境での安定性と通知の正確さ 8 複合障害（アプリ側ネットワーク障害＋エアコン電源オフ） ネットワーク復旧後もエアコン側の非応答が誤検出されないか 9 高遅延環境での操作 高遅延時に複数コマンドが重複しても正しい結果になるか 10 複合障害（クラウドサーバー障害＋スマートリモコン再起動） 複数障害時のリトライ・通知・安定性 本来、人の手でつくるとめっちゃ時間かかるんです！！ 〈確認事項〉 今回の成果 AIの出力結果 スマートリモコンとエアコンの連携テストシナリオ10個を約30分で出力 提示されたシナリオ
7. 7 Copyright SHIFT Inc., All Rights Reserved. 仕組み概要 フェーズごとに会話しながら要件・業務フローを整理、シナリオ抽出を進める テストの概要、目的、開始点と終了点、 詳細さを教えて下さい テストの概要 スマートリモコンとエアコン 目的 異常時、ネットワークが通信できない、 エアコンの電源が入っていない 開始～終了 アプリを操作してエアコンに設定 詳細さ システムテストレベル 1.テスト目的の 明確化 2.仕様情報の 整理 機能、ルールを列挙しました。 あいまいな点はこれです。 １．通信障害の種類・発生場所は？ ２．エラー処理とユーザーへの通知は？ ３．通信回復後、未完了の操作はどうなる？ １．完全断絶、接続不安定、高遅延 アプリ-クラウド-リモコン-エアコン の各間 ２．ポップアップアラートを出す ３．回復後なにもしない、操作はタイムアウト させる １．最新の情報を取得する ２．処理の成功・失敗をフィードバックするのみ 3.業務フロー 分析＆出力 要件が明確になりました。アクターやフロー間 の関連性を提示します。次の疑問があります。 １．通信回復後、アプリを再表示したら 最新の状態が表示される？ ２．30秒ごとに接続・切断するとき ユーザーには頻繁にエラーがでる？ フローを抽出しました。 正常系フロー、異常系１・２・３… 4.基本シナリオ フロー出力 シナリオを10個抽出しました。 １．アプリ側ネットワーク障害 ２．リモコン側ネットワーク障害… OKです。シナリオ抽出を行ってください。 ありがとうございます！
8. 8 Copyright SHIFT Inc., All Rights Reserved. 裏側 精通者がフェーズごとにプロンプトを定義し、ヒアリングアプリに仕立てた フェーズ プロンプト 1.テスト目的の 明確化 2.仕様情報の 整理 3.業務フロー 分析＆出力 4.基本シナリオ フロー出力 5.テスト観点 出力 6.因子・水準出力
9. 9 Copyright SHIFT Inc., All Rights Reserved. なぜシナリオ選定なのか？利用者のペルソナは？ シナリオ分析は抽象度が高くAIでの支援をしやすい 利用者のペルソナ テスト設計リーダー テスト計画の内容を受けて ケース作成方針を決める 要件分析 システム設計 実装 コンポーネント・ 結合テスト システムテスト 受け入れテスト 対象となるフェーズ 支援するスコープ 外部結合テスト以降 テスト設計リーダーが、 素早くテストシナリオの整理・抽出を行うことを ブーストする 対象外 生成AIで出力する抽象度がちょうどよい 生成されたテストケースをテストが必要となりレビューが困難 テスト計画 テストケース作成 業務フロー・シナリオ分析
10. 10 Copyright SHIFT Inc., All Rights Reserved. 現場での声、使い所 QAの作業観点だけでなく、チームビルディングにも有用との声。 つくった叩き台をもとに開発者にヒアリ ングは戦略的にもよさそう。肉付けや枝 葉を追加すればよい状況が生まれる。 人力ではAIと同じところまでいくには、3 日間くらいはかかる。細かいところの修 正や追加などはあるが、ベースがここま でできるとAIで実施したくなりますね。 出力は既存の計画とほぼ類似しており、 使える内容。自分がつくったものと方 向性が7～8割一致していたため、 高評価。 使用頻度は高く、計画作成時に活用 している。AIを使うことで計画作成時 間が約半分に。自己レビューの削減や アウトプットの整理に助かっている。ゴー ルが明確な場合に特に有効。 QAチーム観点 チーム構築観点 初心者が教育目的で使う、QAメン バーのレベルを判断にするのに使うと いったチームビルディングにも役立つ。 シナリオAIに対するフィードバック
11. 11 Copyright SHIFT Inc., All Rights Reserved. 新しいシナリオテストの作成イメージ シナリオ・ 観点洗い出し 開発者 レビュー 修正 開発者 レビュー 完成 QA AIで洗い出し、 お、この観点も あるな QA 足りてます か？ たしかにこれ必要 ですね。あとこっ ちもお願いします。 開発者 QA 修正しました。 いいですね、こ れでいいと思い ます。 開発者 半日 計 2日 最初から高い完成度 早期のレビューで高速ブラッシュアップ 1日 AIを活用した シナリオ洗い出し例 3日かかる叩き台作成を短縮、 開発者のレビューを早期に実施し、 完成度を向上 開発者は仕様の矛盾な どを早期に知り、 シフトレフトに寄与 人力と比較して高速・ 高品質のシナリオテスト 作成を実現 高速なシナリオの洗い出し・レビューのラリーが、品質を高める。
12. 12 Copyright SHIFT Inc., All Rights Reserved. まとめ テスト文脈でAIを取り入れる未来はもうここまで来ている。 お土産 紹介したチャットの全文PDF 最大3日の作業を30分足らずで行える素早さを実現 声をかけていただければ このお土産をお渡し！ よろしくお願いします！ 実使用からシナリオテストの提案・構築方法が変 わったとの実績あり AIの活用によりシフトレフトに寄与する可能性あり
13. 13 Copyright SHIFT INC, All Rights Reserved. SHIFT・製品紹介
14. 14 Copyright SHIFT Inc., All Rights Reserved. CAT・TD フリープラン リリース！ 小規模なチーム向けに永続的に無償でご利用いただけるプランをご用意しました！ 「テスト管理 CAT」で検索して今すぐ利用開始！ フリープランの特徴 主要機能は 制限無し テスト管理、課題管理、 進捗管理、分析 最大ユーザー数 10 ユーザー 利用開始まで 約3分 カードの登録も不要！ サポートも利用化 （ベストエフォート） サンプルデータも 利用可！ こんなお客様へおすすめ • 小規模なチームでテスト管理・課題管理を利用したい • ノーマルプランの利用検討のために長期で利用したい • CATに興味があるのでとりあえず触ってみたい とことん使い倒す技 • 1組織内でもメールアドレスが異なる場合は複数の環境も構築可能 • 課題管理のカスタマイズも無制限 カスタムフィールドやフローで課題管理・分析基盤を構築 • テスト仕様書や課題の登録は無制限 • 高度な進捗管理、分析機能でプロジェクトを見える化 制限事項（ノーマルプランとの差異） • 同時プロジェクト管理数：5個 • 最大ユーザー数：10ユーザー • 90日利用利用しない場合自動クローズ • 連携機能などの制限あり （外部BTS連携、ガントチャートなど） 詳細は価格ページをご確認ください サンプルデータを触って各種機能をお試しいただけます 製品HPイメージ
15. 15 Copyright SHIFT Inc., All Rights Reserved. カジュアル面談も受け付け中！ https://x.com/shiftevolve_jp 今日の話に興味をもってくださった方へ 資料の公開やイベント告知は X で配信中！
16. 16 Copyright SHIFT Inc., All Rights Reserved. アンケートにご協力お願いします。 本セッションの感想をお聞かせください。
17. Copyright SHIFT Inc., All Rights Reserved. ご清聴ありがとうございました