Share
Embed
ソフトウェアテストにおける生成AI活用の最新動向~AIネイティブなE2E自動テストの実践モデル
2026/10/29 開催
BEST PRACTICE Conference for Dev
AIエージェント・自動化で変わる開発現場
講演資料
MagicPod
October 29, 2026
Transcript
32 slides
-
自己紹介 MagicPod エバンジェリスト 伊藤 由貴 / Yoshiki Ito QAエンジニア・テスト自動化エンジニアを 10年以上経験。
テスト自動化技術の普及推進チーム立ち上げや、 事業会社でのQAチーム立ち上げを経て、 2025年よりMagicPodエバンジェリスト。 『ソフトウェアテスト技法練習帳』共著。 JSTQBテスト自動化エンジニアシラバス 翻訳メンバー。 -
ソフトウェアテストとは ソフトウェアからフィードバックを得る活動 デバッグや品質向上といった様々なソフトウェア開発活動で活用 品質レベルを判断し、意思決定(リリース可否等)の材料とする 代表的なソフトウェアテストの目的 仕様や設計と合致していることを確認 要求を満たしていることを確認 バグを見つける プロダクトリスクレベルを確認 テストを効率的に行うことで
開発生産性向上 高品質と高スピードを両立 現代のソフトウェアテストは攻めの活動である 参考:ソフトウェアテスト徹底指南書 〜開発の高品質と高スピードを両立させる実践アプローチ -
ソフトウェアテスト分野における生成AI活用例 テスト計画・分析 要件・仕様変更把握とテ スト観点の洗い出し 機能の要件や仕様変更等、複 数のドキュメントを横断的に 確認して影響範囲を確認。 変更内容に対応したテスト観 点を洗い出す。 テスト設計
テストケース生成 テスト観点や対象機能等の情 報からテストケースを生成。 単体テスト・結合テスト・シ ステムテストなど各レイヤーで 行われる。 テストデータ生成 テストの実行に必要なテスト データを生成。 テスト実装・実行 結果分析・報告 自動テストの生成と実行 結果の集計・レポート テストケースから実行可能な 自動テストを作成。 失敗原因調査・自動修復 実行したテストが失敗した際 にその原因をAIが調査し、 テストに原因があった場合に は自動で修復を行う。 大量の自動テストの実行結果 を人間向けに集計しレポート 化。 テスト観点・不具合情報 DB化 不具合の情報やテスト観点等 の情報を保存し、新規テスト の作成や修正に活用。 他にも、 テストケース優先順位設定 テストオラクル生成 Agentic Testing など様々な適用がなされている -
ソフトウェアテスト分野における生成AI活用例 テスト計画・分析 要件・仕様変更把握とテ スト観点の洗い出し 機能の要件や仕様変更等、複 数のドキュメントを横断的に 確認して影響範囲を確認。 変更内容に対応したテスト観 点を洗い出す。 テスト設計
テストケース生成 テスト観点や対象機能等の情 報からテストケースを生成。 単体テスト・結合テスト・シ ステムテストなど各レイヤーで 行われる。 テストデータ生成 テストの実行に必要なテスト データを生成。 テスト実装・実行 結果分析・報告 自動テストの生成と実行 結果の集計・レポート テストケースから実行可能な 自動テストを作成。 失敗原因調査・自動修復 実行したテストが失敗した際 にその原因をAIが調査し、 テストに原因があった場合に は自動で修復を行う。 大量の自動テストの実行結果 を人間向けに集計しレポート 化。 テスト観点・不具合情報 DB化 不具合の情報やテスト観点等 の情報を保存し、新規テスト の作成や修正に活用。 他にも、 テストケース優先順位設定 テストオラクル生成 Agentic Testing など様々な適用がなされている -
補足:生成AIでテストケースを生成するリスク 特に単体テストを生成させる場合、コードを実装した後にそのままテスト生成 を指示するとバグを見逃す可能性が高まる。 これは実態=コードにバグを含んだ状態を正として、その時点での実装でパス するようなテストを生成してしまうため。(エラー伝搬: Error Propagation) これを回避するための対策として、以下が挙げられる。 実装コードを読ませず、仕様ドキュメントなどのタスク記述のみからテストを生成さ せる
タスク記述が曖昧・不完全であっても、実装を見せるよりも欠陥検出率が高い コード生成前にテストを作成するテスト駆動型のアプローチを採用する 参考:On the risk of coding before testing: An empirical study on LLM-based test generation workflow -
ソフトウェアテスト分野における生成AI活用例 テスト計画・分析 要件・仕様変更把握とテ スト観点の洗い出し 機能の要件や仕様変更等、複 数のドキュメントを横断的に 確認して影響範囲を確認。 変更内容に対応したテスト観 点を洗い出す。 テスト設計
テストケース生成 テスト観点や対象機能等の情 報からテストケースを生成。 単体テスト・結合テスト・シ ステムテストなど各レイヤーで 行われる。 テストデータ生成 テストの実行に必要なテスト データを生成。 テスト実装・実行 結果分析・報告 自動テストの生成と実行 結果の集計・レポート テストケースから実行可能な 自動テストを作成。 失敗原因調査・自動修復 実行したテストが失敗した際 にその原因をAIが調査し、 テストに原因があった場合に は自動で修復を行う。 大量の自動テストの実行結果 を人間向けに集計しレポート 化。 テスト観点・不具合情報 DB化 不具合の情報やテスト観点等 の情報を保存し、新規テスト の作成や修正に活用。 他にも、 テストケース優先順位設定 テストオラクル生成 Agentic Testing など様々な適用がなされている -
ソフトウェアテスト分野における生成AI活用例 テスト計画・分析 要件・仕様変更把握とテ スト観点の洗い出し 機能の要件や仕様変更等、複 数のドキュメントを横断的に 確認して影響範囲を確認。 変更内容に対応したテスト観 点を洗い出す。 テスト設計
テストケース生成 テスト観点や対象機能等の情 報からテストケースを生成。 単体テスト・結合テスト・シ ステムテストなど各レイヤーで 行われる。 テストデータ生成 テストの実行に必要なテスト データを生成。 テスト実装・実行 結果分析・報告 自動テストの生成と実行 結果の集計・レポート テストケースから実行可能な 自動テストを作成。 失敗原因調査・自動修復 実行したテストが失敗した際 にその原因をAIが調査し、 テストに原因があった場合に は自動で修復を行う。 大量の自動テストの実行結果 を人間向けに集計しレポート 化。 テスト観点・不具合情報 DB化 不具合の情報やテスト観点等 の情報を保存し、新規テスト の作成や修正に活用。 他にも、 テストケース優先順位設定 テストオラクル生成 Agentic Testing など様々な適用がなされている -
システム(E2E)テストの自動化 クリックや文字入力などの画面操作、画面表示の確認などをコンピュータで実行可能な形で実装。 主に新規追加・改修箇所以外に影響が出ていないことを確認する回帰(リグレッション)テストで活 用できる。 テストの効率化が期待できる一方で、自動化に関するタスクも発生。現場レベルでは「自動化の導入 に失敗した」 「結局手動テストに戻ってしまった」といった声もよく耳にした。 効果:テストの効率化 テストの頻度向上 テストの範囲拡大
不具合をスピーディに検知 vs 課題:工数増リスク 自動化そのものの手間 メンテナンスが手間 運用の手間 工数増を抑えて効率的に自動化したい -
期待値との比較:AIアサーション 「AIで確認」コマンドは画面の情報をAIが読み取って、意味を理解した上で検証。 例えば画面の中の整合性を確認するテストなど、 これまでは人間による目視確認が必要だったテスト項目も自動化可能に。 1 検索欄に「クリスマス雑貨」を入力 2 「検索」ボタンを押す 3 「表示された商品がすべてクリスマス関連
のものであること」をAIで確認 クリスマス雑貨 ! d e l i Fa ハロウィーン関連の商品 が表示されています! -
結果の分析・改善提案・修復 テストが失敗した場合に、失敗の原因をAIが分析。過去の実行結果なども踏まえ、本当にバグの可能 性があるのか、それともテスト側の原因なのかを判断する支援を行う。 テスト側の原因と思われる場合は、提案内容をもとにAIによるテストの修復も可能。 わかりやすい分析レポートを作成! わかりやすい分析レポートを作成! 1 81 検索ボックスに「マウス」と入力する 2
82 3 83 「商品詳細を開く」をクリックする 「カートに追加」をクリックする このステップでテストが失敗! 失敗した理由を分析します... 分析結果をもとにAIが自動で修復! -
AIネイティブなE2Eテストワークフロー例 ① 仕様変更 人間が生成AIを活用し、 仕様変更を ドキュメントとして まとめる。 テスト観点(オプション) テストに関連する 社内ナレッジ週
②a コード改修 ClaudeやCodex等のAIが仕様変更を読み、 必要な改修を自動で行い、 完了し次第テスト環境にデプロイ。 ②b テストケース更新 ②aと並行し、AIが仕様変更を読み、 既存テストケース中の影響範囲を分析。 該当箇所と変更すべき内容を判断し、更新。 ③自動テストの修正・実行 テストケースの更新内容を読み、 実装済みの自動テストを修正。 テスト環境に対して実行し、 テスト更新とコード改修を確認。 -
ワークフロー例:②b テストケース更新 ・ 「[DesignDoc] 宿泊予約システム:予約可能期間の仕様変更」ページ ・ 「E2Eテストケース⼀覧:宿泊予約システム」ページ の内容をもとに仕様変更の影響を受けるテストケースを特定し、 修正内容を「[DesignDoc] 宿泊予約システム:予約可能期間の仕様変更」ページの「3.
影響分析 & ⾃動テスト修正計画」にまとめ てください。そのうえで、変更内容を「E2Eテストケース⼀覧:宿泊予約システム」に反映してください。 既存のE2Eテストケースの中で、 仕様変更の影響を受ける箇所を特定する。 画面操作・期待結果の中で、 最長予約可能日前後の予約可否をテストしている もの等を検出し、更新対象を特定する。 -
ワークフロー例:③ ⾃動テストの修正・実⾏ ・ 「E2Eテストケース⼀覧:宿泊予約システム」 の変更内容をもとに、MagicPodのテストを修正してください。 ・対象:https://app.magicpod.com/ProjectName/TestName/?branch=main ・テスト設定:5:RegressionTest AIエージェントがテストケースの更新内容を確認し、MagicPodに登録された自動テストを修正。 仕様変更が適用されたテスト対象アプリケーションに対して自動テストを実⾏し、 結果の確認までを行う。
┌──────────┬──────────────┬──────────────────────────────────────────┬────────────────┐ │ テストID │ MagicPod No. │ 修正内容 │ ⼀括実⾏#1結果 │ ├──────────┼──────────────┼──────────────────────────────────────────┼────────────────┤ │ TC-001. │ 52 │ Date calculation の duration_array を90⽇→60⽇に変更(本⽇+2ヶ⽉以内の安全側) │ succeeded │ ├──────────┼──────────────┼──────────────────────────────────────────┼────────────────┤ │ TC-002. │ 53 │ 同上⼀括実⾏設定に含まれている全ケースが実⾏され、すべてPassしていることを確認。 │ succeeded │ └──────────┴──────────────┴──────────────────────────────────────────┴────────────────┘ ✅ ✅ (中略) 実施内容 - MagicPod(newMCP_Blog、branch=main)で TC-001(No.52「ログインせずに予約」 ) 、TC-002(No.53「ログインして予約」 )のDate calculationステップを 90⽇後 → 60⽇後(本⽇+2ヶ⽉以内に確 実に収まる安全側の⽇数)に修正 - ⼀括実⾏設定「5:RegressionTest」でバッチラン#1を実⾏し、TC-001〜TC-002の2件全てが succeeded を確認 - DesignDocの「3. 影響分析 & ⾃動テスト修正計画」に対応状況(完了)と実施結果を追記済み -
AIネイティブなE2Eテストワークフロー例 ① 仕様変更 人間が生成AIを活用し、 仕様変更を ドキュメントとして まとめる。 テスト観点(オプション) テストに関連する 社内ナレッジ週
②a コード改修 ClaudeやCodex等のAIが仕様変更を読み、 必要な改修を自動で行い、 完了し次第テスト環境にデプロイ。 ②b テストケース更新 ②aと並行し、AIが仕様変更を読み、 既存テストケース中の影響範囲を分析。 該当箇所と変更すべき内容を判断し、更新。 ③自動テストの修正・実行 テストケースの更新内容を読み、 実装済みの自動テストを修正。 テスト環境に対して実行し、 テスト更新とコード改修を確認。