20260828_品質と開発生産性を両立させる、AI時代のE2Eテストの考え方

Transcript

1. AIコーディングの次。AIを使ったレビューとテストで開発生産性を向上させよう 品質と開発生産性を両立させる、 AI時代のE2Eテストの考え方
2. 目次 1. はじめに 2. AI時代の品質と開発生産性 3. E2Eテストの担う役割 4. まとめ
3. 概要 ソフトウェア開発における生成AIが普及した現在、開発スピードや生産性と 品質との両立が現場の課題です。 AIは短時間にたくさんのコードを生成できる一方、品質に問題があり、 結果として手戻りが発生する場面もあります。 本セッションではAI時代にも通用する品質の考え方と、 E2Eテストが担う役割についてご紹介します。
4. 自己紹介 MagicPod エバンジェリスト 伊藤 由貴 / Yoshiki Ito QAエンジニア・テスト自動化エンジニアを 10年以上経験。 テスト自動化技術の普及推進チーム立ち上げや、 事業会社でのQAチーム立ち上げを経て、 2025年よりMagicPodエバンジェリスト。 『ソフトウェアテスト技法練習帳』共著。 JSTQBテスト自動化エンジニアシラバス 翻訳メンバー。
5. テスト自動化で リリースサイクルの高速化を支援 AIがテスト実装から実施、報告までをサポート 読みやすくメンテナンス性の高い自動テストを誰でも モバイルアプリとブラウザ テストに対応 AI×ノーコードで テスト自動化を当たり前に
6. 特徴：ノーコードでテスト自動化が可能 1 要素自動検出を開始 2 3 テストステップを作成 4 テスト結果と結果詳細画面への導線 画面上から テスト対象要素を選択
7. 目次 1. はじめに 2. AI時代の品質と開発生産性 3. E2Eテストの担う役割 4. まとめ
8. 生成AI活用の現状と課題 2025 DORA State of AI-assisted Software Development reportによると、 生成AIの活用が進んだ組織ほど デプロイ頻度など、スループットやパフォーマンスが向上した一方で ソフトウェアデリバリーの不安定性が増加した というデータがある。 ※レポート中では「不安定性の増加は高パフォーマンスと引き換えに許容できるトレードオフである」 とも言及されている。
9. 目先の開発生産性のみを考える危険性 目先の開発生産性（スピード）のみを追求すると品質コストが増加 障害対応、不具合修正をはじめ開発部門以外も含めた負荷がかかる 目先の生産性が上がっ（たように見え）ても、ユーザーに届ける価値の生産性が上がらない “品質保証の時間を削ってリリース日を守ると、障害はリリース後に一気に噴き出しま す。リリース後30分で20件を超える問い合わせが入るといった事態は、削った検証時 間の請求書として返ってきます。 ” 引用：スピードの誤解 ～「速く出せば生産性は上がる」は本当か～|CodeZine（コードジン）
10. プロダクト品質とプロセス品質 プロセス ソフトウェア製品 影響 プロセス品質 ソフトウェア製品の効果 影響 内部特徴 依存 影響 外部特徴 依存 利用時の品質 依存 利用状況 プロセス測定 内部測定量 外部測定量 図： ライフサイクルでの品質 出典： 〔ISO/IEC 25010:2011〕 JIS X 25010:2013 利用時の品質測定量
11. プロダクト品質とプロセス品質 プロセス ソフトウェア製品 影響 プロセス品質 影響 内部特徴 依存 ソフトウェア製品の効果 影響 外部特徴 依存 利用時の品質 依存 利用状況 ユニットテストや プロセス測定 内部測定量 外部測定量 コードレビューによって 担保 図： ライフサイクルでの品質 出典： 〔ISO/IEC 25010:2011〕 JIS X 25010:2013 利用時の品質測定量
12. プロダクト品質とプロセス品質 プロセス ソフトウェア製品 影響 プロセス品質 影響 内部特徴 依存 E2Eテストなど で担保 ソフトウェア製品の効果 影響 外部特徴 依存 利用時の品質 依存 利用状況 プロセス測定 内部測定量 外部測定量 図： ライフサイクルでの品質 出典： 〔ISO/IEC 25010:2011〕 JIS X 25010:2013 利用時の品質測定量
13. ソフトウェアテスト分野における生成AI活用例 テストケース生成 テストオラクル（結果の判定基準）生成 自動テストの生成 テストケースの優先順位付け テストの保守 テスト自動実行 テストの拡充・改善 など
14. 目次 1. はじめに 2. AI時代の品質と開発生産性 3. E2Eテストの担う役割 4. まとめ
15. E2Eテストの役割 ユーザーが実際に操作する環境を想定し、システム全体が期待通りに 動作するかを検証するテスト。 AIを活用した開発においては、特にガードレールとして活用されている。 E2Eテストを実行することで、 ユーザーが期待する動作が行えていることを担保 価値を損なうようなリグレッションを検知 ができる。
16. これまでのE2Eテストの捉え方 コスト高・実行時間長 E2E E2E API API Unit Unit アイスクリームコーン コスト低・実行時間短 E2Eは高コストで遅くメンテナンスが大変 →必要最小限に止めるべき テストピラミッド
17. 生成AIによるE2Eテストの変化 生成AI以前 作成・保守・実行のコストが高い 不安定 必要最低限 現在 作成・保守・実行の効率UP 不安定さへの対応をAIが支援 適用範囲を広げても運用可能に E2Eテスト＝万能、ではないが、以前よりも適用しやすく
18. AI駆動開発におけるテストのバランス 引用： 『プロフェッショナルAI駆動開発』 松本淳太郎，サカモト 著 株式会社松尾研究所 金剛洙 監修 技術評論社
19. MagicPodの生成AI関連機能 MagicPodは、テスト作成のMagicPod Autopilot、結果確認のAIアサーション、 メンテナンスのAI自動修復の3つの機能を搭載し、自動テストの継続を強力にサポートします。 テスト作成 テスト結果確認 テストメンテナンス MagicPod Autopilot AIアサーション AI自動修復 ユーザーの指示に基づき、テスト 画面の内容やテキストを理解し、 UIに変更があった場合に、AIが を自動で作成します。既存テストの 従来は人間が検証する必要があっ テストケース側の修正を提案・修 修正などにも幅広く対応します。 たテスト項目も自動化します。 復します。
20. テスト作成：MagicPod Autopilot Autopilotのチャット形式の入力欄に「＊＊＊を行うテストを作成して」などの指示を 出すことで、Autopilotが自動で適切なテストを検討・作成し実行します。 Autopilotのチャットから指示を出します。
21. テスト結果確認：AIアサーション 「AIで確認」コマンドは画面の情報をAIが読み取って、意味を理解した上で検証します。 これまでは人間による目視確認が必要だったテスト項目も、自動化できるようになりました。 1 検索欄に「東京都千代田区」と入力 2 検索ボタンをクリック 3 OK! OK! 千代田区 検索結果画面で「千代田区に位置アイコン が表示されているか」を AIで確認 千代田区にアイコンが 表示されています
22. テストメンテナンス：AI自動修復 テスト対象アプリケーションに変更等があると、そのままではテストは失敗してしまいます。 MagicPodのAIはテストを自動で修復して実行を継続。実行後に修正案を提案します。 自動修復が働くと「要確認」 ! と表示されます
23. MCPサーバーで外部AIエージェント連携 AIエージェントでテストケースを作成し、それをMCPサーバー経由で MagicPodの自動テストとして実装→実行 などの流れも可能。 ユーザー Aプロジェクトのテストを 全部実行してください MagicPod AIエージェント Claude Cline Cursor MCP サーバー MCP サーバー テストを実行 テストを実行
24. 生成AIを用いたE2Eテストワークフローの例 ３．STGデプロイ ２．コード改修 ４．ClaudeCode＋ MagicPod MCPで 自動テストを修正・実行 １．仕様変更 ２．テスト内容更新
25. 目次 1. はじめに 2. AI時代の品質と開発生産性 3. E2Eテストの担う役割 4. まとめ
26. まとめ ソフトウェア開発の現場における生成AI活用が進んでいるが、パフォーマ ンスの向上や目先の開発生産性向上の裏で、品質低下のリスクも存在 品質の低下は、開発生産性の低下にもつながる 開発プロセスそのもの・コードや設計・ふるまいと各段階の品質が相互に 影響するため、全体を考える必要がある コードレビューもテストもどちらも大切 生成AIの活用により、E2Eテストの技術やツールもこれまでより進化。AI駆 動開発におけるガードレールとしての役割を担い、結果的に品質向上や開 発生産性向上に寄与。