プログラミング不要！ テスト自動化における生成AI使いこなし術

2026年3月20日に開催したJaSST Tokyoでの発表資料です。

Transcript

1. プログラミング不要！ テスト自動化における生成AI使いこなし術 2026.03.20 MagicPod CEO 伊藤 望
2. 伊藤 望 (Ito Nozomi) MagicPod CEO 自動テストツール歴：15 年 Selenium コミュニティ主催 X: @ito_nozomi About me
3. Web & モバイルアプリのE2Eテスト自動化ツール 豊富な機能とコマンドによる高い柔軟性 ノーコードなので理解・メンテナンスしやすい
4. エキスパートが作ったテストツール 1.MagicPodの概要 「Selenium実践入門」著者 「初めての自動テスト」翻訳者 appium コミッター 伊藤望 玉川紘子 脇坂雅之 戸田広
5. ユーザー様の活用事例 MagicPodの概要 https://magicpod.com/customer-stories/
6. Agenda 1. テスト作成AI エージェントを活用する 2. 外部AI エージェントからテストを作る 3. テスト失敗の原因を分析する 4. コード変更の影響を受けるテストを特定する 5. テストケースの内容をレビューする 6. テストケースをメンテナンスする 7. アサーションを行う
7. Agenda 1. テスト作成AI エージェントを活用する 2. 外部AI エージェントからテストを作る 3. テスト失敗の原因を分析する 4. コード変更の影響を受けるテストを特定する 5. テストケースの内容をレビューする 6. テストケースをメンテナンスする 7. アサーションを行う
8. テスト作成AIエージェント「MagicPod Autopilot」 チャット内容からノーコードテスト手順を⽣成 動作確認も自動で実施
9. 活用事例：テスト作成作業の効率化 Autopilot でざっくり実装 ➡︎人間が細かい部分を調整 1 人QA が生産性を上げるためにMagicPod を活用したお話 (https://zenn.dev/fujiritsu/articles/c7d104076cbe94)
10. 活用事例：マイナーなコマンドの活用 AI がコマンドを探してくれるので、初心者も上級者のような手順が組める Autopilot によるMagicPod の導入範囲拡大と運用中の失敗事例 (https://speakerdeck.com/kojiokakufu/autopilotniyorumagicpodnodao-ru-fan-wei-kuo-da-toyun-yong-zhong-noshi-bai-shi-li?slide=7)
11. 活用事例：エンジニア知識が必要なテストの実装 例：正規表現の記述に活⽤ Magic Pod auto pilot とClaude で正規表現の壁を突破した話 (https://voicy.jp/channel/784829/7455866)
12. TypeScriptステップの実装にも使える
13. 活用事例：操作要素の特定 操作要素の特定が難しい場合、Autopilot ならうまくいくことも Autopilot がもたらしたMagicPod 導入範囲拡大と運用負担削減の可能性について (https://note.com/happy_ektoji1609/n/n5419328548de)
14. Agenda 1. テスト作成AI エージェントを活用する 2. 外部AI エージェントからテストを作る 3. テスト失敗の原因を分析する 4. コード変更の影響を受けるテストを特定する 5. テストケースの内容をレビューする 6. テストケースをメンテナンスする 7. アサーションを行う
15. Autopilotを「MagicPod MCPサーバ」から利用 Claude などのAI エージェントから、ノーコードテスト手順を作れる 2026 年2 月にリリース
16. Excelファイル等から複数テスト一括生成も可能 現在社内でもPOC 中
17. 課題 対応 粒度が細かすぎる 前処理でおおむね解決 互いに独立していない 「設定画面」など書き方が曖昧 画面遷移・製品仕様書を渡して前処理(未検証) 前処理などの手順が省略されている 手動テストケースそのままではうまくいかない テスト手順書 MagicPod MCP MagicPod Autopilot AIエージェント 前処理 (Excelなど) (Claudeなど)
18. Agenda 1. テスト作成AI エージェントを活用する 2. 外部AI エージェントからテストを作る 3. テスト失敗の原因を分析する 4. コード変更の影響を受けるテストを特定する 5. テストケースの内容をレビューする 6. テストケースをメンテナンスする 7. アサーションを行う
19. MagicPod MCPサーバでテスト結果を取得・分析 https://note.com/magicpod/n/n150fa0d19886#9402789e-c149-4d84-bb2c-3af5446bc692 MagicPod テスト結果 MagicPod MCPサーバー エラーメッセージ ログ・スクリーンショット AIエージェント 原因分析
20. 活用事例：テスト失敗時の原因分析 MagicPod テスト結果と直近のコード変更履歴をもとにエラー分析 E2E テストの失敗要因をAI で特定するSlack bot を作った話 (https://zenn.dev/medley/articles/2ba0bad56ec9d5)
21. 活用事例：MagicPod MCPサーバを使わず原因分析 エラー関連ファイルを丸ごとCursor 等に渡すだけ IDE だけでできる - AI Agent でMagicPod の失敗テストの原因を調査する簡単な方法 (https://qiita.com/YeWenjie/items/af84b7a3c03f676fc92c)
22. MagicPod標準のAI失敗分析機能も開発中 一時的な問題、アプリの挙動変更、テストの不安定性、などを切り分け
23. Agenda 1. テスト作成AI エージェントを活用する 2. 外部AI エージェントからテストを作る 3. テスト失敗の原因を分析する 4. コード変更の影響を受けるテストを特定する 5. テストケースの内容をレビューする 6. テストケースをメンテナンスする 7. アサーションを行う
24. MagicPod MCPサーバで条件に合うテストを検索 https://note.com/magicpod/n/n150fa0d19886#4f345ddc-9974-415c-aa0d-739880751bf8 ユーザーの活用事例もあり MagicPod テスト結果 MagicPod MCPサーバー テスト名・説明 テスト手順（日本語） AIエージェント 条件に合うものを取得
25. Agenda 1. テスト作成AI エージェントを活用する 2. 外部AI エージェントからテストを作る 3. テスト失敗の原因を分析する 4. コード変更の影響を受けるテストを特定する 5. テストケースの内容をレビューする 6. テストケースをメンテナンスする 7. アサーションを行う
26. MagicPod MCPサーバでテスト内容を取得してレビュー MagicPod テスト結果 MagicPod MCPサーバー テスト手順 （日本語形式） AIエージェント レビュー
27. 活用事例：規約に沿っているかのレビュー 命名規約チェック 無駄なステップの検出 Cursor × MagicPod MCP サーバーで、AI レビューの仕組みづくりに挑戦してみた話 (https://zenn.dev/hacobu/articles/dd7715c7cd38c2)
28. Agenda 1. テスト作成AI エージェントを活用する 2. 外部AI エージェントからテストを作る 3. テスト失敗の原因を分析する 4. コード変更の影響を受けるテストを特定する 5. テストケースの内容をレビューする 6. テストケースをメンテナンスする 7. アサーションを行う
29. MagicPod Autopilotで既存のテストを編集 チャットで修正を指示 MCP サーバで外部エージェントからの修正も可能
30. 活用事例：他の作業をしながらテストケース修正 Autopilot がもたらしたMagicPod 導入範囲拡大と運用負担削減の可能性について (https://note.com/happy_ektoji1609/n/n5419328548de)
31. Agenda 1. テスト作成AI エージェントを活用する 2. 外部AI エージェントからテストを作る 3. テスト失敗の原因を分析する 4. コード変更の影響を受けるテストを特定する 5. テストケースの内容をレビューする 6. テストケースをメンテナンスする 7. アサーションを行う
32. 山と空の風景写真が 表示されています! トップページに風景写真が 表示されているか確認する OK! OK! OK! 生成AIによる「AIアサーション」 満たすべき条件を自然言語で記述 条件が満たされるかを生成AI で判定
33. 人間の感覚が必要な 機械的にはできない チェック 人間の感覚が必要な 機械的にはできない チェック 1 動的に変化するなど 複雑な画面の チェック 動的に変化するなど 複雑な画面の チェック 2 データの「意味」を 理解する必要がある チェック データの「意味」を 理解する必要がある チェック 3 「AIアサーション」の使い所
34. 1.人間の感覚が必要な、機械的にはできないチェック 1 2 3 「山の写真」をタップする 「セピア」フィルターをタップする 「プレビューの写真がセピア色で表示され ているか」をAIで確認 セピアフィルター ちゃんとセピア色です！ OK! OK! OK!
35. 2.動的に変化するなど、複雑な画面のチェック 「地図上で店舗住所に、位置アイコンが 表示されていること」をAIで確認 「Magicラーメン茅場町店」をタップ 「店舗詳細」ボタンをタップ 茅場町に位置アイコンが 表示されています 茅場町 OK! OK! OK! 1 2 3
36. 3.データの「意味」を理解する必要があるチェック 「表示された商品がすべてお花見に関連す る商品であること」をAIで確認　 クリスマス関連の商品が 表示されています！ 1 2 3 検索欄に「お花見アイテム」を入力 「検索」ボタンを押す Failed! Failed! Failed! お花見アイテム
37. 活用事例：再生機能の表示確認 音声再生機能のボタンやプログレスバーから再⽣状況をアサーション MagicPod のAI アサーションで音声が再生されているかを確認してみた (https://voicy.jp/channel/784829/7195912)
38. まとめ 1. テスト作成AI エージェントを活用する 2. 外部AI エージェントからテストを作る 3. テスト失敗の原因を分析する 4. コード変更の影響を受けるテストを特定する 5. テストケースの内容をレビューする 6. テストケースをメンテナンスする 7. アサーションを行う
39. ユーザー 登録 無料 トライアル お支払い・ ご利用開始 https://magicpod.com/consulting 導入にあたってのご相談・Q&A 無料トライアル受付中です！