テスト自動化がさらに加速！生成AIが作成・修正・分析まで行う『エージェント型テスト』の全貌

2025年8月6日に開催しました mabl ウェビナー
テスト自動化がさらに加速！
生成AIが作成・修正・分析まで行う『エージェント型テスト』の全貌
https://www.mabl.com/ja/webinar/lp/ai-agentic-launch-webinar
での使用スライドです。

Transcript

1. テスト自動化がさらに加速！ 生成AIが作成・修正・分析まで行う 『エージェント型テスト』の全貌
2. スピーカー 舟木 将彦 • Dejima社にてSiri, Bixbyの前身となるエージェント を開発、SAP、MSを経て、CircleCI、mablにてお客 様の開発プロセスの自動化を推進。 • mabl大学 東京校にてmabl活用ビデオを公開 https://university.mabl.com/page/ja-tokyo-classes ソリューションエンジニア, mabl
3. 本日の内容 • 会社紹介 - mabl(めいぶる)とは • 求める品質に対するギャップの拡大 - 生成AI活用で開発は加速した。テストは？ • mabl が提供するローコードによるテスト自動化を生成AIでさらに加速 ◦ テスト作成エージェント：こんなテストを作成して　 ◦ テスト失敗自動分析：こんなふうにテストを修正して ◦ ビジュアルアシスト：画面中のこんな要素をタップして • まとめ
4. 会社紹介 - mabl (めいぶる)とは • 2017年ボストンで創業 • 2021年8月に日本法人設立 • グローバルの社員数は約110名 • Fortune Globalの35社含む400社弱が採用 • GV、CRV、Amplify、Vista Equity Partner、 Presidioより 7,700万ドル (120億円) を調達 2023 Best AI-based Solution for Engineering 2022 Best AI-based Solution for Engineering 2020 Best AI-based Solution for Engineering 2019 Best AI Tool for Developer https://aibreakthroughawards.com/ 2024 Best AI-based Solution for Engineering
5. 求める品質に対するギャップの拡大 開発 (Dev) ウォーター フォール 手動 アジャイル 品質保証 (QA) 旧来のテスト自動化 オープンソースの テスト自動化 DevOps 最新の テスト自動化 品質に 対する ギャップ 生成 AI 時間 速度 2028年までに、エンタープライズソフトウェア エンジニアの 75% が AI コードアシスタントを使用し、 開発速度を劇的に加速させるでしょう - ガートナー コードアシストを使用する開発者は、タスクを 55% 速く完了して います。 - GitHub 企業の62%が開発にAIエージェントを活用しており、 96%が1年以内に導入を拡大する予定です。 – Cloudera
6. ローコードによるテスト自動化を 生成AIでさらに加速
7. コーディングなしでOK！ ローコードでサクっとテスト作成
8. ローコードでのテスト作成 • コードを使ったテストの柔軟性(書けばできる)と ノーコードの手軽さ(書かなくてもできる)のいいとこ取り • ブラウザテストの裏側ではPlaywright(2020/01公開)が動作 ◦ mablは2017年創業、2018年にリリース ◦ その時点でベストな技術をmablのインターフェース＋独自の機能で提供 ▪ 画面変更に対する自動修復(ロバストなロケータ) ▪ ID,パスワード,MFA認証情報をセキュアに格納 ▪ メールアドレス払い出し(メール連携もテスト可能) ▪ ダウンロードしたPDFの内容チェック 等
9. デモ
10. 毎回変わる表示もOK！ 生成AIで賢くアサーション
11. 従来のアサーション vs 生成AIを使ったアサーション • mablの従来のアサーション ◦ ページ上のエレメント(画面表示) - 文字列や数値とのマッチング ◦ URL、Cookie ◦ 変数 ◦ メール、ファイルのダウンロード(PDFの内容) • 生成AIを使ったアサーション(ブラウザ、モバイル) ◦ ページ全体、またはページの一部を検証(スクリーンショットを評価) ◦ 例「表示されている一覧が検索結果表示として適切か」(要素不定) 　「表に時系列に沿って天気、気温が表示されており、 　　最高気温、最低気温が読み取れる」（表） ◦ アサーションに関わるデータはトレーニングに使用されない
14. デモ
15. コラボ レーション 考える 実行する 観察する 学習する インテリジェンス に加えて 自動化が必要 AIによる破壊的変化への対応
16. 1. テスト作成エージェント 「こんなテストを作成して」
17. エージェントによるテスト作成 • ブラウザテスト、モバイルアプリテスト、APIテストでサポート • テストの意図→タスク分割→テストステップ作成→アサーション追加 ※したがって「検索ボタンを押す」ではなく 「検索キーワードにテスト自動化と入力し、検索ボタンを押したら、 　テスト自動化に関連するページが表示されるか確認する」 • エージェントは、プロンプト、ブラウザ上の表示、API仕様(APIテスト) ＋ 意図が類似した既存テストステップ(もしあれば)を参照しながら作成 • ある意味、LLM + RAG で社内情報検索システムを構築するのと類似 LLMは「常識」を扱い、テスト対象アプリの知識は既存テストから取得
18. Playwright MCPの自然言語ブラウザ操作との違い プロンプト ブラウザ画面 既存テスト (ベクトルDBに格納) ログを元に生成 AIで自動修復
20. 2. テスト失敗自動分析 「どこが悪いか教えて」
21. テスト結果: 自動失敗分析, スクリーンショット, ログ
22. 3. ビジュアル検索 「画面上のこんな要素をタップして」
23. ビジュアル検索によるターゲット要素指定 • 現時点ではモバイルテストのタップステップでのみサポート • 画面上の要素を指定する際に、現状では、セレクターやクラスなどの 属性に依存している。 ◦ 全部のイメージボタンが同じ属性 ◦ 実行のたびに動的にIDが付与される(業務パッケージに多い) • 人間は目視で要素を区別できるのだから、生成AIの力を活用し、 視覚的な特徴に基づいて要素をターゲットにすればよいのでは？
25. まとめ
26. mablで品質に対するギャップは埋められます 開発 (Dev) ウォーター フォール 手動 アジャイル 品質保証 (QA) 旧来のテスト自動化 オープンソースの テスト自動化 DevOps 最新の テスト自動化 品質に 対する ギャップ 生成 AI 時間 速度 2028年までに、エンタープライズソフトウェア エンジニアの 75% が AI コードアシスタントを使用し、 開発速度を劇的に加速させるでしょう - ガートナー コードアシストを使用する開発者は、タスクを 55% 速く完了して います。 - GitHub 企業の62%が開発にAIエージェントを活用しており、 96%が1年以内に導入を拡大する予定です。 – Cloudera
27. トライアルで体感する URL: https://mabl.com/ja/
28. 新規開校した mabl大学 東京校で学ぶ URL: https://university.mabl.com/page/ja-tokyo-classes
30. アンケートにお答えください！ 本日はご参加いただき ありがとうございます！ mablご紹介ウェビナーのアンケート 回答にご協力お願いします。
31. Thank You!