生成AI時代のソフトウェア品質保証を考える

2025/5/2 PM/Tech Lead向け:導入するなら今！AI開発支援サービス5社による徹底解説ウェビナーにて使用したスライドです。

Transcript

1. 2025/5/2 mabl K.K. Quality Advocate odasho
2. What's mabl? • 「めいぶる」と読みます • Stackdriver（現 Google Cloud Operations）の 創業者 Izzy と Dan が2017年ボストンで創業 • 2021年8月に日本法人設立 • グローバルの社員数は約85名 • Fortune Globalの35社含む300社+が採用 • GV、CRV、Amplify、Vista Equity Partner、 Presidioより 7,700万ドル (110億円) を調達 2023 Best AI-based Solution for Engineering 2022 Best AI-based Solution for Engineering 2020 Best AI-based Solution for Engineering 2019 Best AI Tool for Developer 2024 Best AI-based Solution for Engineering https://aibreakthroughawards.com/
3. 求める品質に対するギャップの拡大 開発 (Dev) ウォーター フォール 手動 アジャイル 品質保証 (QA) 旧来のテスト自動化 オープンソースの テスト自動化 DevOps 最新の テスト自動化 品質に 対する ギャップ 生成 AI 時間 速度 「2028年までに、エンタープライズソフトウェア エンジニアの 75% が AI コードアシスタントを使用し、 開発速度を劇的に加速させるでしょう」 - ガートナー 「コードアシストを使用する開発者は、タスクを 55% 速く完 了しています。」 - GitHub
4. Web/Mobile/APIのための統合型プラットフォーム 4 AI、クラウド、ローコードの 最新テクノロジーを軸に 構築されたプラットフォーム Web、モバイル、APIテストを 単一のプラットフォームで実行 テストの再利用性を備えた 真のエンドツーエンドテスト
5. 現状のQAに関する問題点 スピード: 従来型のテスト手法では 現在のソフトウェアリリースサイクルにつ いていけない サイロ化: テスト実施がチームごとに サイロ化され、アジリティや可視性が 犠牲になっている メンテナンス: 開発チームがテストコード のメンテナンスに多くの時間を費やしてい る
6. 現状のQAに関する問題点 (アンケート結果) 6割以上が『手動でのテスト対応』と 回答 『テストメンテナンス』 『構築と実行に時間がかかりすぎる』 『自動化を行うためのコーディング知識がない』 が最多回答
7. ノーコードでテストを作成、ローコードで拡張 テスト作成の流れ 1. ブラウザでテスト対象アプリを 操作 2. トレーナー（右側ウィンドウ） が各操作をステップとして記録 してテストを作成 3. 必要に応じてステップの追加・ 削除・変更が可能
8. マネージドなテストプラットフォーム 機能/非機能テストをカバーするプラットフォーム • Web UIテスト • モバイルWeb UIテスト • APIテスト • アクセシビリティテスト • UI/API パフォーマンステスト • ネイティブモバイルアプリテスト • データベースコネクション
9. 既存CI/CDツールと簡単に統合 CI/CDインテグレーション Mabl アプリ (デスクトップ、Web) Mabl Cloud レ ート コラ レーションツール お使いのアプリケーション Mabl Link optional バグ追跡
10. https://github.com/apps/mabl-bot 例えば) GitHub インテグレーション Deployment action Run mabl tests action Actions 2.0 Deployments API Tests Test Results API DEPLOYMENT EVENT POLL FOR TEST RESULTS TRIGGER デプロイメント アクション mabl テスト実行 アクション デプロイイベント 実行 テスト テスト結果を連携
11. より良い品質のソフトウェアをより早く提供 11 3倍 速くテストを作成 スピード向上 70% メンテナンスコスト削減 効率化 10倍 速くテストを実行 加速化 80% 自社開発ソリューション よりも低コスト コスト削減
12. エンタープライズ対応の万全なセキュリティ SOC II Type 2 GDPR
13. Wait timeの自動生成 創業当初からAIを活用していたmabl
14. UI変更を検知しテストを自動修復して実行を継続 創業当初からAIを活用していたmabl どうやってテストを自動修復する？ • テスト実行のたび要素ごとに 35以上の属性を記録 • 要素が見つからない時、 属性情報を使い要素を検索 • マッチした要素でテストを 修正して実行 • 自動修正をユーザーに通知し、 正しく修正されているか確認
15. mablの様々な 生成AI活用
16. アプリケーション内の要素が大幅に変更され、テス ト対象要素が見つからない場合に、テストを自動修 復を試みる。 80%程の精度だった従来の自動修復機能に生成 AIを組み込み、95%まで修復精度が向上。 テストで出力されるLog上にテスト結果だけでなく 判断内容を記載。 GenAIによる作成済みテストの高度な自動修復
17. より複雑なテストシナリオのために JavaScriptスニ ペットの作成が必要な場合には、生成 AIによるスニ ペット生成支援の機能を活用して作成可能。 作成したいスニペットについて、プロンプトを用いて 指示を記載することで、サンプルコードを出力。 GenAIによるJavaScriptスニペット作成支援
18. 作成したいクエリについて、プロンプトを用いて指 示を記載することで、サンプルを出力。 アプリケーションとデータベース双方の変更内容が 正確に反映されることを確認できるだけでなく、 データベースのテストデータを設定し、テスト内で 削除や変数としての使用も可能。 mabl Link もしくは mabl が指定するIPアドレスを 許可して、非公開データベースへもアクセス MySQL / Microsoft SQL Server をサポート。 New!! PostgreSQL / Maria DB / MongoDB / Oracle DB をサポート。 GenAIによるSQLのクエリ作成支援
19. 生成AIによる失敗理由サマリー テストが失敗した場合、生成AIが テストの失敗原因のサマリを作成してくれる ※ 2024/11〜 日本語出力に対応開始！
20. アサートとは、『アプリケーションが期待した 動作通りに動くか』を確認すること。 例えば『パスワード未入力でログインボタンを押し たら、パスワード入力を促すメッセージが表示され ること』など。 『GenAIによるアサーション』はプロンプトを活用し て、より複雑なアサート処理をテスト ステップに組み込むことが可能。 右の例では『画像の背景に山が表示されているこ と』をプロンプトベースでテストし、結果や判定理由 も併せて表示。 GenAIによるアサーション Native Mobile Appも対応 (2024/9/11～)
21. mabl Experience 2024 | #mablExperience ‘“””’ Powered by 生成AI
22. mabl Experience 2024 | #mablExperience Powered by 生成AI
23. mabl Experience 2024 | #mablExperience Powered by 生成AI
24. 生成AIによるテスト作成 • UI(E2E)テスト、APIテスト、モバイル アプリテスト でサポート • テストの意図やユーザーストーリーを自然言 語で入力し、mablトレーナーを起動 → mabl がタスクを分割、Flow 追加、生成AIアサー ション追加するなどのテストを自動で生成 • 作成済みの既存 Flow を再利用し、自動でテ ストカバレッジを拡大 https://help.mabl.com/hc/ja/articles/31649455424660-%E7%94%9F%E6%88%90AI%E3%81%AB%E3%82%88%E3%82%8B%E3%83%86%E3%82%B9%E3%83%88%E4%BD%9C%E6%88%90
25. mabl Experience 2024 | #mablExperience mabl Experience 2024 | #mablExperience ソフトウェアデリバリーに 組み合わせることで、ソフトウェアの 品質を向上させる。
26. その他、mablが 提供する機能 時間があれば話します！
27. テスト実行結果からインサイトを通知 実行テストに関する情報を俯瞰的に把握 • テストカバレッジ ◦ 最新のテスト成功率 ◦ 累積テスト実行数 ◦ 失敗テストの分類 ◦ テストステータス、など • 自動修復 • 視覚的変化 • リンク切れ • JavaScriptエラー
28. mabl Experience 2024 | #mablExperience mablのローコードモバイルアプリテスト 2024年のイノベーション！ MFAのサポート ブランチおよびエラー処理のサポート データベース接続 新しいAPIエンドポイント ビルド管理のための新しいCLIコマンド ほか
29. mabl Experience 2024 | #mablExperience mabl Tools for Playwright Playwright のカバー範囲を拡大 PDF テスト Email テスト データベース接 続 生成AI アサーション Cloud クレデンシャ ル MFA 総合的なレポートで 認知度と信頼性を向上
30. mabl Experience 2024 | #mablExperience • MFA • Eメールテスト • PDF テスト • 生成AIによるアサーション • 短時間で設定可能 • 開発ワークフローに変更なし Playwrightで強力なテストを実現
31. mabl Experience 2024 | #mablExperience 可視性の向上 Playwright や mabl テストを含むテストの取り組みの 全体像を把握することで、より高い信頼性を実現 コラボレーションの改善 組織内の関係者とテスト結果や品質に関する分析結果 を共有 簡単に設定 開発者のワークフローを最小限に調整するだけですぐ に設定可能（数分で完了） mabl + Playwright の統合レポート
32. For your information #mablJapan
33. About the mabl University How-to Videos (English only) How-to Lessons (Japanese only) On-Demand Training (English & Japanese) mabl Skills Certifications (English & Japanese) • 33 ビデオ (各3 - 8 分程度) • 英語字幕あり、日本語字幕なし • 26 レッスン • Step by stepで学習可能 • 4 ラーニングパス • 設定、基礎、高度、統合でそれ ぞれ30 - 90 分の学習パス • 学習目標に応じたパスを提供 • 3 つの資格 • Foundations と Advanced • NonFunctional ←NEW • LinkedIn に掲載可能
34. mabl Skills Certification mabl Skills Certification: Foundations (基本レベル) mabl Skills Certification: Advanced (応用レベル) mabl Skills Certification: Non-functional Testing (非機能テスト)
35. About the mabl Skills Certification 出題数60問の選択式テストを通じて、mablのナビ ゲーション、設定、テスト作成、出力、自動テスト 戦略について解答し、examをパスしましょう！ Why get certified? • LinkedInで認定資格合格後を登録可能 • 認定資格試験の取得を通じてmablプラット フォームの一定への知見をアピールできます • mablers_jpのようなコミュニティを通じて、 得たスキルを活かしたOutputをしましょう！
36. mabl Experience 2024 | #mablExperience Join our Webinar! 5/14 13:00～14:00 mabl ウェビナー 『Playwrightとmablのパワフルな統合： 効率的なテスト自動化を実現する新機能を 学ぶ！』 https://mabl-japan.connpass.com/event/352038/
37. mabl Experience 2024 | #mablExperience Join external seminar! 6/4-6 16:30～17:10 @IT開発変革セミナー 『AI駆動テスト最前線 ～ソフトウェアテストはどう変わるのか？ 人間の役割はどうなる？～』 https://members06.live.itmedia.co.jp/library/ODQ4MzA%253D#keynote2-2
38. mabl Experience 2024 | #mablExperience Join our sponsored conference! 7/3-4 15:40～16:10 開発生産性Conference 2025 『品質と速度の両立：生成AI時代の品質保証 アプローチ』 https://dev-productivity-con.findy-code.io/2025/detail/2eWJiE71
39. You can try it now! • 2週間の無料トライアルとmabl University でmablをマスターしよう！ • デモのリクエストはこちらから！→→ https://www.mabl.com/ja