Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
品質と速度の両立:生成AI時代の品質保証アプローチ
Search
odasho
July 03, 2025
Technology
1
780
品質と速度の両立:生成AI時代の品質保証アプローチ
2025/7/3 開発生産性Conference 2025にて使用したスライドです。
odasho
July 03, 2025
Tweet
Share
More Decks by odasho
See All by odasho
まだ手動テストしてるの?生成AIとローコードで実現するE2Eテスト徹底解説!
odasho
0
60
生成AI時代のソフトウェア品質保証を考える
odasho
0
56
イマこそ、”Dev””Rel”なのでは??~VUCA時代を乗りこなすDevRelの価値と本質~
odasho
0
51
生成AIとAI ~エンジニアの期待と現実~
odasho
0
120
E2Eテストを自動化したら 開発生産性はどうなった? hacomonoの事例紹介
odasho
0
1.1k
統合型ノーコードテスト 自動化プラットフォーム 『mabl』 ご紹介ウェビナー
odasho
0
65
テスト自動化入門ワークショップ:最新のモバイルアプリテスト
odasho
0
160
未来を変える一歩: モバイルアプリテスト自動化の新時代
odasho
0
110
統合型ノーコードテスト 自動化プラットフォーム『mabl』 ご紹介ウェビナー
odasho
1
160
Other Decks in Technology
See All in Technology
エンジニアリングマネージャー“お悩み相談”パネルセッション
ar_tama
1
730
LLM開発を支えるエヌビディアの生成AIエコシステム
acceleratedmu3n
0
250
「手を動かした者だけが世界を変える」ソフトウェア開発だけではない開発者人生
onishi
15
7k
少人数でも回る! DevinとPlaybookで支える運用改善
ishikawa_pro
4
1.4k
OpenTelemetry の Log を使いこなそう
biwashi
5
1.1k
AIに全任せしないコーディングとマネジメント思考
kikuchikakeru
0
140
(HackFes)米国国防総省のDevSecOpsライフサイクルをAWSのセキュリティサービスとOSSで実現
syoshie
5
670
モバイルゲームの開発を支える基盤の歩み ~再現性のある開発ラインを量産する秘訣~
qualiarts
0
520
増え続ける脆弱性に立ち向かう: 事前対策と優先度づけによる 持続可能な脆弱性管理 / Confronting the Rise of Vulnerabilities: Sustainable Management Through Proactive Measures and Prioritization
nttcom
1
200
Bliki (ja), and the Cathedral, and the Bazaar
koic
8
1.5k
私とAWSとの関わりの歩み~意志あるところに道は開けるかも?~
nagisa53
1
120
メモ整理が苦手な者による頑張らないObsidian活用術
optim
0
140
Featured
See All Featured
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Adopting Sorbet at Scale
ufuk
77
9.5k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Designing for humans not robots
tammielis
253
25k
Fireside Chat
paigeccino
37
3.5k
The Pragmatic Product Professional
lauravandoore
35
6.8k
Facilitating Awesome Meetings
lara
54
6.5k
Art, The Web, and Tiny UX
lynnandtonic
301
21k
Statistics for Hackers
jakevdp
799
220k
Typedesign – Prime Four
hannesfritz
42
2.7k
Unsuck your backbone
ammeep
671
58k
Music & Morning Musume
bryan
46
6.7k
Transcript
2025/7/3 開発生産性 Conference 2025
Speaker Profile odasho (Shohei Oda) Quality Advocate / Product Marketing,
mabl Japan 国内SIerにてインフラやPaaS App開発まで幅広く経験。その後 コミュニティ活動をきっかけにMicrosoftに入社。Evangelistと してAudience Marketingに従事。2022年10月にmablにJoin、 TestingやQAの啓蒙活動に取り組む。現在もDevRel/Tokyoを中心 に複数のコミュニティを運営/支援。 iPhone絶対並んで買うおじさん(2011 - 2024) 一般社団法人DevRel 理事、名城大学情報工学部 非常勤講師 odashoDotCom odasho0618 odasho odasho0618
OpenAI の音声書き起こしサービスの『Whisper』に「おだしょー 」という文字列が大量に出 てくるバグ (2年以上放置中) 最近生成AI周りで気になること 引用: https://techblog.ap-com.co.jp/entry/2023/10/31/132036
AI活用ソフトウェアテストツールのマー ケットガイド by Joachim Herschmann, Thomas Murphy, Jim Scheibmeir, Frank
O'Connor, Deacon D.K Wan, February 2024
AI活用ソフトウェアテストツールのマーケットガイド by Joachim Herschmann, Thomas Murphy, Jim Scheibmeir, Frank O'Connor,
Deacon D.K Wan, February 2024
None
現状のQAに関する問題点 (アンケート結果) と、その前に 6割以上が『手動でのテスト対応』と 回答 『テストメンテナンス』 『構築と実行に時間がかかりすぎる』 『自動化を行うためのコーディング知識がない』 が最多回答
短期的な記憶 計画立案 判断力 推論 集中力 長期記憶 視覚 認識 知覚 読解
言語理解 行動の協調 AIによる破壊的変化への対応 テストは過小評価されてきた
人のインテリジェンス に加えて 自動化が必要 コラボレーション 実行する 観察する 考える 学習する AIによる破壊的変化への対応
コラボ レーション 考える 実行する 観察する 学習する 人のインテリジェンス に加えて 自動化が必要 AIによる破壊的変化への対応
人のインテリジェンス に加えて 自動化が必要 AIによる破壊的変化への対応
実行する Webブラウザ、モバイルアプリ ケーション、APIとの迅速かつ 信頼性の高い連携。
多岐にわたるスキルセット AIによる破壊的変化への対応 Webブラウザのコントロール クリックと ナビゲーション フォームの送信 と検証 Shadow DOM との連携
PDFとメールの 検証 データベースの クエリと検証 認証フローの 処理 Android/iOS アプリとの連携 タップ、ピンチ 、スワイプ操作 フォームの送信 と検証 Webviewとの 連携 UI要素の 視覚的検出 位置情報サービ スのテスト デバイスの 向きの変更 APIの呼び出しと検証 APIリクエスト の送信 APIレスポンス の検証 APIからの データ抽出 リクエストへの 変数利用 API認証の処理 API負荷テスト の実行
データベースアクセスを活用したテストカバレッジの拡大 AIによる破壊的変化への対応
観察 と 認識 アプリケーションの状態、 エラー、ページの応答時間 などを捉えて分析。
熟練のQAのように観察 観察 スクリーンショットの記録 Save DOM スナップショット アプリのログを収集 ネットワークトレースの保存 アプリのパフォーマンス分析 要素のプロパティを保存
ページ読み込みをトラック AIによる破壊的変化への対応
自然言語によるアサーションでカバレッジを拡大 17 AIによる破壊的変化への対応 自然言語で検証可能: アプリケーションの「こう動作して 欲しい」を伝えるだけ 旧来のアサーションを超えて: 旧来のテストでは検証しきれ なかったAIが生成する動的なコンテンツを検証可能 旧来のテスト対象を超えて:
• イメージの検証: 「画像中に自転車があるか検証」したり「社名 ロゴが正しく追加されているか確認」することが可能 • ビデオの検証: 「ビデオ上に字幕が表示されているか検証」する ことが可能 • テキストの分析: 「ページが全て日本語化されているか チェック」することが可能 • AIチャットボット: 「チャットボットの応答が適切、かつ役に たつもので、アクションボタンが表示されているかを確認」する ことが可能
意思決定をする 低レベルの指示を解釈し、 問題を特定することで、 推論と意図の理解に 基づいてテストを遂行。
生成AIによる自動修復機能でメンテナンスを削減 • UI要素の変更時にメンテナンスを削減 • 複数の戦略を用いて要素を特定 • エキスパートシステムを活用し、 迅速かつ低コストで自動修復 • テキストやコンテキストの認識が
必要な場合は生成AIを使用 AIによる破壊的変化への対応
推論する データを分析・相関させ、 仮説や提案を導き出す。
生成AIによる障害分析で生産性を向上 (AutoTFA) AIによる破壊的変化への対応
計画する アプリケーションとテスト プラクティスの知識を 組み合わせ、チームの協力 を得て効果的な自動化を 生成。
自然言語でWebテスト構築 (テスト作成エージェント) • 意図に基づいたタスクとインテリ ジェントな検証ステップを生成 • 既存のワークフローをワーク スペース全体で自動的にインポート • 効率的で堅牢、かつ信頼性の高い
テスト • テスト作成を90%以上加速 AIによる破壊的変化への対応
統合する 適切なコンテキストでチーム メンバーにインサイトを提供 エンタープライズ環境と ワークフローにシームレスに 適合
チームや開発環境との連動 統合&コラボレーション Jiraで欠陥を 起票・更新 Slack/Teamsで 共有 CI/CDフックと 連携 テストのオーケ ストレーション
レポート生成 テストアセットの 共有 テスト結果の分析 CI/CDインテグレーション コラボレーション レポーティング バグトラッキング テスト環境の管理 生成AIによる破壊的変化への対応
実行する - あらゆるブラウザアプリ、API、モバイルアプリと簡単に連携し、テストを実行 統合する - チームメンバーと協業し、既存の環境やワークフローにシームレスに適合 学習する - アプリケーションの挙動と「正常」な状態を理解し、状況に応じてテスト アプローチを調整
観察する - 画面情報、ログ、トレースなどから深いインサイトを生成 考える - テスト計画を立案し、データに基づいて推論し、品質に関する的確な意思決定を行う 熟練のQAのように機能するmabl 生成AIによる破壊的変化への対応
直近のプロダクトリリース テスト作成エージェント • テストの意図をタスクに分解 • 適切な再利用可能フローの発見と活用 • エンドツーエンドテスト全体を自律的に構築 • テスト作成時に変数とテストデータを生成
自動TFA (テスト失敗分析) • すべてのテストおよびプランの失敗を バックグラウンドで自動分析 • 迅速な問題解決のため、即座にテスト結果から インサイトと推奨事項を提供 ビジュアルアシスト • 生成AIを活用し、画面中のUI要素を ビジュアルに学習することで信頼性を向上 • これまでロケーターが位置づけできなかった ピクセルベースで描画されたボタン等の要素 であっても位置づけ可能に 適応型の自動修復機能 • アプリケーションの変更に合わせてテストを インテリジェントに修正 • 複数のAIモデルを活用し、市場をリードする 信頼性を実現 • コンテキストに応じた柔軟性を実現するために 生成AIを活用
For your information
DevOpsにおける テストレポート https://www.mabl.com/ja/reports/testing-in-devops-2025 mablが毎年公開しているテストレポートの 2025年度日本語版 ダウンロードリンクはこちら!
Join our webinar on July! 7/9 13:00~14:00 まだ手動でテストしてるの? 生成AIとローコードで実現するE2Eテスト 徹底解説!
https://mabl-japan.connpass.com/event/358819/
Come visit the mabl booth!
Thank You for attending Today!!