Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
品質と速度の両立:生成AI時代の品質保証アプローチ
Search
odasho
July 03, 2025
Technology
1
41
品質と速度の両立:生成AI時代の品質保証アプローチ
2025/7/3 開発生産性Conference 2025にて使用したスライドです。
odasho
July 03, 2025
Tweet
Share
More Decks by odasho
See All by odasho
生成AI時代のソフトウェア品質保証を考える
odasho
0
47
イマこそ、”Dev””Rel”なのでは??~VUCA時代を乗りこなすDevRelの価値と本質~
odasho
0
47
生成AIとAI ~エンジニアの期待と現実~
odasho
0
110
E2Eテストを自動化したら 開発生産性はどうなった? hacomonoの事例紹介
odasho
0
1.1k
統合型ノーコードテスト 自動化プラットフォーム 『mabl』 ご紹介ウェビナー
odasho
0
61
テスト自動化入門ワークショップ:最新のモバイルアプリテスト
odasho
0
160
未来を変える一歩: モバイルアプリテスト自動化の新時代
odasho
0
110
統合型ノーコードテスト 自動化プラットフォーム『mabl』 ご紹介ウェビナー
odasho
1
150
AIを駆使した自動テストは統合プラットフォームの時代へ
odasho
0
410
Other Decks in Technology
See All in Technology
Github Copilot エージェントモードで試してみた
ochtum
0
120
MySQL5.6から8.4へ 戦いの記録
kyoshidaxx
1
290
Amazon Bedrockで実現する 新たな学習体験
kzkmaeda
2
630
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
0
120
Node-REDのFunctionノードでMCPサーバーの実装を試してみた / Node-RED × MCP 勉強会 vol.1
you
PRO
0
120
Delegating the chores of authenticating users to Keycloak
ahus1
0
130
2025-06-26 GitHub CopilotとAI駆動開発:実践と導入のリアル
fl_kawachi
1
190
生まれ変わった AWS Security Hub (Preview) を紹介 #reInforce_osaka / reInforce New Security Hub
masahirokawahara
0
330
LangSmith×Webhook連携で実現するプロンプトドリブンCI/CD
sergicalsix
1
140
生成AI活用の組織格差を解消する 〜ビジネス職のCursor導入が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption
upamune
5
4.3k
Lambda Web Adapterについて自分なりに理解してみた
smt7174
5
130
asken AI勉強会(Android)
tadashi_sato
0
110
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
124
52k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Side Projects
sachag
455
42k
Done Done
chrislema
184
16k
GitHub's CSS Performance
jonrohan
1031
460k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Transcript
2025/7/3 開発生産性 Conference 2025
Speaker Profile odasho (Shohei Oda) Quality Advocate / Product Marketing,
mabl Japan 国内SIerにてインフラやPaaS App開発まで幅広く経験。その後 コミュニティ活動をきっかけにMicrosoftに入社。Evangelistと してAudience Marketingに従事。2022年10月にmablにJoin、 TestingやQAの啓蒙活動に取り組む。現在もDevRel/Tokyoを中心 に複数のコミュニティを運営/支援。 iPhone絶対並んで買うおじさん(2011 - 2024) 一般社団法人DevRel 理事、名城大学情報工学部 非常勤講師 odashoDotCom odasho0618 odasho odasho0618
OpenAI の音声書き起こしサービスの『Whisper』に「おだしょー 」という文字列が大量に出 てくるバグ (2年以上放置中) 最近生成AI周りで気になること 引用: https://techblog.ap-com.co.jp/entry/2023/10/31/132036
AI活用ソフトウェアテストツールのマー ケットガイド by Joachim Herschmann, Thomas Murphy, Jim Scheibmeir, Frank
O'Connor, Deacon D.K Wan, February 2024
AI活用ソフトウェアテストツールのマーケットガイド by Joachim Herschmann, Thomas Murphy, Jim Scheibmeir, Frank O'Connor,
Deacon D.K Wan, February 2024
None
現状のQAに関する問題点 (アンケート結果) と、その前に 6割以上が『手動でのテスト対応』と 回答 『テストメンテナンス』 『構築と実行に時間がかかりすぎる』 『自動化を行うためのコーディング知識がない』 が最多回答
短期的な記憶 計画立案 判断力 推論 集中力 長期記憶 視覚 認識 知覚 読解
言語理解 行動の協調 AIによる破壊的変化への対応 テストは過小評価されてきた
人のインテリジェンス に加えて 自動化が必要 コラボレーション 実行する 観察する 考える 学習する AIによる破壊的変化への対応
コラボ レーション 考える 実行する 観察する 学習する 人のインテリジェンス に加えて 自動化が必要 AIによる破壊的変化への対応
人のインテリジェンス に加えて 自動化が必要 AIによる破壊的変化への対応
実行する Webブラウザ、モバイルアプリ ケーション、APIとの迅速かつ 信頼性の高い連携。
多岐にわたるスキルセット AIによる破壊的変化への対応 Webブラウザのコントロール クリックと ナビゲーション フォームの送信 と検証 Shadow DOM との連携
PDFとメールの 検証 データベースの クエリと検証 認証フローの 処理 Android/iOS アプリとの連携 タップ、ピンチ 、スワイプ操作 フォームの送信 と検証 Webviewとの 連携 UI要素の 視覚的検出 位置情報サービ スのテスト デバイスの 向きの変更 APIの呼び出しと検証 APIリクエスト の送信 APIレスポンス の検証 APIからの データ抽出 リクエストへの 変数利用 API認証の処理 API負荷テスト の実行
データベースアクセスを活用したテストカバレッジの拡大 AIによる破壊的変化への対応
観察 と 認識 アプリケーションの状態、 エラー、ページの応答時間 などを捉えて分析。
熟練のQAのように観察 観察 スクリーンショットの記録 Save DOM スナップショット アプリのログを収集 ネットワークトレースの保存 アプリのパフォーマンス分析 要素のプロパティを保存
ページ読み込みをトラック AIによる破壊的変化への対応
自然言語によるアサーションでカバレッジを拡大 17 AIによる破壊的変化への対応 自然言語で検証可能: アプリケーションの「こう動作して 欲しい」を伝えるだけ 旧来のアサーションを超えて: 旧来のテストでは検証しきれ なかったAIが生成する動的なコンテンツを検証可能 旧来のテスト対象を超えて:
• イメージの検証: 「画像中に自転車があるか検証」したり「社名 ロゴが正しく追加されているか確認」することが可能 • ビデオの検証: 「ビデオ上に字幕が表示されているか検証」する ことが可能 • テキストの分析: 「ページが全て日本語化されているか チェック」することが可能 • AIチャットボット: 「チャットボットの応答が適切、かつ役に たつもので、アクションボタンが表示されているかを確認」する ことが可能
意思決定をする 低レベルの指示を解釈し、 問題を特定することで、 推論と意図の理解に 基づいてテストを遂行。
生成AIによる自動修復機能でメンテナンスを削減 • UI要素の変更時にメンテナンスを削減 • 複数の戦略を用いて要素を特定 • エキスパートシステムを活用し、 迅速かつ低コストで自動修復 • テキストやコンテキストの認識が
必要な場合は生成AIを使用 AIによる破壊的変化への対応
推論する データを分析・相関させ、 仮説や提案を導き出す。
生成AIによる障害分析で生産性を向上 (AutoTFA) AIによる破壊的変化への対応
計画する アプリケーションとテスト プラクティスの知識を 組み合わせ、チームの協力 を得て効果的な自動化を 生成。
自然言語でWebテスト構築 (テスト作成エージェント) • 意図に基づいたタスクとインテリ ジェントな検証ステップを生成 • 既存のワークフローをワーク スペース全体で自動的にインポート • 効率的で堅牢、かつ信頼性の高い
テスト • テスト作成を90%以上加速 AIによる破壊的変化への対応
統合する 適切なコンテキストでチーム メンバーにインサイトを提供 エンタープライズ環境と ワークフローにシームレスに 適合
チームや開発環境との連動 統合&コラボレーション Jiraで欠陥を 起票・更新 Slack/Teamsで 共有 CI/CDフックと 連携 テストのオーケ ストレーション
レポート生成 テストアセットの 共有 テスト結果の分析 CI/CDインテグレーション コラボレーション レポーティング バグトラッキング テスト環境の管理 生成AIによる破壊的変化への対応
実行する - あらゆるブラウザアプリ、API、モバイルアプリと簡単に連携し、テストを実行 統合する - チームメンバーと協業し、既存の環境やワークフローにシームレスに適合 学習する - アプリケーションの挙動と「正常」な状態を理解し、状況に応じてテスト アプローチを調整
観察する - 画面情報、ログ、トレースなどから深いインサイトを生成 考える - テスト計画を立案し、データに基づいて推論し、品質に関する的確な意思決定を行う 熟練のQAのように機能するmabl 生成AIによる破壊的変化への対応
直近のプロダクトリリース テスト作成エージェント • テストの意図をタスクに分解 • 適切な再利用可能フローの発見と活用 • エンドツーエンドテスト全体を自律的に構築 • テスト作成時に変数とテストデータを生成
自動TFA (テスト失敗分析) • すべてのテストおよびプランの失敗を バックグラウンドで自動分析 • 迅速な問題解決のため、即座にテスト結果から インサイトと推奨事項を提供 ビジュアルアシスト • 生成AIを活用し、画面中のUI要素を ビジュアルに学習することで信頼性を向上 • これまでロケーターが位置づけできなかった ピクセルベースで描画されたボタン等の要素 であっても位置づけ可能に 適応型の自動修復機能 • アプリケーションの変更に合わせてテストを インテリジェントに修正 • 複数のAIモデルを活用し、市場をリードする 信頼性を実現 • コンテキストに応じた柔軟性を実現するために 生成AIを活用
For your information
DevOpsにおける テストレポート https://www.mabl.com/ja/reports/testing-in-devops-2025 mablが毎年公開しているテストレポートの 2025年度日本語版 ダウンロードリンクはこちら!
Join our webinar on July! 7/9 13:00~14:00 まだ手動でテストしてるの? 生成AIとローコードで実現するE2Eテスト 徹底解説!
https://mabl-japan.connpass.com/event/358819/
Come visit the mabl booth!
Thank You for attending Today!!