Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
信頼できるテスティングAIをどう育てるか?
Search
odan tomohiro
July 27, 2026
Technology
280
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
信頼できるテスティングAIをどう育てるか?
https://test-talk.connpass.com/event/383642/
の資料です。
odan tomohiro
July 27, 2026
Transcript
12 slides
2026/07/28 QA Test Talk Vol.7 信頼できるテスティングAIを どう育てるか 〜タスク毎の品質ゲートで実現する人間とAIの協業環境〜 おーだん
おーだん Web事業会社のQAグループ マネージャー。 AI活用に限らず、部内の業務効率化に取り組んでいます。 最近はVibe Codingを楽しみつつ、 いままでできなかった色々なタイプのテストを実装して遊んでいます。 SNS: • X:@dandan_611
2
本発表で伝えたいこと 3
明確なプロセス定義 と タスクごとの品質ゲートは とても大事
テスティングAI活用における信頼性の壁 背景 • テストプロセスの効率化のため、生成AIの活用領域拡大が求められている。 課題 • AIに丸投げすると・・・ • AIがどうやってその成果物を作ったのかがわからない •
丸投げのたびに、判断基準の曖昧さや成果物の質のばらつきが発生し、結局は人 間の手戻りが増える。 5
信頼できるAIに育てる3つの取り組み 以下の三つをトライ&エラーで地道に取り組んでいます。 1 標準化 プロセスと成果物定義の明確化。AI(人も)への指示基準を統一する。 2 段階適用 小さな一歩から適用範囲を広げる。安全な領域から徐々に拡張する。 3 品質ゲート
タスクごとに確認の仕組みを置く。AIが勝手に基準を緩めるのを防ぐ。 6
取り組み①標準化:プロセスと成果物定義の明確化 • プロセスごとの入力(前提・仕様書)と出力(記載項目・書き方)を厳密にルール化。既存の業務テンプレートをベースに、暗 黙知だったプロセスを言語化・可視化。 • 定義・管理には図を活用。データの流れを表す図や、扱う情報の構造を表す図を用いることで、プロセスをAIが変更・提案した場 合でも、人が全体像をすぐに理解できるようにしている。 • 担当領域の広がり具合を見える化でき、各プロセスやタスク定義自体も柔軟に見直せるため、AIの適用範囲を安全に広げ続けら れる。
成果物定義(クラス図) プロセス定義(DFD図) IDトレース 7
取り組み➁段階適用:小さな一歩から適用範囲を広げる • テスト分析やテスト設計ではなく、テスト実装・実行から着手し、ノウハウの蓄積を進めています。 • デバイス環境差異や画面表示の見え方の違いなど判断要素が多く、テスティングAIにとって最も難易度の高い領域。 • 利用ツール例:Playwright、Appium、Android Studio、Xcode • テスト実行領域は、暗黙的な知識をもとに実行されているかつ作業の信頼性が高いor低いが人依存になっている
• その次に、テスト実行で得た知見をもとに、仕様書からのテスト要件の洗い出しやテストケース生成へ広げています。 テストケース テストコード (スクリプト)変換 起点 テストコード 自動テスト フレームワーク実行 テスト結果 8
標準化と段階適用だけでは足りなかった—AIがタスク完了基準を緩めてしまう罠 • 標準化と段階適用の2本柱で運用を進めていたところ、次のような現象が現場で起き始めた。 • 発生した現象 • テストケース期待値の曖昧化による自発的な期待値判定条件の緩和。 • 例 •
テストケース期待値:残高ポイントが正しく表示されていること • × → 残高ポイントの表示領域が表示されていること • 〇 → 残高ポイントが処理後に100ポイント分減って400ポイントと表示されていること • 原因 • 人間/AIの作成したテストケースに曖昧性が残されており、一定の類推をしないと文面だけでは理解できない。 • 特に初回の作業では、曖昧な記載を過去の経験から具体的な内容に読み替えて作業することができない。 • AIはタスクを終わらせることを優先しがちで、平易な方法で終えようとし、人間のような品質リスクへの懸念を持たない。 • 対応すべき課題 • AIの出力を確認なしに後工程へ渡すと、気づかないうちにテストの質が下がってしまう。 • 標準化と段階適用だけでは、この「静かな劣化」は防げない。 • 実は人間でも日常的に起きているがコミュニケーションでカバーしている。 9
取り組み➂品質ゲート:タスクごとに確認の仕組みを置く • 各工程の成果物が基準を満たしているかを、スライド5で言語化したレビュー観点をもとにその場で判定する。 • チェックの方法(組み合わせによる検証): 1. 決まりに基づく機械的な確認:必須項目の漏れや書き方の誤りをコードで自動チェック。AIにすべて任せると呼び出しのたびに費用がかさ むため、ルール化できる範囲は積極的にコード側に寄せる。 2. AIによる相互チェック:成果物を作ったAIとは別のAIが客観的に判定させる。
3. 人による最終確認:重要な箇所は人が承認し、判定にフィードバックを返すこれらはAIがミスしやすい箇所から人とAIの両方で行い、精度 が確認できた範囲からAIだけに任せる範囲を広げていく。 テストケースのレビュー観点と修正方針 10
まとめ:人間・AI・コードで役割を分け合う、信頼できるテストプロセス • 標準化と段階適用の2本柱で始め、現場でのつまずきをきっかけに品質ゲートを 加え、3本柱になった。 • 明確なプロセス定義とタスクごとの品質ゲートがあるからこそ、安心してAIの適用領域 を広げられる。 • 信頼できるテストプロセスのための役割分担 •
人間 • 確認の仕組みの設計、リスクの高い判断、AIへの指示や手順の改善。 • AI 重要判断・仕組化 • 判断が必要な確認(テストケース生成、評価専用AIによる相互チェックなど)を担う。 • コード 人間 • ルール化できる機械的な確認を自動化し、費用を抑えながら安定して繰り返す。 コード AI 安定・低コスト 単純判断 11
ご清聴ありがとうございまし た。 12
More Decks by odan tomohiro
See All by odan tomohiro
『AIに負けない』より『AIと遊ぶ』」〜ワクワクが最強のテスト・QA学習戦略_公開用
odan611
2
1k
テスト設計コンテストで出てくるテスト技術について話すの。
odan611
0
130
DMMプロダクト群へのmabl活用
odan611
0
24
自動テストにおけるコードベース戦略とローコード戦略のすみ分け
odan611
0
34
DMMアカウントサービス フロントエンド改善支援のためのTestcafeを用いた自動e2eテストの刷新
odan611
0
29
良いテストを作るためのテスト設計チュートリアルを考える
odan611
0
26
テストスイートアーキテクチャへのアーキテクチャ検証手法ATAMの 適用
odan611
0
26
softec asia2019_report
odan611
0
28
naite_samplequestion
odan611
0
31
Other Decks in Technology
See All in Technology
フロントエンドのテストカバレッジは 100%強制がいい
bengo4com
5
1.6k
社内アプリ基盤「Quartz」による、 非エンジニアとAIに本番デプロイを 任せても壊れないプラットフォームの設計
staka121
PRO
1
230
こんなに変わった! AWSネットワークの常識
shotashiratori
16
11k
攻撃と守りは何が変わり、何が変わらないのか~最近の不正アクセスから考える、リスク評価と標準の使いどころ
oidfj
2
320
人の努力に頼らないセキュリティをエンジニアリングする在り方 / An approach to engineering security that does not rely on human effort
carta_engineering
0
240
現地速報! Microsoft Ignite アップデートレポート
kasada
1
460
Dark Web - Como o Cibercrime Opera na Internet
nicholsjasper
0
110
みん強Lightning! データ基盤ひとりでできるかな
endonanana
0
190
AI-Ready なデータ基盤ってなに? & 新卒未経験が、いま考えていること
imuta
0
1.1k
IP重複は"ランディングVPC"で受け止める ― PrivateLink と Transit Gatewayによるマルチテナント接続基盤の設計
hatahata021
3
270
メール到達性を支える、リンク先URLのドメイン評価の扱い方
wind111
0
200
Is the Website Dying?
miriamschwab
0
160
Featured
See All Featured
Navigating Team Friction
lara
192
16k
Optimizing for Happiness
mojombo
378
72k
The Power of CSS Pseudo Elements
geoffreycrofte
82
6.7k
Designing for humans not robots
tammielis
254
26k
YesSQL, Process and Tooling at Scale
rocio
174
15k
Lessons Learnt from Crawling 1000+ Websites
charlesmeaden
PRO
1
1.8k
Fireside Chat
paigeccino
43
4.1k
Prompt Engineering for Job Search
mfonobong
0
610
Site-Speed That Sticks
csswizardry
13
1.6k
エンジニアに許された特別な時間の終わり
watany
109
250k
Future Trends and Review - Lecture 12 - Web Technologies (1019888BNR)
signer
PRO
0
3.9k
The Hidden Cost of Media on the Web [PixelPalooza 2025]
tammyeverts
2
580