AIで進めるQA自動化の現在地 - E2Eリグレッションテストの整備と維持 -

2026/7/28開催
QA×AIの次の一手： 『組織展開』と『タスク委譲』の実践知

Transcript

1. AIで進めるQA自動化の現在地 E2E リグレッションテストの整備と維持 2026-07-28 QA×AIの次の一手：『組織展開』と『タスク委譲』の実践知 shibutani / @s_k_526
2. 自己紹介 shibutani / @s_k_526 株式会社 LayerX Platform Engineering 部 Enabling チーム 2025 年新卒入社 © LayerX Inc. 2
3. 今日話すこと 01 | 解きたい課題 02 | 内製QAハーネス 03 | テストを維持するループ 失敗の原因を分類し、乖離は自動で直す 04 | 精度とコストを改善するループ 人間の採点とエージェントの学びを取り込む 05 | 目指す未来 © LayerX Inc.
4. 01 | 解きたい課題
5. 01 | 解きたい課題 解きたい課題：仕様が決まってからリリースまでを最短に AI コーディングの普及で、実装は AI に任せられるようになった 一方、リリース前の検証は、まだ手動に頼る部分が大きく、速くなっていない ボトルネックは、実装から検証へ移る © LayerX Inc. 5
6. 01 | 解きたい課題 手動での動作確認に頼ったままではいずれボトルネックになる 自動テストの整備は進んでいるが、まだ十分ではなく、手動での動作確認に頼る部分が 大きい 手動での動作確認にかかる時間は、機能やプロダクトの数に比例して増える LayerX ではここ数年でプロダクトも機能も飛躍的に増加している このままでは動作確認にかかる時間は肥大化し、ボトルネックになっていく © LayerX Inc. 6
7. 01 | 解きたい課題 手動での動作確認から、自動テスト前提の QA へ ボトルネック化を防ぐために自動テストを前提としたQAプロセスへの移行を目指す この移行には、2 つの条件がある 条件 1：必要十分なテストケースが自動テストとしてカバーされていること QA エンジニアの知見を、全員が使える形にし、 QA エンジニア以外でも自動テストを簡単に追加できることを目指す 条件 2：追加した自動テストの鮮度が、自動的に維持されること テストコードとプロダクト仕様、ソースコードの一致を保ち続ける この 2 つを支えるため、Claude Code を土台にした QA ハーネスを内製 © LayerX Inc. 7
8. 02 | 内製QAハーネス
9. 02 | 内製QAハーネス 内製QAハーネスによるテストの整備 テスト仕様を書く 一度だけ動かす コードに変換する 日本語の手順と期待結果 → Claude Codeが実ブラウザ → ふだんの E2E テストと同じ → で手順を確かめて記録 形のコード draft © LayerX Inc. record generate CI で実行する run 以後は LLM なしで実行 9
10. 02 | 内製QAハーネス テスト仕様を対話で組み立てる 「〇〇をテストしたい」と伝えると、 ハーネスがソースコードを読みながら テスト仕様を組み立てる テスト仕様は、操作手順と期待結果を 並べた YAML 人間によるレビューの中心は、テスト コードではなくこの仕様 © LayerX Inc. 10
11. 02 | 内製QAハーネス 一度だけ動かして記録し、コードに変換する エージェントが実ブラウザを一度だけ操作し、手順が通るか確かめながら記録する 記録からテストコードを生成する 出力は Playwright など、ふだんの E2E テストと同じ形のコード パスするまで自動的に修正を繰り返す © LayerX Inc. 11
12. 02 | 内製QAハーネス CI では、生成済みテストコードを実行するだけ PR の差分に関連するテストだけが自動 的に選ばれて実行される スクリーンショットによる証跡を含むレ ポートが生成される 人間がするのは仕様の確認のみ © LayerX Inc. ステップごとの実行レポート 12
13. 03 | テストを維持するループ
14. 03 | テストを維持するループ テストは作って終わりではない プロダクトは変わり続ける。画面も、文言も、セレクタも 昨日まで通っていたテストが、変更のたびに腐っていく 作るより、維持こそが本丸 © LayerX Inc. 14
15. 03 | テストを維持するループ 腐ったテストが、人間の時間を溶かす 落ちたテストを前に、まず切り分けが要る プロダクトのバグなのか、テストが腐っただけなのか 切り分けが追いつかなくなると、赤いテストは無視され、やがて消される この切り分けから、ハーネスに任せる © LayerX Inc. 15
16. 03 | テストを維持するループ 失敗の原因をソースコードの差分から分類 落ちたテストごとに、過去の成功時点からのソースコード 差分やブラウザ操作記録、スクリーンショットを根拠に原 因を分類する テストコードの乖離： 検証内容は同じで、テストコードだけが古い 例：セレクタや文言の変更に、テストが追従できていない プロダクト仕様の変更： 検証したいこと自体が変わった 例：画面の作り直し、機能削除、フィーチャーフラグの切り替え プロダクトのバグ： どちらでもなく、プロダクトが壊れている 例：変更の影響で、別の機能が意図せず壊れた © LayerX Inc. セレクタの乖離を「テストコードの乖離」と判定した例 16
17. 03 | テストを維持するループ 分類ごとに次のアクションへ テストが落ちる 原因を分類 テストコードの乖離 ↓ 自動で直し 修正 PR を作る プロダクト仕様の変更 ↓ テスト仕様の 見直しを促す プロダクトのバグ ↓ 開発チームへ通知 判定不能の場合は、人間が確認する © LayerX Inc. 17
18. 03 | テストを維持するループ 人間の時間はテストの維持からプロダクトへ テストが落ちるたびの原因切り分けも、テストコードの修正も、ループが引き受ける 人間が向き合うのは、プロダクトの仕様変更とバグなど プロダクトの重要な部分に注力できるように © LayerX Inc. 18
19. 04 | 精度とコストを改善するループ
20. 04 | 精度とコストを改善するループ 維持のループに残る、二つの課題 エージェントによる分類を誤れば、バグを見逃す テスト自動修正におけるエージェントの操作は、1 回で数ドルかかることもある どちらも、回すほど良くなるループを組み込んでいる © LayerX Inc. 20
21. 04 | 精度とコストを改善するループ 分類精度向上のループ テストが落ちた原因の正確な分類にはドメイン知識も必要 ハーネスによる失敗原因分類の結果に、人間が正誤を付ける 人間の採点結果からカスタムプロンプトを抽出し、次からの分類に反映 Human in the Loop で精度を向上していく © LayerX Inc. 21
22. 04 | 精度とコストを改善するループ コスト改善のループ 高いコストの原因はセレクタの探索など、エージェントの試行錯誤が中心 同じ失敗を繰り返さないようにするにはどうすればよいか、という観点でカスタムプロ ンプトを学習し、次からの操作に反映 エージェントがより迷うことなくブラウザ操作が行えるように 1 回 $5 かかっていた操作が、2 回目以降は $1 程度に下がるようなケースも © LayerX Inc. 22
23. 04 | 精度とコストを改善するループ ループを回すほどよくなるハーネスの実現へ 人間の評価からの学習やエージェントの自律的な学習をループに組み込む ハーネスを実行すればするほど、分類の精度は上がり、操作のコストは下がる 回せば回すほどQAプロセスが改善されていく © LayerX Inc. 23
24. 05 | 目指す未来
25. 05 | 目指す未来 未来 1：観点の提案に踏み込む 何をテストすべきかは、今は人間が決めている AIによる無秩序なテストの量産は品質保証に対して逆効果 しかし、新規プロダクトの開発や新機能開発においては観点設計が大変 既存のE2E、統合、単体テストまで含めたプロダクト全体のテストカバレッジの定量化 を目指す カバレッジを根拠に、本当に価値のある観点の提案にエージェントが踏み込む © LayerX Inc. 25
26. 05 | 目指す未来 未来 2：テスト仕様だけで QA が回る 現状はテスト仕様をコードに変換してから実行 実行が決定的になり、コストが安定する その一方でテストコード自体のメンテナンスも必要 将来は、変換を介さず、仕様のままエージェントがブラウザを操作して QA する テストコードの維持を考える必要がなくなり、仕様の検証だけに注力できる © LayerX Inc. 26
27. 05 | 目指す未来 未来 2：テスト仕様だけで QA が回る 内製 QA ハーネスの機能としては、すで に提供している Slack のような複雑な UI が絡む機能の QA も、高い精度で実現している コストと安定性の課題が残る 改善ループを組み込んでいく © LayerX Inc. Slack 上の bot 応答をエージェントが検証したレポート 27
28. まとめ
29. まとめ まとめ 自動テストを前提としたQAプロセスの実現を目指す 内製の QA ハーネスで、E2E リグレッションテストの整備と維持の自動化 人間が手を入れるのは、テスト仕様だけ テストコードの作成も、修正も、失敗原因の分類も、エージェントループが担う 学習ループによって回すほど賢くなるように 必要十分な観点の提案や、テスト仕様だけでQA プロセスが回る未来へ © LayerX Inc. 29