組織でAIをQAに活用する仕組みづくり / Scaling AI-Powered QA Across Your Organization

2025年12月6日に開催された「ソフトウェアテスト自動化カンファレンス 2025 (https://testautomationresearch.connpass.com/event/361747/) 」での登壇資料です。
登壇者情報：医療プラットフォーム本部　QAエンジニア　小島大周 (@Daishu)

Transcript

1. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 1 組織で AI を QA に活⽤する仕組みづくり ⼩島 ⼤周 (@Daishu) 2025/12/6 ソフトウェアテスト⾃動化カンファレンス 2025
2. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 2         | QA エンジニア | ⼩島 ⼤周 2024年12⽉ 「来年は STAC2025 に出る」とブログで宣⾔ @Daishu AIが好きです！ 夢が叶いました ！ご採択ありがとうございます 🎉
3. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 3 突然ですが、 AI でテスト設計していますか？
4. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 4 2025 年 12 ⽉現在、 「Yes」の⽅も多いと思います
5. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 5 では QA 組織レベルで AI を活⽤できていますか？
6. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 6 この質問は、 「No」の⽅が多いかもしれません
7. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 7 なぜ、組織単位の AI 活⽤が難しいのか？ ① 利⽤⽅法の属⼈化 ‧プロンプトやコンテキストが個⼈のローカルにある ‧誰がどんな使い⽅をしているか⾒えづらい (※ Slack連携で解消しつつある) ② 利⽤する AI ツールが異なる ‧Cursorの⼈もいれば、Claude、ChatGPT、geminiの⼈もいる ③ AI の出⼒不確実性 ‧期待した⽔準の成果物にならないので、⾃分でやった⽅が早いという⽅もいる
8. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 8 AI活⽤前提のツールを⾃前で作成して、 みんなで利⽤すれば良いのでは‧‧💡 ↑AI xテスト設計の CLI ツールを作りました 🚀 ↑詳細はブログをご覧ください
9. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 9 ブログの内容をさらっと紹介
10. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 10 qa-knowledge とは • 社内ツール • AI を⽤いて「誰でも⾼品質なテストケース設計」を⽬指した CLI ツール • 組織のナレッジ (コンテキスト) 、テスト設計の⼿順 (プロンプト) を git リポジトリで管理して、個々⼈の AI に参照させる仕組み • 組織単位で利⽤することでナレッジの属⼈化を防ぎつつ、効率的なテスト 設計を標準化することが狙い
11. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 11 ナレッジとプロンプトを標準化
12. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 12 動作仕様を個々の AI で読み込めば動きます
13. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 13 • 実装がないので、AI モデルに依存しない (= モデルの進化に追従) • リポジトリの⼤半は、md ファイルであり⾃然⾔語で記述されている ↑ GitHub の ⾔語使⽤率もメンテ⽤のスクリプトが占める すべてプロンプトで実現
14. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 14 成果物をナレッジとして貯めて活用
15. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 15 組織単位の AI 活⽤課題 → qa-knowledgeで解決 ① 利⽤⽅法の属⼈化 ‧プロンプトやコンテキストが個⼈のローカルにある ✅ プロンプトとコンテキストをGit管理して標準化 ② 利⽤する AI ツールが異なる ‧Cursorの⼈もいれば、Claude、ChatGPT、geminiの⼈もいる ✅ プロンプトエンジニアリングにより、AI モデル/ツールに⾮依存 ③ AI の出⼒不確実性 ‧確実に動く保証がないので、⾃分でやった⽅が早いという⽅もいる ✅ 使うほどナレッジが貯まって精度向上、最新AIモデルへの追従性
16. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 16 ここまでがブログの内容
17. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 17 ここから 「組織単位で運⽤する上での課題」 について話します
18. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 18 運⽤の壁① - 技術的課題 • AI モデルによって⼿順を最適化して⾶ばしてしまう ◦ 動作仕様: 「最後にPR作成して成果物をナレッジとして保存」 ▪ 実際:「テスト設計、お疲れ様でした 😉」(不具合ともいえる) • テスト対象分析などに時間を要する ◦ 原因: AIは「プロンプト理解 > 実装‧実⾏ > レスを返す」という動作 ▪ PR分析: 3分 ▪ テスト観点検討: 5分
19. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 19 解決策 - プロンプト内でMCPを呼び出す ↑PR取得のMCP実装例 • プロンプトから該当処理の記述をMCP として切り出しました • AI は MCP を呼び出すのみ ◦ = プロンプト指⽰より⾼速になる • AI から MCP の実装内容は⾒えない ◦ = ⼿順通りの動作で固定できる
20. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 20 解決策 - プロンプト内でMCPを呼び出す ↑期待通り & ⾼速に動くようになった (数秒 ~ 20秒)
21. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 21 現在の⽅針 • テスト設計など AI の創造性が求められるタスク ◦ ⾃然⾔語でプロンプトに記載 • 定型タスク ◦ MCPを実装してプロンプト内で、MCP呼び出し 💡MCP は AI モデル⾮依存のため、qa-knowledge の⽅針も守れる
22. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 22 プロンプトの可読性も向上した ↑プロンプトで全て指⽰ ↑MCPを1度コールする (4⾏) 💡コンテキストも削減
23. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 23 運⽤の壁② - 利⽤範囲が限定される • 組織ナレッジを「テスト設計」 フェーズでしか利⽤できない • 対話型でテスト設計を進⾏する ツール故にさくっと利⽤できない 中間成果物を確認しつつ、フェーズ毎に進⾏ →
24. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 24 解決策 - MCP経由でナレッジ参照可能に • qa-knowledge を開発フェーズ毎の MCP ツールとして切り出して提供 ◦ 組織ナレッジを使いたいシーンで活⽤しやすくなった
25. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 25 場所問わず、いつでも利⽤しやすく ↑MCPなので、Claude Desktopから気軽に使える
26. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 26 現在の⽅針 • ⼤きめのテスト案件 or QA 以外の職種の⽅ ◦ 対話型のAIテスト設計ツール (QA Sessions) を利⽤ • ⼩規模案件 or 各フェーズ毎の品質保証 ◦ MCP ツール (QA Tools) を単体で利⽤してナレッジ活⽤ 💡テスト設計を導いてくれる 💡各フェーズで単独利⽤しやすい QA Sessions QA Tools
27. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 27 運⽤の壁③ - カスタマイズできない • 組織やチームによってテスト設計 のルールやフォーマットが異なる • qa-knowledge の標準化された動 作だと困るケースがあった • 全体影響する変更は避けていきた いところ ↑標準のテンプレート例
28. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 28 解決策 - ユーザープロンプト対応 • プロダクト毎に “QA-KNOWLEDGE.md” を提供 ◦ 記載した内容で動作を上書 きすることができる • 例：XXテンプレート.md でテス トケースを出⼒ ※ CLAUDE.md のような存在 💡標準化から部分的に最適化へ
29. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 29 qa-knowledge の成果
30. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 30 qa-knowledge による成果 • QA エンジニア不在チームへの⽀援 ◦ 不在期間を「qa-knowledge」でカバーした ◦ QA 以外の職種の⽅も利⽤ (QA イネーブリング⽀援) • 経験が浅いメンバーのナレッジ補完 ◦ ドメイン知識やプロダクトの観点を補えている 全社展開を⽬指して、普及活動と改善を継続中‧‧！ 🔥
31. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 31 おわりに
32. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 32 qa-knowledge の最終到達点  ‧QA エンジニアの業務‧知識をリポジトリ内に定義  ‧各 AI がメドレーの QA エンジニアとして振る舞って⽀援できる世界
33. Copyright© Medley, Inc. ALL RIGHTS RESERVED. 33 ご清聴ありがとうございました！