AIプロダクト時代のQAエンジニアに求められること

AIプロダクトの品質保証を語ろう！ - freee × マネーフォワード × LayerX
https://layerx.connpass.com/event/381467/

Transcript

1. AIプロダクト時代の QAエンジニアに求められること 2026.02.16
2. Money Forward, Inc. 2 角田　俊 社外活動 • JSTQB 技術委員 • 元・WACATE 実行委員 株式会社マネーフォワード CQO室
3. Money Forward, Inc. 3 Money Forward
4. Money Forward, Inc. 4 サービス一覧 これ以外にもマイクロサービスなど数多くのプロダクトが存在している 出典元 : 株式会社マネーフォワード 会社紹介資料 法人向け バックオフィス向け　 SaaS ファイナンスサービス 個人向け 金融機関等向け PFM（家計簿・資産管理）サービス Fintech推進・DX支援 金融機関・特定サービス向け マネーフォワード デジタル通帳・かんたん通帳
5. Money Forward, Inc. 5 開発拠点 ベトナム（ハノイ・ホーチミン） インド 東京 （田町） 名古屋 福岡 関西 （大阪・京都） 8 開発拠点
6. Money Forward, Inc. 6 Manami Turner, “エンジニア採用の未来：マネーフォワードが挑んだ「エンジニア組織完全英語化」の真相 ”, 2025/02/06, https://japan-dev.com/blog/money-forward-engineering-global-challenge-ja (2026/02/07閲覧)
7. Money Forward, Inc. 7 “Moneyforwardクラウド with AI”, https://biz-ai.moneyforward.com/ (2026/02/07閲覧)
8. Money Forward, Inc. 8 QAとAIの関わり
9. Money Forward, Inc. 9 QA4AIとAI4QA AIシステムの品質保証 QA4AI(QA for AI) AI4QA(AI for QA) AIシステムを活用した品質保証
10. Money Forward, Inc. 10 QA4AI AIプロダクト品質保証ガ イドライン AIプロダクト品質保証 コンソーシアム , 2024/04/10 https://www.qa4ai.jp/ (2026/02/07閲覧) snsk, “AIシステムの製品品質モデル ISO/IEC25059:2023”, 2025/02/13, https://note.com/_snsk/n/nff496a4e2230 (2026/02/07閲覧) ISO/IEC25059:2023 国立研究開発法人産業技術総合研究所 , “生成 AI 品質マネジメントガイドライン ”, 2025/05/26, https://www.digiarc.aist.go.jp/publication/ aiqm/GenAIQuality-requirements-rev1.0.0 .0019.pdf (2026/02/7閲覧) 生成AI品質 マネジメントガイドライン
11. Money Forward, Inc. 11 AIシステムの特徴
12. Money Forward, Inc. 12 学習したデータから 振る舞いが決定する （学習ベース） 仕様から振る舞いが決定する （ルールベース） AIプロダクトの特徴 従来システム AIシステム
13. Money Forward, Inc. 13 従来システムとの違い AIシステムの特徴（一部） • ハルシネーションがある • 結果が決まらない（確率的） • 仕様を決めるのが難しい • 進化が早い（現時点では） • AIの変更でシステムの振る舞いが変化する • テストデータが大量に必要になる • テストするべきインプットの定義が難しい • コンプライアンスなどの新しい問題が発生する
14. Money Forward, Inc. 14 従来のシステムのテストとの違い テスト結果をスコアで判定する 合格/不合格でテスト結果を評価する 従来システム AIシステム
15. Money Forward, Inc. 15 “AIエージェントの品質保証 〜QAが知識ゼロから挑んだ 3ヶ月間〜”, https://moneyforward-dev.jp/entry/2025/12/19/accurac y-validation (2026/02/07閲覧)
16. Money Forward, Inc. 16 対象とするAIシステム Frontend Backend
17. Money Forward, Inc. 17 QAの関わり方
18. Money Forward, Inc. 18 QAの関わり 計画 要件定義 テスト リリース
19. Money Forward, Inc. 19 計画 計画 要件定義 テスト リリース • テストスケジュール検討 • リリース方法検討
20. Money Forward, Inc. 20 テストスケジュール検討 • AIモデルの精度検証、改善期間も含める ◦ AIの精度 ▪ 検証 ▪ 改善 計画 要件定義 テスト リリース 精度向上を見越して、幅を持たせたスケジュール設定が必要
21. Money Forward, Inc. 21 リリース方法検討 • ユーザーの期待値を調整するリリース方法を検討する ◦ カナリアリリース ◦ ベータリリース UIの説明の記載方法、ヘルプサイトなどの記載でも期待値調整は可能 計画 要件定義 テスト リリース 試験版としてユーザーに提供する まず少数のユーザーに提供する カナリアリリース ベータリリース
22. Money Forward, Inc. 22 要件定義 計画 要件定義 テスト リリース • 精度目標 • リスク • AI制御
23. Money Forward, Inc. 23 精度目標 • AIの精度目標を決める ◦ ステークホルダーと会話する ▪ どういう傾向にするべきか • 緩くするのか、厳しくするのか • AよりBなのか、BよりAなのか ◦ 実際には、数値を計画の段階で決めるのは難しい 計画 要件定義 テスト リリース まずはどれくらいの精度であればユーザーにとって価値があるのかを認識する
24. Money Forward, Inc. 24 リスク • リスクマネジメントが必要 ◦ AIは予期しない動作を行う ◦ ステークホルダーと議論してリスクを洗い出す リスクに優先度を付ける 発生して欲しくないことを特定する リスクの特定 リスクの評価 計画 要件定義 テスト リリース
25. Money Forward, Inc. 25 AI制御 • システムとしてAIプロダクトの振る舞いを制御する AIへのインプット AIのアウトプット制御 AI ・フィルター ・加工 ・プロンプトエンジニアリング ・フィルター ・加工 計画 要件定義 テスト リリース
26. Money Forward, Inc. 26 テスト 計画 要件定義 テスト リリース • テストピラミッド • VerificationよりもValidation • リスクベースドテスト • 自動テスト • バグバッシュ
27. Money Forward, Inc. 27 テストピラミッド Unit test API test E2E test AI test AIも単体で精度のテストを実施する 他のAIにサービスを提供する（MCP）場合はAPI テストの重要性が上がってくる UIなどは機能提供の一つの方法にしかならないことも ある 計画 要件定義 テスト リリース
28. Money Forward, Inc. 28 VerificationよりもValidation ユーザーの要求に 一致するかを確認する 仕様が満たされていることを確認する Verification(検証) Validation(妥当性確認) • AIプロダクトにおいては仕様を定義するのが難しい • 検証で用いたインプットと本番で使われるインプットがおなじとは限らない ユーザーの要求を満たせるシステムになっているかどうかを確認することが重要 計画 要件定義 テスト リリース
29. Money Forward, Inc. 29 リスクベースドテスト 1, 他の人の情報を元に回答を出すリスク 2,個人情報を回答するリスク 3,重要な判断情報を断定して回答するリスク 4,・・・ ・ ・ ・ リスク一覧 • リスクベースドテスト ◦ リスクの高いことからテストする ◦ セキュリティテストも含まれる 計画 要件定義 テスト リリース
30. Money Forward, Inc. 30 自動テスト • 自動テスト ◦ AIの進化が早い ◦ AI精度の品質担保が必要 ▪ テストの頻度が多い ◦ テストレベルでテストを分ける ▪ AIのテスト ▪ システムとしてのテスト 計画 要件定義 テスト リリース さらに高速にフィードバックループを回せる環境を作成する必要がある
31. Money Forward, Inc. 31 バグバッシュ • バグバッシュ ◦ 専門家のテストが必要になることがある ◦ ユーザーとしてどう感じるかをテストする 計画 要件定義 テスト リリース 色々な視点から、色々なデータ、色々なユーザー情報などを使ってテストする 様々な部門の人を巻き込んで徹底的にテストする バグバッシュ
32. Money Forward, Inc. 32 リリース 計画 要件定義 テスト リリース • モニタリング • ユーザーフィードバック
33. Money Forward, Inc. 33 モニタリング • システムとしてのモニタリング ◦ 社外での振る舞いをモニタリングする ▪ 問題が発生したときに、原因を特定する ◦ 必要であればAIを改善していく 計画 要件定義 テスト リリース 例： • 応答速度 • コスト • 不正なインプット • 不正なアウトプット
34. Money Forward, Inc. 34 ユーザーフィードバック • ユーザーフィードバックを収集する ◦ ユーザーがどのようにAIを感じるかを評価する ▪ 収集する仕組み ▪ 満足度 計画 要件定義 テスト リリース ChatGPT Gemini Rovo
35. Money Forward, Inc. 35 AI活用
36. Money Forward, Inc. 36 QA4AIとAI4QA AIシステムの品質保証 QA4AI(QA for AI) AI4QA(AI for QA) AIシステムを活用した品質保証
37. Money Forward, Inc. 37 アプトプット • AIで様々なアウトプットが加速 ◦ ドキュメント ◦ ソースコード ▪ プロダクトコード ▪ テストコード ◦ データ
38. Money Forward, Inc. 38 AI4QA4AI AIシステムを活用したAIの品質保証 AI4QA4AI AIを活用し、高速に AIシステムの品質保証を行う