生成AI活用でQAエンジニアにどのような仕事が生まれるか/Support Required of QA Engineers for Generative AI

Transcript

1. 生成AI活用でQAエンジニアに どのような仕事が生まれるか 2026/3/20 JaSST’26 Tokyo 井芹　洋輝
2. ソフトウェア開発での生成AIの用途 • さまざまな領域でLLMやLMMが活用されている • Claude CodeやDevinといった、学習データから生成するだけでなく、 生成AIが外部のツールやサービスを操作するサービス出現で、有効性が拡大 している • 用途はさまざま。例：プログラミングでの活用 ◦ コードスニペット/コード補完 ◦ プログラミング自動化 ◦ コード改善/リファクタリング自動化 ◦ レビュー自動化/レビュー対応自動化 ◦ テスト自動化 ◦ 環境構築自動化
3. 生成AI活用で生まれる品質面の仕事 • 生成AI活用では、品質面での特有の仕組み作り・サポートが必要 組織横断、開発チーム内と立場を問わず、QAエンジニアとして支援する価値 がある • 今回解説する品質面のサポート： 1. 生成AIに合わせた開発のやり方・仕組みの改変 2. 生成AIの品質課題への対応 3. 生成AIのインフラの品質確保・維持
4. 1. 生成AIに合わせた開発のやり方・仕組みの改変 • HITL（Human-in-the-Loop）へのプロセスの適応 ◦ 生成AIに作業を任せ人間がそれを補正・フォローしていくフローを形成 • Everything as Code ◦ コード、要件、設計、プロセス、インフラ、変更履歴といったあらゆる情報を、生成 AIが解析 しやすい形式、例えばコードやテキストで表現 • 構成管理の統合 ◦ 開発のあらゆる情報を、生成AIが参照・操作できる構成管理システムで管理 • ゼロ・トラスト ◦ 生成AIに公開できないシークレットを統合的に分離・機密管理
5. 2.生成AIの品質課題への対応： 　知的財産侵害・オープンソースライセンス混入の対応 • 課題 ◦ GPL、AGPLといった、公開義務が発生するライセンスのコード混入 ◦ 訴訟リスクのあるコード混入 • 求められる活動 ◦ OSSスキャンツールによるライセンス混入チェック ◦ リスクの低い生成AIサービスの選択。例えば生成AIサービスの中には、コンテンツフィル ターで問題あるコードの混入可能性を減らしているものがある ◦ 有識者によるコードレビュー。例えばライセンス条項のコメントが混入していないか確認 ◦ オープンソースライセンスのガバナンスの確保。オープンソース利用のルールやガイドラ インを整備・運用。生成AIのライセンス混入リスクについて周知させる
6. 2.生成AIの品質課題への対応： 　ハルシネーション対応 • 課題 ◦ バグの埋め込み。捏造 ◦ 冗長性・非効率性の混入 ◦ 細かなコンテキストへの非対応 • 求められる活動 ◦ ハルシネーションの発生可能性の低い生成 AIサービスの選択 ◦ ハルシネーションが発生しにくい技術スタックの選択。例えば学習データが豊富だったり、 型システムなどハルシネーションを制限する仕組みが充実していたりする言語・フレーム ワークを選択 ◦ ファインチューニングやRAGで精度を高める ◦ 分割統治で任せる仕事を細切れにしてコンテキストの境界を明確化する
7. 2.生成AIの品質課題への対応： 　不正操作の対応 • 課題 ◦ 不可逆な環境破壊（ファイル削除など） ◦ バグやリスクの埋め込み（脆弱性あるライブラリを組み込んでしまうなど） ◦ 作業の手戻り（git reset実行など） ◦ 機密情報の漏洩（シークレットを外部 APIに入力してしまうなど） • 求められる活動：予防 ◦ 権限設定や実行禁止リストによる操作制限 ◦ 仮想コンテナ化でコンテナに操作を完結させる
8. 2.生成AIの品質課題への対応： 　生成AIサービスへの機密情報漏洩の対応 • 課題 ◦ 機密情報を生成AIに入力してしまう。それを生成AIサービスが学習データとして使用 • 求められる活動 ◦ 機密性の高い生成AIサービスの選択。第三者に入力情報を提供しないことを保証するエ ディションやサービスを選択 ◦ 機密情報はシークレットとして分離管理 ◦ プライベート環境で生成AIエージェントを構築
9. • 課題 ◦ 自組織でAIエージェントを運用する場合、その品質確保・維持が必要 ◦ 関連する開発インフラの品質確保・維持が必要 • 求められる活動 ◦ インフラに対する品質管理・品質保証の実施 技術スタック選択の適正化。AIに対するテストアプローチが求められる ◦ 運用のモニタリング。品質問題の検出や、開発者体験の評価 3. 生成AIインフラの品質確保・維持
10. まとめ • 生成AIの導入で、開発のアプローチ・仕組みが変わる 特有の品質課題が生まれる • QAエンジニアとして、品質面でそれら変化や課題対応をサポートし、 チームの力を伸ばしていく活動が求められる