生成AI活用によるODC欠陥分析の分類高速化の実践と導入効果 / 20260703 Suguru Ishii

2026/7/3 JaSST’26 Kansai
https://jasst.jp/kansai/26-about/

株式会社SHIFT
CATエヴァンジェリスト
石井 優

Transcript

1. Copyright SHIFT Inc, All Rights Reserved. 2026 / Copyright SHIFT Inc, All Rights Reserved. 2 JaSST’26 Kansai 株式会社SHIFT CATエヴァンジェリスト 3 7 16:00 – 16:40 生成AI活用によるODC欠陥分析の 分類高速化の実践と導入効果 石井 優 Suguru Ishii
2. 4 Copyright SHIFT Inc, All Rights Reserved. 登壇者紹介 石井 優（Suguru Ishii） ソリューション本部 デリバリ改革統括部 デリバリ改革部 サービスプラットフォームグループ CATエヴァンジェリスト 大規模テストの進捗・品質を可視化 テスト管理ツール 「CAT」 約820社 約18,000ライセンス (※） ※2025年3月時点 「テスト管理 CAT CM」で検索！ 経歴 2009/4 ～ 2014/11 倉庫系システム部門 2014/12 ～ 2015/7 東中野のPCサポート屋さん・石井屋 2015/8 ～ SHIFT CATサポート、プリセールス、エヴェンジェリスト CATほど 面白いプロダクトは なかなかない！ CAT CM も よろしくね！
3. 5 Copyright SHIFT Inc, All Rights Reserved. ODC分析のAIによる取り組みは2名で取り組んでいます メンバー 大手ITベンダーにて、約38年の製品開発（SWエンジニア） およびITシステム開発（ソフトウェアテスト事業）を経験後、 2022年2月SHIFTに参画。 山腰 直樹 吉澤 麻由 Executive Test Specialist Test Engineer 海外事業推進部にて顧客支援をしつつ、テスト事業の拡大の一環と して「欠陥分析サービス」 を立ち上げ。全メンバーでSHIFTのテス トオファリングへの理解を深め、顧客ニーズに応じた支援を推進中。 大手SIerで新卒から10年以上、Web系システムの要件定義から 保守・運用までの開発業務を担当。2014年SHIFTに参画。 入社以来、パッケージ製品・金融・医療システムなど幅広い 検証業務に従事。2018年より、SHIFT品質保証標準（SQF） の策定と適用推進を担当。日経BP刊行の書籍『SHIFT流 AI時 代のソフトウェアテスト』の監修に参加。
4. 6 Copyright SHIFT Inc, All Rights Reserved. 本講演について JaSST’26 Tokyoでの講演「欠陥分析(ODC分析)における生成AIの活用プロセスと実 践事例」をアップデートし、最新の動向をお届けします。 • JaSST’26 Tokyoでいただいた質問をベースに回答を追加 • 直近のアップデート（ワンストップでの出力）の紹介 特に分析まわりのアプローチについて • 日々の運用における活用案 • AIテスト実行サイクルに組み込む場合の考え方 今回のアップデート JaSST’26 Tokyo での様子
5. 7 Copyright SHIFT Inc, All Rights Reserved. 品質の可視化・改善におけるAIの使い所・勘所のヒントになれば幸いです。 本講演のターゲットとゴール ターゲット 主な内容 • ODC分析の説明（概要、ボトルネック） • AIによる分類効率化のアプローチ、ハードルと乗り越え方 • 実用時の効果（人力との比較、副次的な効果） • 今後の展望 開発部門 担当者・責任者 品質管理部門 担当者・責任者 ゴール • 品質分析のアプローチを知って明日から活用する • AIの使い所を知って効率化に役立てる
6. 8 Copyright SHIFT Inc, All Rights Reserved. 活用や実装のポイントとその裏話を開発メンバー・現場メンバーからお話しします。 アジェンダ • ODC分析の概要とボトルネックになるポイント • 01 AI活用による成果 • 02 取り組みの詳細、工夫のポイント • 03 新しい取り組みと提案
7. Copyright SHIFT Inc, All Rights Reserved. 9 ODC分析の概要と ボトルネックになるポイント
8. 10 Copyright SHIFT Inc, All Rights Reserved. 品質分析の必要性 ミッションクリティカルな領域こそ品質可視化と改善が必須 企画・設計 実装 改善 計画 品質分析 テスト AIデータ 活用基盤 品質分析、 できていますか？
9. 11 Copyright SHIFT Inc, All Rights Reserved. ソフトウェアの欠陥の質を可視化し改善を促すための欠陥分析手法 ODC分析とは？ 統計的分析 原因分析 • 履歴データとの比較 • 成長曲線モデル 限定・特定不具合の調査 パレート図・管理図… RCA（なぜなぜ分析） 原因の深堀りに至りづらい データの量が必要 多大な労力・コストがかかる 全体の把握には向かない ODC 分析手法 個々の不具合の意味論を定量的に捉え、 プロセスの進歩と品質成熟への橋渡し 全体の傾向・偏りを定量的に把握 300件程度で分析が可能 初出 Ram Chillarege Inderpal S. Bhandari, Michael J. Halliday, etc. : "Orthogonal Defect Classification - A concept for In-process Measurement", IBM Thomas J. Watson Research Center IEEE Transactions on Software Engineering. Vol.18. No.11. Nov. 1992. 杉崎 眞弘 他 (著) 日科技連出版社 目的 テスト活動のアウトプット（欠陥）を分析し、品質や開発 プロセスの改善を促す情報を得る
10. 12 Copyright SHIFT Inc, All Rights Reserved. EDI受信時の商品コード不一致エラー 入庫検品時の賞味期限チェック漏れ ロケーション空き容量計算の不備 複数出荷指示のピッキングリスト重複 欠陥情報を分類、分析することで品質の特性を掴み改善につなげる ODC分析のプロセス 欠陥一覧 （システムテスト・本番障害など） 種別 （修正箇所） 先入れ先出し（FIFO）ロジックの無視 …（約300件以上）… インター フェース チェック アルゴリズム 機能 アルゴリズム バリエーション カバレッジ バリエーション 相互作用 シーケンス 信頼性 完全性/整合性 完全性/整合性 完全性/整合性 操作性/運用性 トリガー （検出のきっかけ） 影響 （何に関わるか） 機能 インター フェース アルゴリ ズム 機能の作り込み は安定 ロジックの 欠陥増 １．欠陥を分類する ２．傾向を分析する 設計レビューの 強化が必要！
11. 13 Copyright SHIFT Inc, All Rights Reserved. EDI受信時の商品コード不一致エラー 入庫検品時の賞味期限チェック漏れ ロケーション空き容量計算の不備 複数出荷指示のピッキングリスト重複 分類作業が工数の約8割となり負担となる 分類作業の負担が大きい 欠陥一覧 （システムテスト・本番障害など） 種別 （修正箇所） 先入れ先出し（FIFO）ロジックの無視 …（約300件以上）… インター フェース チェック アルゴリズム 機能 アルゴリズム バリエーション カバレッジ バリエーション 相互作用 シーケンス 信頼性 完全性/整合性 完全性/整合性 完全性/整合性 操作性/運用性 トリガー （検出のきっかけ） 影響 （何に関わるか） 機能 インター フェース アルゴリ ズム 機能の作り込み は安定 ロジックの 欠陥増 １．欠陥を分類する ２．傾向を分析する 分類が工数の約8割 設計レビューの 強化が必要！
12. 14 Copyright SHIFT Inc, All Rights Reserved. EDI受信時の商品コード不一致エラー 入庫検品時の賞味期限チェック漏れ ロケーション空き容量計算の不備 複数出荷指示のピッキングリスト重複 ボトルネックとなる欠陥の分類をAIで効率化 今回の取り組み 欠陥一覧 （システムテスト・本番障害など） 種別 （修正箇所） 先入れ先出し（FIFO）ロジックの無視 …（約300件以上）… インター フェース チェック アルゴリズム 機能 アルゴリズム バリエーション カバレッジ バリエーション 相互作用 シーケンス 信頼性 完全性/整合性 完全性/整合性 完全性/整合性 操作性/運用性 トリガー （検出のきっかけ） 影響 （何に関わるか） 機能 インター フェース アルゴリ ズム 機能の作り込み は安定 ロジックの 欠陥増 １．欠陥を分類する ２．傾向を分析する 分類が工数の約8割 AIで分類作業※ を2週間から1時間に削減！ 設計レビューの 強化が必要！ ※ODC分析のプロセスには分類の他に再鑑・分析などもあります。
13. 15 Copyright SHIFT Inc, All Rights Reserved. 定常的な分析をしたい場合のボトルネック 起票時の分類作業が手間となり、継続的な分析は形骸化しやすい 欠陥起票画面 品質可視化においては、属 性を多く付与したい 反面、属性が多くなると手間やメ ンバー間での周知の難しさから 形骸化しやすい ※本画面の情報は実在のシステムとは関係のない架空のイメージです。
14. 16 Copyright SHIFT Inc, All Rights Reserved. 分類 分析 報告書 膨大な作業量 分類のプロセスを 分解し分担 思考パターン を洗い出し汎化 ODC分析の各プロセスは生成AIが得意であり、分析を加速できる可能性 （仮説）ODC分析は全工程をAIで完了できるのではないか？ プロセス 属人化される ボトルネックな点 これまでの 解決アプローチ これってAIで 実現できるのでは？
15. Copyright SHIFT INC, All Rights Reserved. 17 ➢01 AI活用による成果
16. 18 Copyright SHIFT Inc, All Rights Reserved. 従来の第三者による欠陥分析の実施フロー（役割分担と品質担保） ODC教育 分類 再鑑 再鑑依頼 深堀 分析 フィードバック 深堀依頼 フィードバック 作成 作成 サポート 専門家（SME）と分類者で、タスクの分担により効率よく実施 ODC SME （専門家） ODC分類者 （初心者を含む） 事前準備 分析作業 ODC分類 分析 レポート作成 オンボーディング 1週間 2週間 1週間 1週間 ※SME：Subject Matter Expert
17. 19 Copyright SHIFT Inc, All Rights Reserved. 分類をAIに実施させることでの効果 ODC教育 分類 再鑑 再鑑依頼 深堀 分析 フィードバック 深堀依頼 フィードバック 作成 作成 サポート オンボーディングおよび、分類の工数削減に効果あり ODC SME （専門家） ODC分類者 （初心者を含む） 事前準備 分析作業 ODC分類 分析 レポート作成 オンボーディング 1週間 2週間 1週間 1週間 AI活用① SMEの教育工数削減 AI活用② 分類者の工数削減 ※SME：Subject Matter Expert
18. Copyright SHIFT INC, All Rights Reserved. 20 ➢02 取り組みの詳細、工夫のポイント
19. 21 Copyright SHIFT Inc, All Rights Reserved. 弊社におけるODC分析のプロセスとAI化した部分 ODC教育 分類 再鑑 深堀 分析 深堀依頼 フィードバック 作成 作成 サポート 3つの属性に対する分類をAIにより実現 ODC SME （専門家） ODC分類者 （初心者を含む） 事前準備 分析作業 ODC分類 分析 レポート作成 オンボーディング 1週間 2週間 1週間 1週間 ※SME：Subject Matter Expert 再鑑依頼 フィードバック
20. 22 Copyright SHIFT Inc, All Rights Reserved. 欠陥分類フロー ①欠陥・欠陥以外 受領した障害表のデータ 欠陥データ 欠陥データ以外 有効 無効 分類不能 ②欠陥カテゴリー ③修正対象 ④欠陥サブカテゴリー ⑤欠陥タイプ 実装タイプ トリガー 無効分類 欠陥情報の分類 要件定義、設計書、 プログラムの修正 左記以外の修正 障害表のデータを以下の順番で分類 再現せず 仕様通り 重複登録 スコープ外 新規要望/先送り テスト操作ミス 分類項目 説明 1 欠陥タイプ どのような修正をしたか 2 実装タイプ 対応の種類（欠陥or修正） 3 トリガー どのようなテストで検出したか
21. 23 Copyright SHIFT Inc, All Rights Reserved. 欠陥分類フロー ①欠陥・欠陥以外 受領した障害表のデータ 欠陥データ 欠陥データ以外 有効 無効 分類不能 ②欠陥カテゴリー ③修正対象 ④欠陥サブカテゴリー ⑤欠陥タイプ 実装タイプ トリガー 無効分類 欠陥情報の分類 要件定義、設計書、 プログラムの修正 左記以外の修正 障害表のデータを以下の順番で分類 再現せず 仕様通り 重複登録 スコープ外 新規要望/先送り テスト操作ミス 分類項目 説明 1 欠陥タイプ どのような修正をしたか 2 実装タイプ 対応の種類（欠陥or修正） 3 トリガー どのようなテストで検出したか A. はい。欠陥か否か判断つかない記載は却下しています。 判断つかない情報が多い場合、開発プロセスが健全ではないため、 却下することで状態を可視化するということを狙っています。 例：分類フェーズで「分類不能」「理由付きで不足情報を明示」 Q. 記載不明瞭なバグ票の差し 戻し判断もAIで行ってますか？ JaSST’26 Tokyoでの質問 A. はい。欠陥か否か判断つかない記載は却下しています。 判断つかない情報が多い場合、開発プロセスが健全ではないため、 却下することで状態を可視化するということを狙っています。 例：分類フェーズで「分類不能」「理由付きで不足情報を明示」
22. 24 Copyright SHIFT Inc, All Rights Reserved. 欠陥を分類するための5つのプロンプト 欠陥分類のAI化の流れ 01 整形（忠実性担保・構造化） 02 欠陥／非欠陥／分類不能 03 欠陥タイプ（機能／順序／IF／アルゴリズム／チェック／値の設定／曖昧） 04 実装タイプ（欠如／修正） 05 トリガー（カバレージ／バリエーション／特定順序／相互作用／性能・負荷）
23. 25 Copyright SHIFT Inc, All Rights Reserved. 01.整形プロンプトの整形結果 ID タイトル 事象 発生条件 原因 対処内容 EC-002 カート数量がページ遷移で 1に戻る 商品詳細画面で数量を2に設定 してカートに入れた後、ペー ジ遷移を行うと数量が1に戻る。 ①バリエーション （色・サイズ）を持つ 商品、②カート操作後 にページ遷移を行った 場合 数量保持処理が未実装 であり、ページ遷移時 に数量情報が保持され ていなかったため セッション保持処理を 追加予定。 EC-006 ログイン直後の 注文履歴が0件表示 ログイン直後に注文履歴画面 を表示すると0件と表示される が、再読み込みすると正常に 表示される。 ①特定ユーザーからの 1件報告のみ 現時点で未再現のため、 原因は特定できていな い ログ出力を強化して継 続調査を実施（再現せ ずの可能性あり）。 ID 題名 内容 テスト条件 対応メモ EC-002 カート数量がページ遷移で 1に戻る 数量を2にしても、遷移後に1 へ戻る バリエーション （色・サイズ）を持 つ商品 数量保持処理が未実装のため、セッション保 持処理を追加予定。 EC-006 ログイン直後の 注文履歴が0件表示 すぐは空、再読み込みで正常 表示 特定ユーザーの1件報 告のみ 現時点で未再現。ログ出力を強化して継続調 査（無効：再現せずの可能性）。 インプットとなる障害チケット AIでの整形後
24. 26 Copyright SHIFT Inc, All Rights Reserved. 02～05.分類プロンプトによるAIの分類結果 ID タイトル 分類 カテゴリ 分類理由 修正対象 無効 理由 欠陥以外 の理由 欠陥 タイプ 修正すべき不備 実装 タイプ 実装タイプの 分類理由 トリ ガー トリガーの 分類理由 EC-002 カート数量 がページ遷 移で1に戻る 欠陥 (有効) 数量保持処理が 未実装であり、 セッション保持 処理の追加とい う明確な修正対 象があるため。 プログラム - - 機能 ページ遷移後もカー ト数量を保持するた めのセッション管理 機能が未実装であり、 数量保持処理を新た に追加する必要が あった 欠如 ページ遷移後に 数量を保持する ためのセッショ ン管理処理自体 が未実装であり、 新たに処理を追 加する必要があ るため。 バリエー ション バリエーショ ン（色・サイ ズ）を持つ商 品という特定 条件下でのみ 発生しており、 商品条件の違 いを考慮した テストで検出 可能なため EC-006 ログイン直 後の注文履 歴が0件表示 欠陥 (無効) 現時点で再現せ ず、原因未特定 のまま継続調査 扱いとなってい るため。 - 再現 せず - 02 欠陥／非欠陥／分類不能 03 欠陥タイプ 04 実装タイプ 05 トリガー
25. 27 Copyright SHIFT Inc, All Rights Reserved. AIの活用では以下のようなことが起こりがち AIの活用で苦労した点 1. インプット（障害）の書き方の揺れで精度が落ちる 2. 暗黙の判断基準が共有できておらず、解釈がぶれる 3. 曖昧な情報でも勝手に判断して誤分類する 4. 根拠が見えず、判定が揺れやすい場面で“決め打ち”や再作業が増える 5. 行間が読めない（潜在的な内容を見落とす） 入力 基準 判断 結果 応用
26. 28 Copyright SHIFT Inc, All Rights Reserved. 工夫1：最初に整形することで 忠実性 × 構造化 × 一貫性 を担保 1. インプット（障害）の書き方の揺れで精度が落ちる 様々な障害表 • 忠実性：「要約しすぎない」「元データの表現を変えない」と複数箇所で明示 • 構造化：「情報が無い場合は無いと書く」と明示 → 空欄を許さないことで抜け漏れ防止 • 一貫性：チェックリストで“最終バリデーション”をAI自身にチェックリストでチェック ID タイトル 事象 発生条件 原因 対処内容 最初に整形
27. 29 Copyright SHIFT Inc, All Rights Reserved. 工夫1：最初に整形することで 忠実性 × 構造化 × 一貫性 を担保 1. インプット（障害）の書き方の揺れで精度が落ちる 様々な障害表 • 忠実性：「要約しすぎない」「元データの表現を変えない」と複数箇所で明示 • 構造化：「情報が無い場合は無いと書く」と明示 → 空欄を許さないことで抜け漏れ防止 • 一貫性：チェックリストで“最終バリデーション”をAI自身にチェックリストでチェック ID タイトル 事象 発生条件 原因 対処内容 最初に整形 A. “きっちりとした記載”に依存せず、次のような仕組みとし ています。 ①”不足している事実”を分類結果の一部として残す。第三者 が読んで分類できないものは「分類不能」に分類する。 ②障害票の全項目（本文、原因・対処内容、開発者コメント など）を可能な限りAIに渡す。それでも足りない場合は「推 測しない」「曖昧なまま出す」ことを許容する。 Q. 障害票に必要な情報が書か れていない場合どうしますか？ JaSST’26 Tokyoでの質問
28. 30 Copyright SHIFT Inc, All Rights Reserved. 工夫2：AIが再現できるように、判断基準を“優先度付き”で具体化 2. 暗黙の判断基準が共有できておらず、解釈がぶれる • 決め打ち回避のために「修正対象が複数ある可能性を考慮」 を明記 • 複数候補が並ぶ時は、順番ルールに従う 見る順番や、重みが揺れる 判断の順番と重みを固定 【順番ルール】 要件定義 ＞ 設計書 ＞ プログラム ＞ テストデータ ＞ テスト環境 ＞ テストケース ＞ リビルド 例：”修正対象”を特定する際 複数（要件、設計書、プログラム）が 変更されている場合に何に分類するか 分類1回め：”プログラム” 分類2回め：”要件” …安定しない。
29. 31 Copyright SHIFT Inc, All Rights Reserved. 工夫3：曖昧であることを可視化する 3. 曖昧な情報でも勝手に判断して誤分類する 曖昧な場合の救済用カテゴリを追加 【欠陥タイプ】 ・「アルゴリズム or チェック（曖昧）」 ・ 「値の設定」 ・ 「チェック」 ・ 「アルゴリズム」 ・ 「インターフェース」 ・ 「処理の順番」 ・ 「機能」 欠陥タイプの区別は人間でもむずかしい 【欠陥タイプ】 ・ 「値の設定」 ・ 「チェック」 ・ 「アルゴリズム」 ・ 「インターフェース」 ・ 「処理の順番」 ・ 「機能」 • “原因が複合している” 場合の救済用カテゴリを活用 • 人間でも曖昧な領域を積極的に“曖昧なまま価値として扱える仕組み”をAIに持たせた
30. 32 Copyright SHIFT Inc, All Rights Reserved. 工夫3：曖昧であることを可視化する 3. 曖昧な情報でも勝手に判断して誤分類する 曖昧な場合の救済用カテゴリを追加 【欠陥タイプ】 ・「アルゴリズム or チェック（曖昧）」 ・ 「値の設定」 ・ 「チェック」 ・ 「アルゴリズム」 ・ 「インターフェース」 ・ 「処理の順番」 ・ 「機能」 欠陥タイプの区別は人間でもむずかしい 【欠陥タイプ】 ・ 「値の設定」 ・ 「チェック」 ・ 「アルゴリズム」 ・ 「インターフェース」 ・ 「処理の順番」 ・ 「機能」 • “原因が複合している” 場合の救済用カテゴリを活用 • 人間でも曖昧な領域を積極的に“曖昧なまま価値として扱える仕組み”をAIに持たせた A. その通りです。AIの出力をレビューするためには、 自身の度合いを定量化もしくはコメントなどで可視化 する必要があります。重要なポイントです。 多い時で1割くらいです。 Q. 自信度をを定量化するという ことですか？どのぐらいの割合 で曖昧になりますか？ JaSST’26 Tokyoでの質問
31. 33 Copyright SHIFT Inc, All Rights Reserved. 工夫4： “結果”＋“理由”をセットで出力し、整合チェックで決め打ちを抑止 4. 根拠が見えず、判定が揺れやすい場面で“決め打ち”や再作業が増える ・結果だけだと「欠如」or「修正」 判定の揺れやすい場面で 決め打ちが起きる 例：処理の追加も、処理の修正も 「プログラム修正」とだけ記載されがち ・レビュー時に根拠が見えず、 差戻しと再作業が増える • 何を“追加／削除” したのか理由を出力（分類理由により判断軸を露出） • “分類不能”も活用し、理由を残す（再分析可能） “分類理由”の出力を必須にする AIが理由文と結論を自己チェックする
32. 34 Copyright SHIFT Inc, All Rights Reserved. 工夫5：実際の検出パターン＋潜在的な検出パターンの両方を考慮して分類する 5. 行間が読めない（潜在的な内容を見落とす） ・人間のような推測ができずに、 文面から決め打ちが起きる 例：複雑な操作順序が書いてあると 「特定順序」と判断 実際: ログアウト→別ユーザーでログインで再現 潜在: 同一機能を別端末で同時操作でも再現可 • 分類理由に潜在の根拠を必須化し、自己整合チェックで言及漏れを検知 • 複合原因の取りこぼしを抑え、人に近い判断をする 実際＝ 発生事象どおりのテストパターン 潜在＝ どのようにテストすれば 発見できるかと判断されるパターン
33. 35 Copyright SHIFT Inc, All Rights Reserved. まとめ 人の分類プロセスを仕様としてAIに渡す 1. インプット（障害）の書き方の揺れで精度が落ちる 2. 暗黙の判断基準が共有できておらず、解釈がぶれる 3. 曖昧な情報でも勝手に判断して誤分類する 4. 根拠が見えず、判定が揺れやすい場面で“決め打ち”や再作業が増える 5. 行間が読めない（潜在的な内容を見落とす） 曖昧であることを可視化する AIが再現できるように、判断基準を“優先度付き”で具体化 “結果”＋“理由”をセットで出力し、整合チェックで決め打ちを抑止 実際の検出パターン＋潜在的な検出パターンの両方を考慮して分類する 最初に整形することで 忠実性 × 構造化 × 一貫性 を担保 入力 基準 判断 結果 応用
34. 36 Copyright SHIFT Inc, All Rights Reserved. まとめ 人の分類プロセスを仕様としてAIに渡す 1.インプット（障害）の書き方の揺れで精度が落ちる 2.暗黙の判断基準が共有できておらず、解釈がぶれる 3.曖昧な情報でも勝手に判断して誤分類する 4.根拠が見えず、判定が揺れやすい場面で“決め打ち”や再作業が増える 5.行間が読めない（潜在的な内容を見落とす） 曖昧であることを可視化する AIが再現できるように、判断基準を“優先度付き”で具体化 “結果”＋“理由”をセットで出力し、整合チェックで決め打ちを抑止 実際の検出パターン＋潜在的な検出パターンの両方を考慮して分類する 最初に整形することで 忠実性 × 構造化 × 一貫性 を担保 入力 基準 判断 結果 応用 A. 単発でも、同じシステムの継続開発や保守などでも使えます。 これまでのAIが無い時代では、分類コストが高くどうしても中長期の データが前提になりがちでした。AIで分類を軽量化したことで、単一プ ロジェクト内でも「今どこに品質リスクが偏っているか」や「次に強化 すべき観点」を把握する用途で使えるようになりました。 一方で、複数プロジェクト・中長期で使うことで、組織やプロセス改善 につながる本来のODCの価値もしっかり発揮できます。 Q. この分析は、単発のプロジェクト内でも 活用できますか？それとももっと長いライ フサイクルでこそ活きるものですか？ JaSST‘26 Tokyoでの質問
35. 37 Copyright SHIFT Inc, All Rights Reserved. 現在の取り組み 発生事象 仮説 改善案 画面系・帳票出力系の障 害が多い 単体テスト（UT）工程 で画面系・帳票出力系の 網羅テストが未実施、も しくは確認不足 専任の品質管理者による 定量的・客観的な品質管 理 比較的複雑系のテスト ケースによる障害が検出 されていない エラー系のテストや、い じわる系、非機能のテス ト不足 専任の品質管理者による 定量的・客観的な品質管 理 総合テスト（ST）工程 にもかかわらず単一条件 で検出された障害が多い 単体テスト（UT）工程 のテスト不足 単体テスト（UT）工程 における網羅的なテスト の強化 … … … 分類 分析 報告書 欠陥情報 プロジェクト 背景情報 ワンストップで高精度なODC分析レポートを出力する仕組みへと整備 SQF 分析観点一覧 ① 分類～報告書作成まで をワンストップで実施 ③ SQFの分析観点一覧をベースに改 善を提示し、分析結果を安定化 ② 背景情報で 高精度化 ※SQF：SHIFT Quality Framework （SHIFTの品質標準）
36. Copyright SHIFT INC, All Rights Reserved. 38 ➢03 新しい取り組みと提案
37. 39 Copyright SHIFT Inc, All Rights Reserved. （案）手動テストプロセスへの組込 自動でタグ付けし、作業者での再鑑をすることで持続的な分析情報付加を促す ①欠陥情報をJiraで起票する ②Atlassian Forgeが起票を検知し、 内容をODC分析APIに問い合わせ ③分析結果を欠陥情報に反映 ④起票者などが再鑑する
38. 40 Copyright SHIFT Inc, All Rights Reserved. （案）AIテスト実行サイクル内での活用 AI分析の結果を取り入れ、次サイクルのAI設計に活かす AIによる テスト実行 AIによる 分析 AIによる テスト 設計 改善提案 AIテスト オペレータ 一部は手動での テストで補完 仕様書の ここが足りない この観点が 不足している 指示/調整
39. 41 Copyright SHIFT Inc, All Rights Reserved. （案）AIテスト実行サイクル内での活用 発生事象 仮説 改善案 画面系・帳票出力 系の障害が多い AIのテスト設計時において、 画面・帳票の表示やバリ デーションに関するコンテ キストが不足している。 AIの設計モデルに対し、画面・ 帳票特有のテスト観点をコンテ キストとして与える。 比較的複雑系のテ ストケースによる 障害が検出されて いない テストが正常系に偏ってお り、異常系やいじわる系の テストケースを生成する指 示・制約が欠落している。 AIの設計プロンプトに「異常 系」「いじわる系」の生成ロ ジックやペルソナを組み込み、 複雑な組み合わせテストをAIに 自律設計させる。 総合テスト（ST） 工程にもかかわら ず単一条件で検出 された障害が多い 下位工程（UT/IT）を担当 するAIのテスト網羅性が低 い。 工程ごとにAIの役割分担を最適 化。下位工程AIに単一条件の網 羅を徹底させ、ST工程AIはシ ナリオテストに集中させる。 … … … 分類 分析 報告書 欠陥情報 AIテスト実行サイクルにはAI特化型の分析観点を利用し効果的にフィードバック SQF 分析観点一覧 ① 分類～報告書作成まで をワンストップで実施 ③ AIテストサイクル特化型の分析観 点を元に指摘 ② 背景情報で 高精度化 プロジェクト 背景情報 ※SQF：SHIFT Quality Framework （SHIFTの品質標準）
40. Copyright SHIFT Inc, All Rights Reserved. ご清聴ありがとうございました