欠陥分析（ODC分析）における生成AIの活用プロセスと実践事例 / 20260320 Suguru Ishii & Naoki Yamakoshi & Mayu Yoshizawa

2026/3/20 JaSST’26 Tokyo
https://jasst.jp/tokyo/26-about/

株式会社SHIFT
CATエヴァンジェリスト
石井 優

Executive Test Specialist
山腰 直樹

Test Engineer
吉澤麻由

Transcript

1. Copyright SHIFT Inc, All Rights Reserved. 2026 / Copyright SHIFT Inc, All Rights Reserved. 3 JaSST’26 Tokyo 株式会社SHIFT CATエヴァンジェリスト Naoki Yamakoshi 20 3 13:50 – 14:25 山腰 直樹 欠陥分析（ODC分析）における生成 AIの活用プロセスと実践事例 石井 優 Suguru Ishii 吉澤麻由 Mayu Yoshizawa 株式会社SHIFT Executive Test Specialist 株式会社SHIFT Test Engineer
2. Copyright SHIFT Inc, All Rights Reserved. 4 スピーカー紹介
3. 5 Copyright SHIFT Inc, All Rights Reserved. 登壇者紹介 山腰 直樹｜Naoki Yamakoshi 株式会社SHIFT Executive Test Specialist 大手ITベンダーにて、約38年の製品開発（SWエンジニア） およびITシステム開発（ソフトウェアテスト事業）を経験後、 2022年2月SHIFTに参画。 海外事業推進部にてお客様支援の傍ら、ライフワークのソフトウェア テスト事業の拡大の一環として「欠陥分析サービス」 を立ち上げる。 また、我々自身すべてのメンバーに、SHIFTのもつテストオファリングを よく知ってもらい、お客様のニーズに応じたご支援ができるよう活動中。
4. 6 Copyright SHIFT Inc, All Rights Reserved. 登壇者紹介 吉澤 麻由｜Mayu Yoshizawa 株式会社SHIFT Test Engineer 大手SIerで新卒から10年以上 Web系システムの要件定義から保守・運用までの開発業務を担当 2014年 SHIFT入社 入社後は、パッケージ製品、金融システム、医療システムなどの検証業務に従事 2018年～ SHIFT品質保証標準（SHIFT Quality Framework）の策定と適用推進に従事 SHIFTが刊行する書籍 「SHIFT流 AI時代のソフトウエアテスト(日経BP)」監修メンバーとしても活動
5. 7 Copyright SHIFT Inc, All Rights Reserved. 登壇者紹介 石井 優（Suguru Ishii） ソリューション本部 デリバリ改革統括部 デリバリ改革部 サービスプラットフォームグループ CATエヴァンジェリスト 大規模テストの進捗・品質を可視化 テスト管理ツール 「CAT」 約820社 約18,000ライセンス (※） ※2025年3月時点 「テスト管理 CAT CM」で検索！ 経歴 2009/4 ～ 2014/11 倉庫系システム部門 2014/12 ～ 2015/7 東中野のPCサポート屋さん・石井屋 2015/8 ～ SHIFT CATサポート、プリセールス、エヴェンジェリスト CATほど 面白いプロダクトは なかなかない！ CAT CM も よろしくね！
6. Copyright SHIFT Inc, All Rights Reserved. 8 概要
7. 9 Copyright SHIFT Inc, All Rights Reserved. 品質の可視化・改善におけるAIの使い所・勘所のヒントになれば幸いです。 本講演のターゲットとゴール ターゲット 主な内容 • ODC分析の解説・ODC分析のボトルネック • AIによる分類の効率化のアプローチ、ハードルと乗り越え方 • 実用時の効果・人力との比較・副次的な効果 • 今後の展望 テストエンジニア 開発マネージャー 品質管理部門 担当者・責任者 品質管理で AI活用検討中 ゴール • 品質分析のアプローチを知って明日から活用する • AIの使い所を知って効率化に役立てる • 気になることを登壇者にDiscordやお問い合わせなどで聞く
8. 10 Copyright SHIFT Inc, All Rights Reserved. 活用や実装のポイントとその裏話を開発メンバー・現場メンバーからお話します アジェンダ • 概要（石井） • 現場から見る活用事例と今後の展望（山腰） • 取り組みの詳細・苦労したポイント（吉澤） • パネルディスカッション・質疑応答
9. 11 Copyright SHIFT Inc, All Rights Reserved. ソフトウェアの欠陥の質を可視化し改善を促すための欠陥分析手法 ODC分析の特徴 統計的分析 原因分析 • 履歴データとの比較 • 成長曲線モデル 限定・特定不具合の調査 パレート図・管理図… RCA（なぜなぜ分析） 原因の深堀りに至りづらい データの量が必要 多大な労力・コストがかかる 全体の把握には向かない ODC 分析手法 個々の不具合の意味論を定量的に捉え、 プロセスの進歩と品質成熟への橋渡し 全体の傾向・偏りを定量的に把握 300件程度で分析が可能 初出 Ram Chillarege Inderpal S. Bhandari, Michael J. Halliday, etc. : "Orthogonal Defect Classification - A concept for In-process Measurement", IBM Thomas J. Watson Research Center IEEE Transactions on Software Engineering. Vol.18. No.11. Nov. 1992. 杉崎 眞弘 他 (著) 日科技連出版社 目的 テスト活動のアウトプット（欠陥）を分析し、品質や開発 プロセスの改善を促す情報を得る
10. 12 Copyright SHIFT Inc, All Rights Reserved. EDI受信時の商品コード不一致エラー 入庫検品時の賞味期限チェック漏れ ロケーション空き容量計算の不備 複数出荷指示のピッキングリスト重複 ボトルネックとなる欠陥の分類をAIで効率化 今回の取り組み 欠陥一覧 （システムテスト・本番障害など） 種別 （修正箇所） 先入れ先出し（FIFO）ロジックの無視 …（約300件以上）… インター フェース チェック アルゴリズム 機能 アルゴリズム バリエーション カバレッジ バリエーション 相互作用 シーケンス 信頼性 完全性/整合性 完全性/整合性 完全性/整合性 操作性/運用性 トリガー （検出のきっかけ） 影響 （何に関わるか） 機能 インター フェース アルゴリ ズム 機能の作り込み は安定 ロジックの 欠陥増 １．欠陥を分類する ２．傾向を分析する 分類が工数の約8割 AIで分類作業※ を2週間から1時間に削減！ 設計レビューの 強化が必要！ ※ODC分析のプロセスには分類の他に再鑑・分析などもあります。
11. Copyright SHIFT INC, All Rights Reserved. 13 ➢01 現場から見る活用事例
12. 15 Copyright SHIFT Inc, All Rights Reserved. 欠陥分析AIに着手したきっかけ 分類 分析 報告書 膨大な作業量 属人的 コツさえわかれば 誰でもできる 思考パターン が存在する これってAIに 向いてるのでは？
13. 16 Copyright SHIFT Inc, All Rights Reserved. 第3者による欠陥分析の実施フロー（役割分担と品質担保） 作業の流れ ODC SME （専門家） ODC分類者 （初心者を含む） 事前準備 ODC分類 分析 レポート作成 ODC教育 分類 再鑑 再鑑依頼 深堀 分析 フィードバック 深堀依頼 フィードバック 作成 作成 サポート
14. 17 Copyright SHIFT Inc, All Rights Reserved. 現場での活用事例 作業の流れ ODC SME （専門家） ODC分類者 （初心者を含む） 事前準備 ODC分類 分析 レポート作成 ODC教育 分類 再鑑 再鑑依頼 深堀 分析 フィードバック 深堀依頼 フィードバック 作成 作成 サポート 1週間 2週間 1週間 1週間 AI活用① SMEの教育工数削減 AI活用② 分類者の工数削減
15. Copyright SHIFT INC, All Rights Reserved. 18 ➢02 取り組みの詳細・苦労した点
16. 19 Copyright SHIFT Inc, All Rights Reserved. 現在できている部分 作業の流れ ODC SME （専門家） ODC分類者 （初心者を含む） 事前準備 ODC分類 分析 レポート作成 ODC教育 分類 再鑑 深堀 分析 深堀依頼 フィードバック 作成 作成 サポート 分類作業のAI化を実施 再鑑依頼 フィードバック
17. 20 Copyright SHIFT Inc, All Rights Reserved. 分類フロー ①欠陥・欠陥以外 受領した障害表のデータ 欠陥データ 欠陥データ以外 有効 無効 分類不能 ②欠陥カテゴリー ③修正対象 ④欠陥サブカテゴリー ⑤欠陥タイプ 実装タイプ トリガー 無効分類 欠陥情報の分類 要件定義、設計書、 プログラムの修正 左記以外の修正 欠陥分類フロー 障害表のデータを以下の順番で分類 再現せず 仕様通り 重複登録 スコープ外 新規要望/先送り テスト操作ミス 分類項目 説明 1 欠陥タイプ どのような修正をしたか 2 実装タイプ 対応の種類（欠陥or修正） 3 トリガー どのようなテストで検出したか
18. 21 Copyright SHIFT Inc, All Rights Reserved. 欠陥を分類するための5つのプロンプト 欠陥分類のAI化の流れ 01 整形（忠実性担保・構造化） 02 欠陥 / 非欠陥 / 分類不能 03 欠陥タイプ（機能/順序/IF/アルゴリズム/チェック/値の設定/曖昧） 04 実装タイプ（欠如/修正） 05 トリガー（カバレージ/バリエーション/特定順序/相互作用/性能・負荷）
19. 22 Copyright SHIFT Inc, All Rights Reserved. 01.整形プロンプトの整形結果 ID タイトル 事象 発生条件 原因 対処内容 EC-002 カート数量がページ遷移で 1に戻る 商品詳細画面で数量を2に設定 してカートに入れた後、ペー ジ遷移を行うと数量が1に戻る。 ①バリエーション （色・サイズ）を持つ 商品、②カート操作後 にページ遷移を行った 場合 数量保持処理が未実装 であり、ページ遷移時 に数量情報が保持され ていなかったため セッション保持処理を 追加予定。 EC-006 ログイン直後の 注文履歴が0件表示 ログイン直後に注文履歴画面 を表示すると0件と表示される が、再読み込みすると正常に 表示される。 ①特定ユーザーからの 1件報告のみ 現時点で未再現のため、 原因は特定できていな い ログ出力を強化して継 続調査を実施（再現せ ずの可能性あり）。 ID 題名 内容 テスト条件 対応メモ EC-002 カート数量がページ遷移で 1に戻る 数量を2にしても、遷移後に1 へ戻る バリエーション （色・サイズ）を持 つ商品 数量保持処理が未実装のため、セッション保 持処理を追加予定。 EC-006 ログイン直後の 注文履歴が0件表示 すぐは空、再読み込みで正常 表示 特定ユーザーの1件報 告のみ 現時点で未再現。ログ出力を強化して継続調 査（無効：再現せずの可能性）。 インプットとなる障害チケット AIでの整形後
20. 23 Copyright SHIFT Inc, All Rights Reserved. 02～05.分類プロンプトによるAIの分類結果 ID タイトル 分類カテ ゴリ 分類理由 修正対象 無効理由 欠陥以外の 理由 欠陥タイ プ 修正すべ き不備 実装タイ プ 実装タイ プの分類 理由 トリガー トリガー の分類理 由 EC-002 カート数量 がページ遷 移で1に戻る 欠陥(有効) 数量保持処 理が未実装 であり、 セッション 保持処理の 追加という 明確な修正 対象がある ため。 プログラム - - 機能 ページ遷移 後もカート 数量を保持 するための セッション 管理機能が 未実装であ り、数量保 持処理を新 たに追加す る必要が あった 欠如 ページ遷移 後に数量を 保持するた めのセッ ション管理 処理自体が 未実装であ り、新たに 処理を追加 する必要が あるため。 バリエー ション バリエー ション （色・サイ ズ）を持つ 商品という 特定条件下 でのみ発生 しており、 商品条件の 違いを考慮 したテスト で検出可能 なため EC-006 ログイン直 後の注文履 歴が0件表示 欠陥(無効) 現時点で再 現せず、原 因未特定の まま継続調 査扱いと なっている ため。 - 再現せず - 02 欠陥 / 非欠陥/ 分類不能 03 欠陥タイプ 04 実装タイプ 05 トリガー
21. 24 Copyright SHIFT Inc, All Rights Reserved. AIの活用では以下のようなことが起こりがち AIの活用で苦労した点 1.インプット（障害）の書き方の揺れで精度が落ちる 2.暗黙の判断基準が共有できておらず、解釈がぶれる 3.曖昧な情報でも勝手に判断して誤分類する 4.根拠が見えず、判定が揺れやすい場面で“決め打ち”や再作業が増える 5.行間が読めない（潜在的な内容を見落とす） 入力 基準 判断 結果 応用
22. 25 Copyright SHIFT Inc, All Rights Reserved. 工夫1：最初に整形することで 忠実性 × 構造化 × 一貫性 を担保 1. インプット（障害）の書き方の揺れで精度が落ちる 様々な障害表 • 忠実性：「要約しすぎない」「元データの表現を変えない」と複数箇所で明示 • 構造化：「情報が無い場合は無いと書く」と明示 → 空欄を許さないことで抜け漏れ防止 • 一貫性：チェックリストで“最終バリデーション”をAI自身にチェックリストでチェック ID タイトル 事象 発生条件 原因 対処内容 最初に整形
23. 26 Copyright SHIFT Inc, All Rights Reserved. 工夫2：AIが再現できるように、判断基準を“優先度付き”で具体化 2. 暗黙の判断基準が共有できておらず、解釈がぶれる • 決め打ち回避のために「修正対象が複数ある可能性を考慮」 を明記 • 複数候補が並ぶ時は、順番ルールに従う 見る順番や、重みが揺れる 判断の順番と重みを固定 【順番ルール】 要件定義 ＞ 設計書 ＞ プログラム ＞ テストデータ ＞ テスト環境 ＞ テストケース ＞ リビルド 例：修正対象を特定する際 複数（要件、設計書、プログラム）が 変更されている場合に何に分類するか
24. 27 Copyright SHIFT Inc, All Rights Reserved. 工夫3：曖昧であることを可視化する 3.曖昧な情報でも勝手に判断して誤分類する 曖昧な場合の救済用カテゴリを追加 【欠陥タイプ】 ・「アルゴリズム or チェック（曖昧）」 ・ 「値の設定」 ・ 「チェック」 ・ 「アルゴリズム」 ・ 「インターフェース」 ・ 「処理の順番」 ・ 「機能」 欠陥タイプの区別は人間でもむずかしい 【欠陥タイプ】 ・ 「値の設定」 ・ 「チェック」 ・ 「アルゴリズム」 ・ 「インターフェース」 ・ 「処理の順番」 ・ 「機能」 • “原因が複合している” 場合の救済用カテゴリを活用 • 人間でも曖昧な領域を積極的に“曖昧なまま価値として扱える仕組み”をAIに持たせた
25. 28 Copyright SHIFT Inc, All Rights Reserved. 工夫4： “結果”＋“理由”をセットで出力し、整合チェックで決め打ちを抑止 4.根拠が見えず、判定が揺れやすい場面で“決め打ち”や再作業が増える ・結果だけだと「欠如」or「修正」 判定の揺れやすい場面で 決め打ちが起きる 例：処理の追加も、処理の修正も 「プログラム修正」とだけ記載されがち ・レビュー時に根拠が見えず、 差戻しと再作業が増える • 何を“追加／削除” したのか理由を出力（分類理由により判断軸を露出） • “分類不能”も活用し、理由を残す（再分析可能） “分類理由”の出力を必須にする AIが理由文と結論を自己チェックする
26. 29 Copyright SHIFT Inc, All Rights Reserved. 工夫5：実際の検出パターン＋潜在的な検出パターンの両方を考慮して分類する 5. 行間が読めない（潜在的な内容を見落とす） ・人間のような推測ができずに、 文面から決め打ちが起きる 例：複雑な操作順序が書いてあると 「特定順序」と判断 実際: ログアウト→別ユーザーでログインで再現 潜在: 同一機能を別端末で同時操作でも再現可 • 分類理由に潜在の根拠を必須化し、自己整合チェックで言及漏れを検知 • 複合原因の取りこぼしを抑え、人に近い判断をする 実際＝ 発生事象どおりのテストパターン 潜在＝ そうテストすれば発見できたと 判断されるパターン
27. 30 Copyright SHIFT Inc, All Rights Reserved. まとめ 人の分類プロセスを仕様としてAIに渡す 1.インプット（障害）の書き方の揺れで精度が落ちる 2.暗黙の判断基準が共有できておらず、解釈がぶれる 3.曖昧な情報でも勝手に判断して誤分類する 4.根拠が見えず、判定が揺れやすい場面で“決め打ち”や再作業が増える 5.行間が読めない（潜在的な内容を見落とす） 曖昧であることを可視化する AIが再現できるように、判断基準を“優先度付き”で具体化 “結果”＋“理由”をセットで出力し、整合チェックで決め打ちを抑止 実際の検出パターン＋潜在的な検出パターンの両方を考慮して分類する 最初に整形することで 忠実性 × 構造化 × 一貫性 を担保 入力 基準 判断 結果 応用
28. 31 Copyright SHIFT Inc, All Rights Reserved. 今後の展望 今後は、AI活用の範囲をさらに広げるとともに、 欠陥分析プロセス全体の品質と効率の向上を目指す。 1. ODC分類の高精度化と分析領域への展開 欠陥原因推定再発防止策の候補生成など、 分析以降の分析→改善提案までAIが行えるよう拡張中 ２. 人のレビューしやすさの強化 結果×理由＋人間へのレビュー依頼をセット出力。 優先度・論点・不足情報・自信度・差分で“見るべきポイント”を提示
29. Copyright SHIFT INC, All Rights Reserved. 32 ➢03 パネルディスカッション 「お二人に根掘り葉掘り聞く」
30. 33 Copyright SHIFT Inc, All Rights Reserved. パネルディスカッション① これまで長年ODC分析という武器を使ってきたなかで、 AIも含めて感じている変化はありますか？
31. 34 Copyright SHIFT Inc, All Rights Reserved. パネルディスカッション② AIによる分類が実現したことで、 お客様への提示の仕方が変わったということはありますか？
32. 35 Copyright SHIFT Inc, All Rights Reserved. パネルディスカッション③ ODC分析のなかでこれからAI・非AI含めて、 取り組んでみたいテーマはありますか？
33. Copyright SHIFT Inc, All Rights Reserved. ご清聴ありがとうございました