[AgileTestingNight#28@Wingarc1st]Quality as Code〜アーキテクチャ設計編10min〜

Transcript

1. 01 / 13 WINGARC1ST DEEPDIVE 2026.05.15 QUALITY AS CODE A LIGHTNING TALK · 10 MIN Quality as Code. アーキテクチャー設計編 何を分け、何を制約し、何を⼈に残したか SPEAKER 矢尻 真実 Masami Yajiri Quality Engineer · Timee, Inc. EVENT AI駆動テスト分析・ 設計基盤 DeepDive 2026.05.15 · Wingarc1st QUALITY AS CODE 2026.05.15 WINGARC1ST DEEPDIVE
2. 02 / 13 SELF-INTRO & TODAY QUALITY AS CODE SPEAKER 矢尻 真実 Masami Yajiri AFFILIATION Timee, Inc. Quality Engineering Group ROLE / Quality Coach ─ 新潟出⾝‧Uターン‧フルリモート ─ QA Handbook と Workflow Skill の設計を担当 TODAY 「アーキテクチャー設計で大事に していること」を 5つの設計判断 として語る NOT TODAY .mdの中⾝の書き⽅ → 6⽉実装編 効果測定の数値 QUALITY AS CODE 2026.05.15 02 SELF-INTRO
3. 03 / 13 CONTEXT QUALITY AS CODE QUALITY AS CODE とは QA エンジニアの 思考を 実行可能なコンテキスト として AI 駆動開発プロセスに 埋め込む試み 01 — KNOWLEDGE QA Handbook 知識‧基準の正本 Markdown / VitaPress 02 — EXECUTION Skill 対話的に動くワークフ ロー Claude Code Plugin 03 — INTEGRATION Process AI 駆動開発に統合された QA 活動 QUALITY AS CODE 2026.05.15 03 CONTEXT
4. 04 / 13 CHAPTER · QUESTION QUALITY AS CODE 02 QUESTION アーキテクチャー設計で 何を「分け」、何を「制約し」 、 何を「人に残した」 のか。 5 つの判断で語る QUALITY AS CODE 2026.05.15 04 QUESTION
5. 05 / 13 DECISION 01 QUALITY AS CODE DECISION 01 / 5 3 層に分けた 理由 WHAT Handbook（知識）/ Reference Skill（参照） / Workflow Skill（実⾏）の 3 層分離 WHY 知識の正本は⼈間も読む → Markdown + VitePress スキルは「いつ‧どう使うか」だけを書く 知識との⼆重管理を避けるための分離 ※ Single Source of Truth を構造で担保する USERS ↓ LAYER 01 Workflow Skill wf-* ORCHESTRATION ↓ LAYER 02 Reference Skill ref-* REUSABLE ↓ LAYER 03 QA Handbook Markdown / VitePress SOURCE OF TRUTH QUALITY AS CODE 2026.05.15 05 DECISION 01 · 3 LAYERS
6. 06 / 13 DECISION 02 QUALITY AS CODE DECISION 02 / 5 Reference と Workflow を分けた理由 — コンテキストウィンドウは 「資源」 である — REFERENCE 参照する。 ref-* サブエージェントとして起動し独⽴コンテキストで参照する context: fork · lifecycle: ephemeral USE ref-test-technique ref-rbt ref-refinement WORKFLOW 対話を駆動する。 wf-* メインエージェントで動作し現在セッションで対話駆動する context: current · lifecycle: persistent USE wf-refinement wf-risk-assessment wf-test-spec wf-test-review wf-gate-check INTENT メインの認知負荷を汚染せず、参照は何度でも再利⽤する QUALITY AS CODE 2026.05.15 06 DECISION 02 · CONTEXT SPLIT
7. 07 / 13 DECISION 03 QUALITY AS CODE DECISION 03 / 5 Handbook ページ ↔ Reference Skill を 1 : 1 でマッピング HANDBOOK PAGE MAPS TO REFERENCE SKILL test-technique.md → ref-test-technique rbt.md → ref-rbt refinement.md → ref-refinement test-analysis.md → ref-test-analysis three-layer-gates.md → ref-three-layer-gates WHY ハルシネーションの主因は 「古いコピー」 。 複製を作らないことが重要なハルシネーション対策。 QUALITY AS CODE 2026.05.15 07 DECISION 03 · 1:1 MAPPING
8. 08 / 13 DECISION 04 QUALITY AS CODE DECISION 04 / 5 リスクで強度を 自動調整する RPN = Impact × Probability × Detectability 影響度 × 発⽣確率 × 検出困難性 INTENT 「全部やる」も「一律手抜き」も避ける。 判断ロジックそのものを ハーネスに埋め込む 。 HIGH 網羅的テスト＋探索的テスト EXHAUSTIVE EXPLORATORY MED シナリオベーステスト SCENARIO-BASED LOW 正常系 ＋主要異常系 HAPPY PATH KEY EDGE QUALITY AS CODE 2026.05.15 08 DECISION 04 · RPN
9. 09 / 13 DECISION 05 QUALITY AS CODE DECISION 05 / 5 LLM の発散を 「構造」で抑える 01 · 1 Q 1 つずつ質問する One question at a time 02 · MAX 2× 掘り下げは 2 回まで Probe depth limit 03 · 15 MIN タイムボックスで区切る Strict timeboxing CYCLE AI 叩き台を 生成 HUMAN レビュー ・修正 HUMAN 修正フィード バック プロンプトで賢くするのではなく、フロー設計 で制約する。 HITL: ⼈間は 「判断」 だけに集中できる状態を作る。 QUALITY AS CODE 2026.05.15 09 DECISION 05 · STRUCTURE
10. 10 / 13 VALIDATION QUALITY AS CODE LIMITS 検証で見えた 限界。 検証対象 個人情報に関わる高リスク PBI（仮想ケース） ⼀覧 API 改修で PII が露出するリスクを題材として設定 適用したフロー: wf-refinement → wf-risk-assessment → wf-test-spec ✓ CAUGHT リスクレベル P1 判定 20 超パターンの網羅抽出 論理削除‧退会済等のエッジケース ✗ MISSED 表⽰対象外に⾒えて⽀配下に含まれるパターン 管理者⼀括操作で⾮同期的に暗黙的に作られる経路 旧UIの暗黙的アクセス制御が新規で消失 KEY LEARNING 「書かれていること」 は網羅できる。「書かれていないこと」 は見逃す。 限界は AI の性能不足ではなく、 プロセス設計の漏れ だった。 QUALITY AS CODE 2026.05.15 10 LIMITS
11. 11 / 13 COUNTERMEASURE QUALITY AS CODE COUNTERMEASURE 対策：ハーネスを育てる 。 NEW SKILL wf-test-review テスト仕様書 レビュースキル 期待結果のうち 仕様で未定義な⾏ を 1 ⾏ずつ提⽰し深掘り リスクカテゴリに応じた質問セットで検証 CYCLE 01 失敗を検知 02 原因を分析 03 環境を改善 04 新スキル開発 ↻ CONTINUOUS ↻ INTENT ハーネスは 一度作って終わりではない 。 限界を見つけるたびに更新するもの。 QUALITY AS CODE 2026.05.15 11 COUNTERMEASURE
12. 12 / 13 SYNTHESIS QUALITY AS CODE 5 PRINCIPLES アーキテクチャー設計の 5 原則 01 正本は1つ 知識を⼆重化しない。複製がハルシネーションを⽣む。 02 コンテキストを分離する 認知負荷は資源。汚染を防ぐ構造を作る。 03 判断基準を埋め込む AI に賢さを求めず、判断ロジックを与える。 04 構造で発散を抑える プロンプトではなく、フロー設計で制約する。 05 失敗で更新する ハーネスは⼀度で完成しない。育てるもの。 QUALITY AS CODE 2026.05.15 12 5 PRINCIPLES
13. 13 / 13 TAKEAWAY QUALITY AS CODE TAKEAWAY AIに 賢さ を求めるのではなく、 ハーネス（環境） を設計する。 QA エンジニアの新しい仕事は、 HITLとしての 「ハーネス設計者」 になる。 Thank you. 矢尻 真実 · Timee, Inc. QUALITY AS CODE / 2026.05.15 QUALITY AS CODE 2026.05.15 13 TAKEAWAY