Upgrade to Pro — share decks privately, control downloads, hide ads and more …

きみは Test Impact Analysis を知っているか / Do you know ...

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
iwa
November 20, 2026

きみは Test Impact Analysis を知っているか / Do you know Test Impact Analysis?

Japan Datadog User Group #23@沖縄で発表した「きみは Test Impact Analysis を知っているか」の登壇スライドです。
----
AIが書いたコードに、AIが書いたテストがすべて通った。そのとき、私たちは何に安心できるでしょうか。たとえば「一覧を小さい順に並べる」というテストは、結果が空っぽでも通ってしまいます。「入力にあった値が同じ個数だけ残る」という期待まで仕様に含めて、初めて気づける失敗があります。

この発表では、DatadogのTest Impact Analysis(TIA)がテストの実行時間をどう短縮するのかを開発者のデモで紹介し、そこから、そもそも何のためにテストを実行するのかを考えます。AIのおかげでプロパティベーステストや形式証明を取り入れやすくなっても、何を守り、どの層で確かめるかはチームで考える必要があります。

コードもテストも増える今、定期的なテストケースの見直しだけでCIの待ち時間を抑えるのは難しくなりました。今回の変更で実行する必要のあるテストを選ぶ判断をTIAに任せ、何を守るかを見直す時間をつくる。それが私の考えるTIAの価値です。

iwa

November 20, 2026

Transcript

36 slides
  1. 今回のお話 きみは Test Impact Analysisを 知っているか 01 Test Impact Analysis

    #とは 02 テストの本質的な価値を考える 03 TIAに任せる判断 今日の問い:何を守るか/今回どれを走らせるか JDDUG #23 · 2026/11/20 4
  2. Test Impact Analysis の効果 DatadogでTest Impact Analysisを開発するAndrey Marchenkoのデモ 14分41秒 9.37秒

    出典:Andrey Marchenko, RubyKaigi 2026, pp.4–5 https://rubykaigi.org/2026/presentations/anmarchenko.html 7
  3. ヌーラボにおける導入事例 Test Impact Analysis を武 器に立ち向かう、AI 時代のテス ト増加に対するヌーラボのアプ ローチ Datadog

    の SE の逆井さんと共に、Backlogで の導入事例をお話ししました https://speakerdeck.com/k6s4i53rx/getting-started-datadog-test-impact-analysis 9
  4. AIが生成した変更の検証負担 変更を書く レビュー・テスト 届ける 出典:DORA, The ROI of AI-assisted Software

    Development (2026) p.9 https://services.google.com/fh/files/misc/dora-roi-of-ai-assisted-software-development-2026.pdf#page=9 12
  5. テストの成功から何が分かるか AIが書いた実装 sort([]) → [] AIが書いたテスト expect(sort([])).toEqual([])  すべて成功 「空の入力では?」は誰も決めていない。[]

    を返すと決めたのはAI 成功しても チームが必要とする仕様は保証されない AIが補った境界条件を関係者で確認する 13
  6. 並べ替えに期待する振る舞い 入力 [2, 1, 2] 期待する結果 [1, 2, 2] この例で頼む人と作る人が期待をすり合わ

    せる 変わったこと 変わらないこと 生成器や証明コードを書く負担が下がり PBTと形式証明が有望な選択肢になった テストピラミッドの考え方 何をどの層で確かめるかは人が決める Kiro 0.6:https://kiro.dev/changelog/ide/0-6/ Anthropic:https://www.anthropic.com/research/formal-verification 14
  7. Property-Based Testing(PBT)で反例を探す 例 sort([2, 1, 2]) → [1, 2, 2]

    性質 人が決める 性質:出力の隣り合う値は左から小さい順 生成器 判定 AIが下書き 重複や空を含む入力を多 数つくる AIが下書き 出力に …2, 1… があれば 反例 人は性質と入力の範囲が意図どおりかを確かめる 15
  8. PBTで試した入力の範囲 例 sort([2, 1, 2]) → [1, 2, 2] 性質:出力の隣り合う値は左から小さい順

    生成した入力 実際の出力 判定 [3, 1] [1, 3] 昇順 [2, 1, 2] [1, 2, 2] 昇順 今回試した入力では反例が見つからなかった 言えるのは試した入力の範囲まで 16
  9. 形式証明で扱う命題 例 sort([2, 1, 2]) → [1, 2, 2] 主張:どの有限な整数リストでも出力は昇順

    自然言語の主張 命題と証明コード 人が意図を伝える AIが下書き 検査 Lean や Rocq Prover(旧Coq) 人は形式化された命題と前提が意図に合うかを確認する 17
  10. 形式証明で示せる範囲 この定義と前提のもとで どの有限な整数リストを選んでも [ ] [7] [3, 1] [2, 1,

    2] [9, 0, 4, 4] … 定義した関数の出力は小さい順 試した入力だけでなく対象のすべての入力に及ぶ 18
  11. 空のリストも昇順の条件を満たす 入力 [2, 1, 2] 実際の出力 [] 条件 判定 理由

    昇順に並ぶ 合格 逆順の箇所がない 空の出力でも昇順の条件は満たされてしまう 19
  12. 並べ替えは各値の個数を保つ 入力 [2, 1, 2] ほしかった出力 [1, 2, 2] 条件

    判定 理由 昇順に並ぶ 合格 逆順の箇所がない 元の値が同じ個数だけ残る 合格 1が1個 2が2個(新しく加えた条件) 当たり前だった期待を条件として書き足す 20
  13. 入力一件で分かる仕様違反 入力 [2] 実際の出力 [] 条件 判定 理由 昇順に並ぶ 合格

    逆順の箇所がない 元の値が同じ個数だけ残る 失敗 2が1個のはずが0個 ここで初めてテストが失敗する テストは仕様違反を検出できる 21
  14. 画面を介さずに検証できる性質 ユニットテスト 関数を直接呼ぶ E2E ブラウザを起動 → すぐ失敗が分かる 一覧を開く 操作が判定箇所に届くまで待つ →

    失敗が分かる 時間 ボタン操作から表示更新までの確認にはE2Eを残す 手法を使い分けて失敗を早く知る 28
  15. 投資のROIは説明可能か 導入効果を二つの物差しで読む(数値は仮の例) 直接費用(月あたり) 開発者の待ち時間 CIの請求 最後の必須チェック 8分 別ジョブ 3分 5分

    −200ドル TIAの利用料 +250ドル 差し引き月50ドルの負担増 PRの待ちは8分のまま 実際の請求と待ち時間を測って判断する 34

More Decks by iwa

Other Decks in Technology