Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Launchable and efficient test execution

Launchable and efficient test execution

test execution efficiency with predictive test selection by machine learning and Launchable


March 17, 2022

More Decks by shibuiwilliam

Other Decks in Technology


  1. shibui yusuke • いろいろ → Launchable(いまここ) • MLOpsとかいろいろエンジニア • もともとクラウド基盤の開発、運用

    • ここ6年くらいMLOpsとバックエンドと インフラとたまにデータ分析と Androidで仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • Meety: https://meety.net/matches/OPJgijxiEMHE cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2 物体検知
  2. 猫が物欲しそうな表情をしています。 3 1. 餌を上げる 2. 遊ぶ 3. 撫でる 4. ほっとく

    A. 全部試して反応をみる B. 経験から可能性の 高いものを選ぶ 答えはLTの最後で!
  3. 6

  4. Predictive test selection by machine learning 7 学習 推論 教師データ

    実行するテスト Tests Test results Tests Test pass/fail probability Feature engineering Model training Evaluation Model serving Deploy judgement
  5. Launchableの仕組み 8 Launchable git push CI/CD Collect tests Important and

    effective tests Analyse and filter tests Test records
  6. 実行する必要のあるテストを並び替え 11 Low Medium High T8 T4 T3 T6 T2

    T5 T7 T1 Time to First Failure (TTFF) 失敗する可能性の高い テストを優先して実行する ように並び替えることで テスト実行を効率化