Launchable and efficient test execution

test execution efficiency with predictive test selection by machine learning and Launchable

Transcript

1. Launchableで始める テスト実行効率化 2022/03/15 Launchable Inc. shibui yusuke
2. shibui yusuke • いろいろ → Launchable（いまここ） • MLOpsとかいろいろエンジニア • もともとクラウド基盤の開発、運用 • ここ6年くらいMLOpsとバックエンドと インフラとたまにデータ分析と Androidで仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • Meety: https://meety.net/matches/OPJgijxiEMHE cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2 物体検知
3. 猫が物欲しそうな表情をしています。 3 1. 餌を上げる 2. 遊ぶ 3. 撫でる 4. ほっとく A. 全部試して反応をみる B. 経験から可能性の 高いものを選ぶ 答えはLTの最後で！
4. CI/CDの次へ 4 テストを書く テストを自動実行する 必要なテストを実行する
5. 5 – エンジニアの声 コードを1行変えただけなのに テストをすべて実行しないと マージできない・・・。 “ “
7. Predictive test selection by machine learning 7 学習 推論 教師データ 実行するテスト Tests Test results Tests Test pass/fail probability Feature engineering Model training Evaluation Model serving Deploy judgement
8. Launchableの仕組み 8 Launchable git push CI/CD Collect tests Important and effective tests Analyse and filter tests Test records
9. Launchableの仕組み 9 Launchable Analyse and filter tests Test records ML
10. テスト実行の課題 時間の課題 全テスト実行時間を短縮したい ▶ 並列実行、リソース追加・・・ ▶ 失敗しやすいテストを優先して実行 10 安定性の課題 同一コミットでもランダムに失敗するテスト （Flaky test） ▶ Flakinessを評価し修正可能なテストを 明確化
11. 実行する必要のあるテストを並び替え 11 Low Medium High T8 T4 T3 T6 T2 T5 T7 T1 Time to First Failure (TTFF) 失敗する可能性の高い テストを優先して実行する ように並び替えることで テスト実行を効率化
12. まとめ ▶ 機械学習による実行すべきテストのフィルタリング ▶ テストの失敗が判明するまでのテスト実行時間を評価 ▶ Flakinessによる直すべきテストの明確化 12 「盗んできたおやつを 開けられなくて 悲しい顔をしていた」 が正解
13. Thank you! 13