Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テストの自動化〜始める、使う、捉える
Search
SHIFT EVOLVE
September 01, 2023
Technology
0
380
テストの自動化〜始める、使う、捉える
イベント登壇資料
2023/08/30(水) 三社三様!テスト自動化アプローチのあれこれ共有会
舟木 将彦氏(Circle CI)
SHIFT EVOLVE
September 01, 2023
Tweet
Share
More Decks by SHIFT EVOLVE
See All by SHIFT EVOLVE
AIで変わるテスト自動化:最新ツールの多様なアプローチ/ 20240910 Takahiro Kaneyama
shift_evolve
0
200
Tricentisにおけるテスト自動化へのAI活用ご紹介/20240910Shunsuke Katakura
shift_evolve
0
180
可視化により内部品質をあげるAIドキュメントリバース/20240910 Hiromitsu Akiba
shift_evolve
0
190
Staff Engineer / 20240827 Yuichiro Masui
shift_evolve
0
240
SHIFTの課題と目指したい組織像 / 20240827 Rinto Ikenoue
shift_evolve
0
230
テストプロセスのなかに アクセシビリティ検査はどのように組み込まれるのか?
shift_evolve
1
230
さらに高品質・高速化を目指すAI時代のテスト設計支援と、めざす先
shift_evolve
0
870
テストケースの自動生成に生成AIの導入を試みた話と生成AIによる今後の期待
shift_evolve
0
870
E2Eテスト自動化プラットフォームにおけるAIの活用
shift_evolve
0
760
Other Decks in Technology
See All in Technology
App Router を実プロダクトで採用して見えてきた勘所をちょっとだけ紹介
marokanatani
1
890
株式会社M2X エンジニアチーム紹介資料
m2xsoftware
0
620
Oracle Exadata Database Service(Dedicated Infrastructure):サービス概要のご紹介
oracle4engineer
PRO
0
9.5k
セキュリティ監視の内製化 効率とリスク
mixi_engineers
PRO
7
910
Mocking in Rust Applications
taiki45
1
380
Developer Experienceを向上させる基盤づくりの取り組み事例集
coconala_engineer
0
120
Oracle Autonomous Database:サービス概要のご紹介
oracle4engineer
PRO
1
7k
The XZ Backdoor Story
fr0gger
0
3.5k
Evolving DevOps Teams and Flexible Organizational Culture
kakehashi
1
260
AWS SAW を広めたい @四国クラウドお遍路
kazzpapa3
0
220
Oracle Database Backup Service:サービス概要のご紹介
oracle4engineer
PRO
0
4.1k
プログラム検証入門
riru
5
760
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
125
16k
Done Done
chrislema
180
16k
Bash Introduction
62gerente
608
210k
Creatively Recalculating Your Daily Design Routine
revolveconf
215
12k
Gamification - CAS2011
davidbonilla
79
4.9k
The Invisible Customer
myddelton
119
13k
Navigating Team Friction
lara
183
13k
Statistics for Hackers
jakevdp
793
220k
Making Projects Easy
brettharned
113
5.8k
Code Review Best Practice
trishagee
62
16k
The Art of Programming - Codeland 2020
erikaheidi
48
13k
Learning to Love Humans: Emotional Interface Design
aarron
270
40k
Transcript
1 テストの自動化 簡単に始める、みんなで使う、 現況を捉える 三社三様!テスト自動化アプローチのあれこれ共有会 Masahiko Funaki (舟木将彦) @mfunaki Principal
Developer Advocate
2 Agenda テスト自動化を始める テストを自動化し倒す 自動テストした結果を捉える 1 2 3
3 1. テスト自動化を始める
4 CI (継続的インテグレーション) とは? 開発者が書いたソースコードをリポジトリにマージすることで、 ビルドやテストを自動的に実行する開発の手法です。 … リリースに向けた一連の手順を決め、それを CI/CDパイプラインという形で 定義し実行することで、誰が実施しても、同じ流れのデプロイを実現できます。
このCI/CDにより、リリースに対するアジリティが高まることが利点のひとつ ですが、筆者にはリリースに対する心理的ハードルが下がることが、 一番のメリットであると考えています。 〜新井雅也/馬勝淳史(2020)『AWSで学ぶクラウドネイティブ実践入門』
5 テスト自動化に取り掛かろう 「Java(Maven)プロジェクトのビルドを CircleCI+Orbsで自動化」 https://qiita.com/mfunaki/items/b393a531e4b04a224368
6 2. テストを自動化し倒す 並列実行、実行環境のスペック変更、テスト環境への SSH ログイン
7 クラウド上のCI環境で自動テストを実行する利点 • 誰でも実行できるし、誰がやっても同じ結果が得られる 誰かのビルド環境/テスト環境に依存しない。 ソースコードを作成/修正して、コミット、プッシュすれば、 クラウド上で自動的に実行される。 • テストの抜け漏れがない ◦
不注意による抜け漏れ(コマンドを実行し忘れた) ◦ 故意の抜け漏れ (「ここの部分の修正であれば、このテストは実行しなくてもよいはず」 ) だけであれば、(もしかしたら)注意深い人が慎重に自分の環境でテストを手動実行 すればよいのでは?
8 2.1 並列実行で時間短縮 2. テストを自動化し倒す
9 テストを並行実行して完了時間を短縮(1) 並列実行時の割り振り方 •ファイル名のアルファベット順 •過去のテスト実行時の所要時間 ベースで均等割(timings) •ファイルサイズで均等割 (filesize) •マニュアル指定
10 テストを並行実行して完了時間を短縮(2) 時間は1/3、 費用はほとんど変わらない 100秒かかるテストケースを 見直さないと、 並列数を増やしても、 これ以上の短縮は見込めない。
11 2.2 実行環境のスペック変更 2. テストを自動化し倒す
12 CircleCIで利用可能な実行環境(リソースクラス)一例
13 Stable Diffusion のテストをCPU/GPU/M1 Macで Executorなど一部の定義を 外出しすることで、 プラットフォームを跨って (かつ並列で)テスト実行が 可能!
14 2.3 テスト環境へのSSHログイン 2. テストを自動化し倒す
15 SSHでシェルにログイン 自動テストを実行するワークフローを組む過程で シェル上で確認・検証したい場合に「非常に」有用 (「自動化するまでが大変」を大幅に軽減)
16 シェルの利用だけでなくポートフォワードも可能 sshでCircleCIのテスト環境にログインする際、 ポートフォワードも合わせて設定 ssh -p NNNNN -L 7860:localhost:7860 aa.bbb.ccc.ddd
あとはローカルのブラウザ上で localhost:7860 に アクセスすることで、 CircleCI クラウドのテスト環境 (GPU/CPU/Apple Silicon)を使って実際の動作を確認可能 Programmar drinking coke wearing jeans
17 3. 自動テストした結果を捉える
18 Tests Insights で自動テストの結果からインサイトを 1ワークフローあたりの 平均テスト実行数 Flakyな(結果が不安 定な)テストの検出数 失敗した テストの数
(P95の中で)最も遅い テストの所要時間 グラフをクリックすることで、 実際にどのテストが成功/失敗 して、時間がかかっているのか 簡単に参照可能
19 並列実行の効果もダッシュボード上で可視化可能
CircleCIをもっと知りたい!なら 最新の情報なら @CircleCIJapan をフォロー! #CircleCIJp タグつけて情報共有! イベント、セミナー、勉強会の情報なら connpassのCircleCIグループから! https://circleci.connpass.com/ 動画でCircleCIについて学ぶなら
CircleCIチャンネルを登録! (日本語プレイリストもあり )