Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Nealle_Autify_LT_Slide202403
Search
Nealle
April 01, 2024
Programming
0
310
Nealle_Autify_LT_Slide202403
Autify_LT_Slide202403
Nealle
April 01, 2024
Tweet
Share
More Decks by Nealle
See All by Nealle
Nealle Company Deck
nealle
1
11k
ニーリーエンジニア向け会社紹介資料
nealle
1
12k
Other Decks in Programming
See All in Programming
単体テストを書かない技術 #phpcon_odawara
o0h
PRO
27
8.5k
Go製Webアプリケーションのエラーとの向き合い方大全、あるいはやっぱりスタックトレース欲しいやん / Kyoto.go #50
utgwkk
6
1.8k
R言語の環境構築と基礎 Tokyo.R 112
bob3bob3
0
280
冗長なエラーログを削減し、スタックトレースを手に入れる / Reducing Verbose Error Logs and Obtaining Stack Traces
upamune
0
1k
Three ways to use AI on Android: The Good, the Bad and the Ugly
marxallski
0
110
禅の心を手に入れよ
eltociear
1
380
if constexpr文はテンプレート世界のラムダ式である
faithandbrave
3
670
StoreKit2によるiOSのアプリ内課金のリニューアル
kangnux
0
130
『Railsオワコン』と言われる時代に、なぜブルーモ証券はRailsを選ぶのか
free_world21
1
360
CDKコントリビュートの最初の壁を越えよう! -簡単issueの見つけ方-
badmintoncryer
3
220
Introducing Kotlin Multiplatform in an existing mobile app - Workshop Edition | AndroidMakers Paris
prof18
0
160
はてなにおける CSS Modules、及び CSS Modules に足りないもの / CSS Modules in Hatena, and CSS Modules missing parts
mizdra
7
980
Featured
See All Featured
Gamification - CAS2011
davidbonilla
77
4.6k
Stop Working from a Prison Cell
hatefulcrawdad
267
19k
Build The Right Thing And Hit Your Dates
maggiecrowley
25
2k
A Tale of Four Properties
chriscoyier
152
22k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
20
1.8k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
123
39k
Designing with Data
zakiwarfel
96
4.8k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
33
6k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
21
1.4k
StorybookのUI Testing Handbookを読んだ
zakiyama
13
4.6k
Art, The Web, and Tiny UX
lynnandtonic
290
19k
Transcript
Autify活用による高頻度リリースの実現 NEALLE 2024.3.27 株式会社ニーリー 関井 祐介
目次 1|自己紹介 2|プロダクト紹介 3|Autify導入前の課題感 4|Autify導入前後のテストプロセス 5| Autifyで工夫していること 2 6| 現在抱えている課題
と Autifyへの期待
3 氏名 所属 経歴 関井 祐介 / Yusuke Sekii 株式会社ニーリー
プロダクト本部 プラットフォームグループ QAチーム 資格 JSTQB Advanced Level テストマネージャ/テストアナリスト 2014-2015 大学でソフトウェアテストの研究 2017-2022 半導体メーカーで主に組み込み系のQA 2023- 株式会社ニーリーでPark DirectのQAチームリード 1|自己紹介 @ysekii_
4 2|プロダクト紹介
5 3|Autify導入前の課題感 2週間毎の定期リリース前の手動リグレッションテストに5〜6人掛かりで半日使っており 自動テストを進めなければデプロイ頻度が上がらない状態だった ・早期に開発者のQAコストを下げ、デリバリーまでのリードタイムを短くしたい ・完全なノーコードでなくても、少ないコードだけでやりたいことを実現したい. Autifyでなら実現できそう!
6 Autify導入から運用の歴史 2022/1 2022/4 2022/12 2023/3 4|Autify導入前後のテストプロセス(1/5) Autify 導入検討開始 Autify
本導入開始 RTの見直しと 自動テスト シナリオ拡張完了 無停止リリース開始に よるRT戦略の見直し 2022/7 v1自動テスト シナリオ 実装完了 ※RT:リグレッションテスト シナリオ数は 約2倍
7 Autify導入前のテストプロセス 4|Autify導入前後のテストプロセス(2/5) 開発とテスト 手動RT リリース リリース案件が揃ったタイミングで QA1名と開発者5名が半日で手動RTを実施 14日前 定期リリース当日
8 Autify導入後のテストプロセス 4|Autify導入前後のテストプロセス(3/5) 手動RT リリース 14日前 定期リリース当日 3日前 自動RT 自動
RT 自動 RT 開発とテスト リリースの3日前からマージが増えて くるので、1日1回自動RTを実施 リリース当日は自動RT +QA1人が半日で手動RTを実施 細かい単位で修正してリリース日のリスクを低減
9 無停止リリース開始後のテストプロセス 4|Autify導入前後のテストプロセス(4/5) 自動RT& リリース 14日前 定期リリース当日 開発と テスト 開発と
テスト 開発と テスト 自動RT& リリース 自動RT& リリース 開発と テスト 自動RT& リリース 無停止リリース① 無停止リリース② 無停止リリース③ ・・・ 2週間に1回のリリースから 2週間に平均4回のリリースへ
10 変更障害率の推移 4|Autify導入前後のテストプロセス(5/5) 2週に1回のリリース 2週に約4回のリリース
11 5|Autifyで工夫していること(1/2) 検索をした際に1つだけ見つかるように 一意のIDを使う 検索結果が反映されたことを確認して から次のステップへ進むようにする この状態では操作対象の顧客選択が安定しない 1. テスト実行結果を安定させる
12 5|Autifyで工夫していること(2/2) この画面を利用しているシナリオが10個以上あるが、 リアーキテクチャ予定なので、 シナリオの再レコーディングが必要になる 再レコーディング回数を最小化するために ステップグループに置き換えて、 1つのステップグループを修正するだけで 修正が必要なシナリオを実行できるようにしている ※現在進行中
2. 修正範囲の最小化(ステップグループの利用)
13 6|現在抱えている課題 と Autifyへの期待 1. メンテナンスが追いつかない ◦ フロントエンドの改修スピードが上がって、Autifyが追従できなくなっている ◦ Autify担当者を付けて、変更に追従できる体制を構築中
2. メールの取り違えが多い ◦ ランダムメールアドレスを使っているところは問題ないが、 固定メールアドレスしか設定できないところのメールは取り違えが多い ◦ 完全な件名一致ができれば安定しそう 3. テストプラン内で直列実行と並列実行を使い分けたい ◦ テストシナリオ間で変数が使えるようになったが、直列実行の制約があるため、 なかなか使えていない ◦ テストプランの中で直列実行するもの、並列実行するのもを分けられると嬉しい
ニーリーでは、QA/SETはもちろん、 他のポジションも積極採用中です! https://jobs.nealle.com/ We are hiring!!!
Thank you 15