Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Nealle_Autify_LT_Slide202403
Search
Nealle
April 01, 2024
Programming
0
720
Nealle_Autify_LT_Slide202403
Autify_LT_Slide202403
Nealle
April 01, 2024
Tweet
Share
More Decks by Nealle
See All by Nealle
Nealle Company Deck
nealle
3
58k
信頼性とアジリティの両輪で進むスタートアップSRE
nealle
0
110
feature環境をGitHub ActionsとCloudFormationでいい感じに管理する
nealle
2
390
DatadogでAPI毎のSQL発行数を可視化してN+1を改善した話
nealle
0
1.5k
ニーリーエンジニア向け会社紹介資料
nealle
2
53k
Other Decks in Programming
See All in Programming
マルチモジュールにおけるテスト最適化
fxwx23
0
120
座談会 「Strict ConcurrencyとSwift 6が開く新時代: 私たちはどう生きるか?」
shiz
4
8.2k
【TID2024】模擬講義:プログラマと一緒にゲームをデザインしてみよう!
akatsukigames_tech
0
390
エラーレスポンス設計から考える、0→1開発におけるGraphQLへの向き合い方
bicstone
4
630
仮想ファイルシステムを導入して開発環境のストレージ課題を解消する
segadevtech
2
400
フロントエンドカンファレンス北海道2024 『小規模サイトでも使えるVite 〜HTMLコーディングをよりスマートに〜』長谷川広武(ハム)
h2ham
1
2.5k
rbs-inlineを導入してYARDからRBSに移行する
euglena1215
1
200
What we keep in mind when migrating from Serverless Framework to AWS CDK and AWS SAM
kasacchiful
1
130
Scala におけるコンパイラエラーとの付き合い方
chencmd
1
190
これからの時代の新標準!SwiftTestingへの移行とトラブルシューティング
uetyo
0
450
ドメイン駆動設計を実践するために必要なもの
bikisuke
3
300
Modular Monolith Go Server with GraphQL Federation + gRPC
110y
1
560
Featured
See All Featured
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
22
3.9k
Designing Experiences People Love
moore
138
23k
Pencils Down: Stop Designing & Start Developing
hursman
118
11k
Scaling GitHub
holman
458
140k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
502
140k
Design by the Numbers
sachag
277
19k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
28
2.2k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
Docker and Python
trallard
39
3k
Build The Right Thing And Hit Your Dates
maggiecrowley
29
2.2k
Why Our Code Smells
bkeepers
PRO
334
56k
Building Your Own Lightsaber
phodgson
101
5.9k
Transcript
Autify活用による高頻度リリースの実現 NEALLE 2024.3.27 株式会社ニーリー 関井 祐介
目次 1|自己紹介 2|プロダクト紹介 3|Autify導入前の課題感 4|Autify導入前後のテストプロセス 5| Autifyで工夫していること 2 6| 現在抱えている課題
と Autifyへの期待
3 氏名 所属 経歴 関井 祐介 / Yusuke Sekii 株式会社ニーリー
プロダクト本部 プラットフォームグループ QAチーム 資格 JSTQB Advanced Level テストマネージャ/テストアナリスト 2014-2015 大学でソフトウェアテストの研究 2017-2022 半導体メーカーで主に組み込み系のQA 2023- 株式会社ニーリーでPark DirectのQAチームリード 1|自己紹介 @ysekii_
4 2|プロダクト紹介
5 3|Autify導入前の課題感 2週間毎の定期リリース前の手動リグレッションテストに5〜6人掛かりで半日使っており 自動テストを進めなければデプロイ頻度が上がらない状態だった ・早期に開発者のQAコストを下げ、デリバリーまでのリードタイムを短くしたい ・完全なノーコードでなくても、少ないコードだけでやりたいことを実現したい. Autifyでなら実現できそう!
6 Autify導入から運用の歴史 2022/1 2022/4 2022/12 2023/3 4|Autify導入前後のテストプロセス(1/5) Autify 導入検討開始 Autify
本導入開始 RTの見直しと 自動テスト シナリオ拡張完了 無停止リリース開始に よるRT戦略の見直し 2022/7 v1自動テスト シナリオ 実装完了 ※RT:リグレッションテスト シナリオ数は 約2倍
7 Autify導入前のテストプロセス 4|Autify導入前後のテストプロセス(2/5) 開発とテスト 手動RT リリース リリース案件が揃ったタイミングで QA1名と開発者5名が半日で手動RTを実施 14日前 定期リリース当日
8 Autify導入後のテストプロセス 4|Autify導入前後のテストプロセス(3/5) 手動RT リリース 14日前 定期リリース当日 3日前 自動RT 自動
RT 自動 RT 開発とテスト リリースの3日前からマージが増えて くるので、1日1回自動RTを実施 リリース当日は自動RT +QA1人が半日で手動RTを実施 細かい単位で修正してリリース日のリスクを低減
9 無停止リリース開始後のテストプロセス 4|Autify導入前後のテストプロセス(4/5) 自動RT& リリース 14日前 定期リリース当日 開発と テスト 開発と
テスト 開発と テスト 自動RT& リリース 自動RT& リリース 開発と テスト 自動RT& リリース 無停止リリース① 無停止リリース② 無停止リリース③ ・・・ 2週間に1回のリリースから 2週間に平均4回のリリースへ
10 変更障害率の推移 4|Autify導入前後のテストプロセス(5/5) 2週に1回のリリース 2週に約4回のリリース
11 5|Autifyで工夫していること(1/2) 検索をした際に1つだけ見つかるように 一意のIDを使う 検索結果が反映されたことを確認して から次のステップへ進むようにする この状態では操作対象の顧客選択が安定しない 1. テスト実行結果を安定させる
12 5|Autifyで工夫していること(2/2) この画面を利用しているシナリオが10個以上あるが、 リアーキテクチャ予定なので、 シナリオの再レコーディングが必要になる 再レコーディング回数を最小化するために ステップグループに置き換えて、 1つのステップグループを修正するだけで 修正が必要なシナリオを実行できるようにしている ※現在進行中
2. 修正範囲の最小化(ステップグループの利用)
13 6|現在抱えている課題 と Autifyへの期待 1. メンテナンスが追いつかない ◦ フロントエンドの改修スピードが上がって、Autifyが追従できなくなっている ◦ Autify担当者を付けて、変更に追従できる体制を構築中
2. メールの取り違えが多い ◦ ランダムメールアドレスを使っているところは問題ないが、 固定メールアドレスしか設定できないところのメールは取り違えが多い ◦ 完全な件名一致ができれば安定しそう 3. テストプラン内で直列実行と並列実行を使い分けたい ◦ テストシナリオ間で変数が使えるようになったが、直列実行の制約があるため、 なかなか使えていない ◦ テストプランの中で直列実行するもの、並列実行するのもを分けられると嬉しい
ニーリーでは、QA/SETはもちろん、 他のポジションも積極採用中です! https://jobs.nealle.com/ We are hiring!!!
Thank you 15