Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
これから始めるDevOps!ローコードで簡単に実現するE2Eの負荷テスト徹底解説!
Search
odasho
January 29, 2024
Technology
0
150
これから始めるDevOps!ローコードで簡単に実現するE2Eの負荷テスト徹底解説!
2024/1/29 に開催したmabl Webinarにて使用したスライドです。
odasho
January 29, 2024
Tweet
Share
More Decks by odasho
See All by odasho
生成AIとAI ~エンジニアの期待と現実~
odasho
0
25
E2Eテストを自動化したら 開発生産性はどうなった? hacomonoの事例紹介
odasho
0
400
統合型ノーコードテスト 自動化プラットフォーム 『mabl』 ご紹介ウェビナー
odasho
0
26
テスト自動化入門ワークショップ:最新のモバイルアプリテスト
odasho
0
53
未来を変える一歩: モバイルアプリテスト自動化の新時代
odasho
0
72
統合型ノーコードテスト 自動化プラットフォーム『mabl』 ご紹介ウェビナー
odasho
1
80
AIを駆使した自動テストは統合プラットフォームの時代へ
odasho
0
230
mabl テスト自動化 ショートデモセッション
odasho
0
100
ローコードで実践!アプリケーション開発とテスト自動化
odasho
0
160
Other Decks in Technology
See All in Technology
contenteditableと向き合う
kikuchikakeru
2
250
四国のあのイベントの〇〇システムを45日間で構築した話 / cloudohenro2024_tachibana
biatunky
0
290
AWSを始めた頃に陥りがちなポイントをまとめてみた
oshanqq
1
3.4k
AI活用したくてもできなかった不動産SaaSの今とこれから
nealle
0
210
AI でアップデートする既存テクノロジーと、クラウドエンジニアの生きる道
soracom
PRO
1
360
難しいから面白い!医薬品×在庫管理ドメインの複雑性と向き合い、プロダクトの成長を支えるための取り組み / Initiatives to Support Product Growth
kakehashi
2
170
Segment Anything Model 2
tenten0727
0
230
MySQLユーザ会なにやってるの?とおさそいと / たいへんなのw
sakaik
1
130
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
2
170
強いチームを夢見て-PMからSREに転身して1年の振り返り / 20240906_bengo4_sre
bengo4com
2
820
Envoy External AuthZとgRPC Extensionを利用した「頑張らない」Microservices認証認可基盤
andoshin11
0
210
CRTO/CRTL/OSEPの比較・勉強法とAV/EDRの検知実験
chayakonanaika
1
1k
Featured
See All Featured
How GitHub (no longer) Works
holman
310
140k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.6k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Building a Scalable Design System with Sketch
lauravandoore
458
32k
Thoughts on Productivity
jonyablonski
66
4.2k
How to Think Like a Performance Engineer
csswizardry
16
940
Fontdeck: Realign not Redesign
paulrobertlloyd
80
5.1k
The Power of CSS Pseudo Elements
geoffreycrofte
71
5.2k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.9k
Learning to Love Humans: Emotional Interface Design
aarron
270
40k
Building Better People: How to give real-time feedback that sticks.
wjessup
359
18k
Debugging Ruby Performance
tmm1
72
12k
Transcript
ローコードで簡単に実現するE2Eの 負荷テスト徹底解説! 2024/1/29 mabl Webinar #24
Speaker Profile odasho (Shohei Oda) Quality Advocate / Product Marketing,
mabl Japan 国内SIerにてインフラやPaaS App開発まで幅広く経験。その後 コミュニティ活動をきっかけにMicrosoftに入社。Evangelistと してAudience Marketingに従事。2022年10月にmablにJoin、 TestingやQAの啓蒙活動に取り組む。現在もDevRel Meetup in Tokyoを中心に複数のコミュニティを運営/支援。 iPhone絶対並んで買うおじさん(2011 - 2023) Most DevRel Committer 2020、名城大学情報工学部非常勤講師 odashoDotCom odasho0618 odasho odasho0618
What's mabl? • 「めいぶる」と読みます • Stackdriver(現Google Cloud Operations)の創 業者IzzyとDanが2017年ボストンで創業 •
グローバルの社員数100人+ • GV、CRV、Amplify、Vista Equity Partner、 Presidioより 7,700万ドル (90億円) を調達 • 2021年度の売上、前年対比300%+増 • Fortune Globalの35社含む300社+が採用 • 2021年8月に日本法人設立
マーブルと誤読されがち
DevOpsに対応したテスト自動化プラットフォーム ノーコード/ローコード UI / API & Mobileテスト データ/インサイト 結果データを自動取得 単一プラットフォーム
E2E、API、A11y、Perf 顧客体験を広くカバー Email送信/PDFアサート 開発ツール連携 GitHub、Slack、Jira等 テストメンテナンス削減 テストの自動修復
ローコードテスト自動化 mablのスコープ 単体テスト API/結合テスト UI/E2Eテスト 探索的テスト
エンタープライズ対応のセキュリティ mabl Link • 暗号化されたWebソケット コネクション • テスト実行時にF/W内から アウトバウンド通信のみ •
Proxyサーバー経由も可能 SOC II Type 2 GDPR
ローコードで「意図」と「実装」を分ける
自動修復でメンテナンス作業を削減
GCP上で並列テストを無制限に実行 Show screenshot of a plan
テストカバレッジレポート
パフォーマンス評価
10倍 早くテスト実行 より良い品質のソフトウェアをより早く提供 ROI data based on customer case studies
compared to Selenium frameworks and other commercial tools 3倍 早くテストを構築 速く作る 効率改善 コスト削減 高速化 70% メンテナンス時間を削減 80% Seleniumより低コスト
品質指標を使用した継続的な改善 非機能的品質の検証 シフトレフト: 自動化されたテストを開発に組み込む 機能テスト自動化のカバレッジ拡大 開発後に手動でテスト 品質エンジニアリング (QE) ジャーニー QEの成熟度
demo
Step1: ワークスペース設定 E2EやAPIのパフォーマンステストは 早期アクセス で提供中 なので、明示的に機能をOnにする。 • 左端のナビゲーションメニューから「ワークスペース」 → 「LABS」を選択
• 「APIパフォーマンステストを試す」のトグルを「On」に する。
Step2: テスト作成 パフォーマンステストが選択可能なことを確認する。 • 左端のナビゲーションメニューから「テスト 作成」→ 「パフォーマンステスト」を選択
1. テスト詳細 から「名前」を付 け「ブラウザテスト」を選択 2. 「Test」にて作成済のE2Eテ ストから負荷テストする対象 のテストを選択 3. 同時接続数を設定
(トライアルアカウントは最大 25、有償アカウントは最大 1,000ユーザーまで) Step2: テスト作成
1. 「失敗基準」ボタンを選択し て、「メトリック」の 出現を確認 2. 適切なメトリックを選択 Step2: テスト作成
失敗基準 について 詳細は https://mabl.zendesk.com/hc/ja/articles/20528060427028 を参照ください。 • 機能テスト失敗率 機能テスト失敗率は、ステータス が "failed"
となった機能テストの 割合を表す。 ステータスが 「失敗 (failed)」 の 場合、対応する機能テストのア サーションの違反があったことを 示す。 機能テスト失敗率は、ブラウザテ ストとAPIテストの失敗基準として 設定可能。 • コアウェブバイタル 任意のステップ: 全てのステップ に対する失敗基準は、アプリ全体 のベースラインパフォーマンスを 監視するために使用可能。 ステップの選択: リンクやボタンの クリックのようなナビゲーションス テップを監視する失敗基準を設 定可能。 • ステップ期間 mablがステップを実行するのに かかる時間を測定。 アプリがSPAの場合、ステップ実 行時間を使用して、アプリのナビ ゲーションステップのパフォーマ ンス測定がオススメ。
Core Web Vitals • FCP (First Contentful Paint) ブラウザーがページの最初のDOM要素をレンダリングするのにかかる時間 •
LCP (Largest Contentful Paint) ブラウザーがページの最大の画像またはテキストブロックをレンダリングするのにかかる時間 • CLS (Cumulative Layout Shift) ページの読み込み中にコンテンツがどれだけ移動するかの測定 • TTFB (Time To First Byte) ブラウザーがサーバーにリクエストを送った後で応答の最初のバイトを受信するまでの時間 • DOM Content Loaded DOMが完全に読み込まれて解析されるまでの時間
Step2: テスト作成 テスト設定とアプリケーションと環境を設定する。 • 任意の「テスト時間」を設定 (最初は短めがオススメ) • 「ランプアップタイム」を設定 ランプアップタイム: 段階的にユーザーを増やす時間
• テスト対象となる「アプリケーション」を設定 • 作成したテストを「保存」
1. 作成したテストの内容表示を 確認した後に、「テスト実行」 を選択 2. 今回は「アドホッククラウド実 行」で「テストを1回実行」を選 択 3. 「開始しています」を選択し
て、テスト画面に遷移 Step3: テスト実行
1. テスト結果を確認 (キャプチャではDOMコンテ ンツロードで失敗判定) アクセスするユーザ数の段 階的な上昇、各失敗基準の 判定や、ステップ毎の詳細を 確認可能 Step3: テスト実行
For your information
About the mabl University How-to Videos (English only) How-to Lessons
(Japanese only) On-Demand Training (English & Japanese) mabl Skills Certifications (English & Japanese) • 33 ビデオ (各3 - 8 分程度) • 英語字幕あり、日本語字幕なし • 26 レッスン • Step by stepで学習可能 • 4 ラーニングパス • 設定、基礎、高度、統合でそれ ぞれ30 - 90 分の学習パス • 学習目標に応じたパスを提供 • 3 つの資格 • Foundations と Advanced • NonFunctional ←NEW • LinkedIn に掲載可能
You can try it now! • 今すぐできる2週間の無料トライアル! mabl Uのお供にどうぞ! •
デモリクエストも大歓迎! https://www.mabl.com/ja
mabl user community! mabl の User Community『mablers_jp』 • ユーザーによるユーザーのための コミュニティ
• ユーザーによる忖度のない生の声を聞く 絶好のチャンス。是非ご参加ください! https://mablersjp.connpass.com/
Join Developers Summit 2024! 2/15-16 Developers Summit 2024 • Bitkeyさまと共同登壇セッション
『自動テスト歴0年でもできる!テスト 工数を46時間/月削減した方法』 • 是非ブースにもお立ち寄りください!
Join our offline meetup!! 2/22 mabl Special Offline Meetup! •
都内某所にてスペシャルゲストを招いての オフラインMeetupを開催予定 • 詳細は後日発表!皆さまSave the date!!
★ 今日のポイント! ★ • マーブルではなく「めいぶる」 • 3 Step で誰でも簡単に負荷テストを作成可能
Questions? odasho (Shohei Oda) Quality Advocate / Product Marketing, mabl
Japan odashoDotCom odasho0618 odasho odasho0618