Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20221117_インテリジェントなテスト自動化でチームコラボとアプリ品質を向上
Search
odasho
December 08, 2022
Technology
0
150
20221117_インテリジェントなテスト自動化でチームコラボとアプリ品質を向上
2022/11/17開催のAtlassian Team Tour Tokyo 2022にて使用したスライドになります。
odasho
December 08, 2022
Tweet
Share
More Decks by odasho
See All by odasho
統合型ノーコードテスト 自動化プラットフォーム『mabl』 ご紹介ウェビナー
odasho
1
44
AIを駆使した自動テストは統合プラットフォームの時代へ
odasho
0
34
mabl テスト自動化 ショートデモセッション
odasho
0
49
ローコードで実践!アプリケーション開発とテスト自動化
odasho
0
110
これから始めるDevOps!ローコードで簡単に実現するE2Eの負荷テスト徹底解説!
odasho
0
89
テストから始めるDevOps ~面倒なテスト工程を自動化しよう~
odasho
0
350
ChatGPT × Azure × GitHub × mablで実現するリグレッションテスト 自動化ワークショップ!
odasho
0
170
ローコードで始めるテスト自動化! ~サイト品質を継続改善するためのヒント~
odasho
0
72
これから始めるDevOps! CI/CD連携を活用してリグレッション テストを自動化しよう!
odasho
0
250
Other Decks in Technology
See All in Technology
プロダクト開発における ソフトウェアサプライチェーンセキュリティ: 実践的フレームワークとその活用 / Software Supply Chain Security in Product Development: Practical Framework and their applications
nttcom
1
310
Databricks:『生成AI World Cup』のご案内
databricksjapan
1
110
【SORACOM UG】SIM Deep Dive セキュアエレメント編
soracom
PRO
0
200
DevOpsメトリクスとアウトカムの接続にトライ!開発プロセスを通して計測できるメトリクスの活用方法
ham0215
0
130
TransitGatewayの基礎
toru_kubota
0
220
「ふりかえりのふりかえり」をふりかえり、実のあるふりかえりにする
naitosatoshi
0
200
長期運用プロジェクトでのMySQLからTiDB移行の検証
colopl
1
150
オブザーバビリティの Primary Signals
onk
PRO
0
530
AWS パートナー企業でテクニカルサポートに従事して2年経ったので思うところをまとめてみた
kazzpapa3
3
1.3k
Kubernetesでアプリの安定稼働と高頻度のアップデートを両立するためのプラクティス / Best Practices for Applications on Kubernetesto Achieve Both Frequent Updates and Stability
hhiroshell
10
2.9k
Garoon 開発チーム / Garoon development team
cybozuinsideout
PRO
1
2.8k
「手動オペレーションに定評がある」と言われた私が心がけていること / phpcon_odawara2024
blue_goheimochi
1
310
Featured
See All Featured
A Philosophy of Restraint
colly
195
16k
Product Roadmaps are Hard
iamctodd
43
9.7k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
39
4.4k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
Producing Creativity
orderedlist
PRO
336
39k
Building Flexible Design Systems
yeseniaperezcruz
318
37k
The Mythical Team-Month
searls
214
42k
Being A Developer After 40
akosma
56
580k
Making Projects Easy
brettharned
106
5.5k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
Build your cross-platform service in a week with App Engine
jlugia
224
17k
Atom: Resistance is Futile
akmur
258
25k
Transcript
インテリジェントなテスト自動化で チームコラボとアプリ品質を向上 Atlassian Team Tour Tokyo 2022
Speaker Profile odasho (Shohei Oda) Product Marketing Manager, mabl Japan
国内SIerにてインフラやPaaS App開発まで幅広く経験。その後コミュ ニティ活動をきっかけに Microsoftに入社。Evangelistとして Audience Marketingに従事。2022年10月にmablにJoinし、 TestingやQAの啓蒙活動に取り組む。現在も DevRel Meetup in Tokyoを中心に複数のコミュニティを運営 /支援。 Most DevRel Committer 2020, TechFeed Expert for DevRel
What's mabl? • 「めいぶる」と読みます • Stackdriver(現Google Cloud Operations)の創 業者IzzyとDanが2017年ボストンで創業 •
グローバルの社員数100人+ • GV、CRV、Amplify、Vista Equity Partner、Presidio より 7,700万ドル (90億円) を調達 • 2021年度の売上、前年対比300%+増 • Fortune Globalの35社含む300社+が採用 • 2021年8月に日本法人設立
Our Mission ソフトウェア開発ライフサイクルの全体で マシンインテ リジェンスと人の洞察力を活用できるようにして世界中のソフトウェ ア品質に変革を起こすこと
Intelligent test automation platform 品質エンジニアリングという活動と、 mablでできること ノーコード/ローコード UIテ スト &
APIテスト データ/インサイト提供 迅速な問題解決を支援 単一プラットフォームE2E、 API、Accessibility 顧客体験をテスト Email/PDF含むE2E 開発パイプラインに 統合し仕組み化 テストメンテナンス削減テス トの自動修復
Agenda 1. Observability:データを効果的に使う 2. インテリジェントなテストデータ: テストにObservabilityを追加 3. データをインサイトに変える 4. mablのインテリジェントなテスト
自動化ソリューションについて
What is your No.1 priority going into 2023? アンケートの質問 更なる自動化
データ駆動型 チームの実現 本番環境の バグ削減 チーム コラボレーション 促進
Observability データを効果的に使う
What is your No.1 priority going into 2023? アンケートの質問
更なる自動化 データ駆動型 チームの実現 本番環境の バグ削減 チーム コラボレーション 促進
インテリジェントなテスト自動化には、アプリ ケーションテストの生産性と 効率を低コストで向上させる大きな 可能性があります。 Gartner, 2021 Optimize Application Testing Quality
and Speed With Embedded Intelligent Automation Services
SECTION Intelligent test data そしてデータからインサイトへ
Intelligent Test Data テストにObservabilityを追加
What kind of test data are we talking about? Functional
すべてのテストに 合格しているのか? Velocity どの程度の時間をテ ストに費やしているの か? Coverage 何をテストしているの か? 改善しているのか? Non-functional 高性能か? Accessibilityは?
Leveraging functional test data アプリ全体と品質の健全性を測定: 注目すること: • テストの合格率 • 実行されたテストの数
• 結果の不安定度 (フレーキー度) • バグの頻度と重大度
Functional test data 9月 10月 11月 12月 1月 2月 失敗率
(%) 合格率 (%)
How can we measure velocity 進捗状況を測定し、 品質の水準を高める活動 注目すること: • 問題またはテストに費やした時間
• テスト自動化の割合 • その他のツール固有の測定基準 • チームの関与とパフォーマンス
Measuring velocity アクティブユーザー 9月 10月 11月 12月 1月 2月
Tracking test coverage 実際のユーザーアクティビティデータを活用した 主要ワークフローに焦点を当てる 注目すること: • テストされたコアユーザー体験 • 実際のユーザーページデータ
• カバーされる代替シナリオ • 継続的な検証
Tracking test coverage 9月 10月 11月 12月 1月 2月 ブラウザごとのテスト実行率
(%)
Going beyond pass コア機能テスト以外のユーザーエクスペリ エンスのテスト 注目すること: • 確立されたアクセシビリティガイドライン(WCAG 2.0 AA)
に対する進捗状況 • Googleのコアウェブバイタル • パフォーマンス履歴 • 視覚的な変化
Web Content Accessibility Guidelines (WCAG) 堅牢(Robust): コンテンツは支援技術を含む様々な ユーザーエージェントが確実に解釈できるよう、十分 に堅牢でなければならない 知覚可能(Perceivable):
情報およびユーザーイン ターフェースのコンポーネントはユーザーが知覚でき る方法で提示されなければならない 操作可能(Operable): ユーザーインターフェースの コンポーネントとナビゲーションは操作可能でなけれ ばならない 理解可能(Understandable): ユーザーインター フェースの情報と操作方法は理解可能でなければな らない 以下のアクセシビリ ティ機能を含む: ➔ 画像コンテンツのテ キストコンテンツに よる代替 ➔ ユーザーがコンテ ンツをスキップ可能 とする ➔ <b> と <i>タグを <strong> と <em> タグに代替 ➔ オーディオ・ビデオ コンテンツへ字幕 の付与 Level Aに加えて以下 を含む: ➔ コントラストレシオを 4.5:1するなどより 高度な要求 ➔ ページ上のテキスト を200%まで拡大可 能とする ➔ 入力エラーに対す る修正案の提示 最も厳しいレベルで以 下を含む: ➔ コントラストレシオ への要求は7:1 ➔ ビデオコンテンツに 事前録画された手 話の付与 ➔ キーボードのみで 全てのコンテンツに アクセスできること ➔ 9年生が読解可能 なコンテンツ Level A Level AAA Level AA (Law in many countries, Including US)
Why is it important? Why now? WCAG 2.xを採用 WCAG 2.xの準拠を推奨
WCAG 1.xを採用 JIS X 8341-3:2016とWCAG 2.0の内容が一致しています Source: https://waic.jp/knowledge/accessibility/
Jira Insights
Turning Insights into Outcomes どこでどう役に立つのか?
What kind of test data are we talking about? Functional
すべてのテストに 合格しているのか? Velocity どの程度の時間をテ ストに費やしているの か? Coverage 何をテストしているの か? 改善しているのか? Non-functional 高性能か? Accessibilityは?
What kind of test data are we talking about? Functional
すべてのテストに 合格しているのか? Velocity どの程度の時間をテ ストに費やしているの か? Coverage 何をテストしているの か? 改善しているのか? Non-functional 高性能か? Accessibilityは?
80% 顧客の満足度が高いと報告する テストカバレッジの高いチームの割合 2021 State of Testing in DevOps Report,
mabl
Handoff, made simple 2021 Testing in DevOps Report, mabl テストカバレッジに対する迅速なバグの解決
8時間以内のバグ解決 ほぼ不在 最低限レベル 良い 非常に良い 優れている テストカバレッジ
Impact of non-functional testing Severe issues 機能欠陥として大きな 影響となり得る Access for
everyone 決まりであり、正しい More than a goal 良好なデザイン プラクティスでもある
Integrating Test Automation With Atlassian Mabl <> Atlassian
Mabl & Atlassian JIRA オープンなDevOps テスト自動化を 開発ワークフローに 簡単に統合 BAMBOO MABL
BITBUCKET
Bi-directional communication: A world of possibilities • 双方向コミュニケーション • テスト失敗ステップから問題を作成し、すべ
ての診断データを添付する • Jira チケットは、計画、テスト、 および直近の実行にリンク
Rich diagnostic data for your Jira tickets
Linking mabl tests to existing issues
Free 2-week trial, ready to go now! トライアルは無料。納得行くまで機能をお試しください。 デモリクエストも大歓迎! 技術トレンドや実事例を交えたMTGもお気軽にどうぞ!
mabl.com/trial
Key takeaways 自動テストは DevOps の成功の 鍵を握る インテリジェントな自 動化には大きな 可能性がある テストデータは
チームの自信向上を 助ける 信頼は顧客の幸 福度に影響する
Thank you! You can connect at... odasho (Shohei Oda) Product
Marketing Manager, mabl Japan • Twitter: odashoDotCom • Facebook & Instagram: odasho0618 • LinkedIn: odasho