Upgrade to Pro — share decks privately, control downloads, hide ads and more …

20221117_インテリジェントなテスト自動化でチームコラボとアプリ品質を向上

odasho
December 08, 2022

 20221117_インテリジェントなテスト自動化でチームコラボとアプリ品質を向上

2022/11/17開催のAtlassian Team Tour Tokyo 2022にて使用したスライドになります。

odasho

December 08, 2022
Tweet

More Decks by odasho

Other Decks in Technology

Transcript

  1. インテリジェントなテスト自動化で
    チームコラボとアプリ品質を向上
    Atlassian Team Tour Tokyo 2022

    View Slide

  2. Speaker Profile
    odasho (Shohei Oda)
    Product Marketing Manager, mabl Japan
    国内SIerにてインフラやPaaS App開発まで幅広く経験。その後コミュ
    ニティ活動をきっかけに
    Microsoftに入社。Evangelistとして
    Audience Marketingに従事。2022年10月にmablにJoinし、
    TestingやQAの啓蒙活動に取り組む。現在も
    DevRel Meetup in
    Tokyoを中心に複数のコミュニティを運営
    /支援。
    Most DevRel Committer 2020, TechFeed Expert for DevRel

    View Slide

  3. What's mabl?
    ● 「めいぶる」と読みます
    ● Stackdriver(現Google Cloud Operations)の創
    業者IzzyとDanが2017年ボストンで創業
    ● グローバルの社員数100人+
    ● GV、CRV、Amplify、Vista Equity Partner、Presidio
    より 7,700万ドル (90億円) を調達
    ● 2021年度の売上、前年対比300%+増
    ● Fortune Globalの35社含む300社+が採用
    ● 2021年8月に日本法人設立


    View Slide

  4. Our Mission
    ソフトウェア開発ライフサイクルの全体で         マシンインテ
    リジェンスと人の洞察力を活用できるようにして世界中のソフトウェ
    ア品質に変革を起こすこと

    View Slide

  5. Intelligent test automation platform
    品質エンジニアリングという活動と、 mablでできること
    ノーコード/ローコード UIテ
    スト & APIテスト
    データ/インサイト提供
    迅速な問題解決を支援
    単一プラットフォームE2E、
    API、Accessibility
    顧客体験をテスト   
    Email/PDF含むE2E
    開発パイプラインに
    統合し仕組み化
    テストメンテナンス削減テス
    トの自動修復

    View Slide

  6. Agenda
    1. Observability:データを効果的に使う
    2. インテリジェントなテストデータ:
    テストにObservabilityを追加
    3. データをインサイトに変える
    4. mablのインテリジェントなテスト
    自動化ソリューションについて

    View Slide

  7. What is your No.1 priority going into 2023?

    アンケートの質問
    更なる自動化 データ駆動型
    チームの実現
    本番環境の
    バグ削減
    チーム
    コラボレーション
    促進

    View Slide



  8. Observability

    データを効果的に使う

    View Slide

  9. What is your No.1 priority going into 2023?

    アンケートの質問 

    更なる自動化 データ駆動型
    チームの実現
    本番環境の
    バグ削減
    チーム
    コラボレーション
    促進

    View Slide

  10. インテリジェントなテスト自動化には、アプリ
    ケーションテストの生産性と
    効率を低コストで向上させる大きな
    可能性があります。
    Gartner, 2021 Optimize Application Testing Quality and Speed With Embedded Intelligent Automation Services

    View Slide

  11. SECTION
    Intelligent test data
    そしてデータからインサイトへ

    View Slide

  12. Intelligent
    Test Data

    テストにObservabilityを追加

    View Slide

  13. What kind of test data are we talking about?

    Functional
    すべてのテストに
    合格しているのか?
    Velocity
    どの程度の時間をテ
    ストに費やしているの
    か?
    Coverage
    何をテストしているの
    か?
    改善しているのか?
    Non-functional
    高性能か?
    Accessibilityは?

    View Slide

  14. Leveraging functional test data

    アプリ全体と品質の健全性を測定:
    注目すること:
    ● テストの合格率
    ● 実行されたテストの数
    ● 結果の不安定度 (フレーキー度)
    ● バグの頻度と重大度

    View Slide

  15. Functional test data
    9月
    10月
    11月
    12月
    1月
    2月
    失敗率 (%)
    合格率 (%)

    View Slide

  16. How can we measure velocity
    進捗状況を測定し、
    品質の水準を高める活動
    注目すること:
    ● 問題またはテストに費やした時間
    ● テスト自動化の割合
    ● その他のツール固有の測定基準
    ● チームの関与とパフォーマンス

    View Slide

  17. Measuring velocity

    アクティブユーザー
    9月   10月   11月   12月   1月  2月

    View Slide

  18. Tracking test coverage
    実際のユーザーアクティビティデータを活用した
    主要ワークフローに焦点を当てる
    注目すること:
    ● テストされたコアユーザー体験
    ● 実際のユーザーページデータ
    ● カバーされる代替シナリオ
    ● 継続的な検証

    View Slide

  19. Tracking test coverage

    9月
    10月
    11月
    12月
    1月
    2月
    ブラウザごとのテスト実行率 (%)

    View Slide

  20. Going beyond pass

    コア機能テスト以外のユーザーエクスペリ
    エンスのテスト
    注目すること:
    ● 確立されたアクセシビリティガイドライン(WCAG
    2.0 AA) に対する進捗状況
    ● Googleのコアウェブバイタル
    ● パフォーマンス履歴
    ● 視覚的な変化

    View Slide

  21. Web Content Accessibility Guidelines (WCAG)
    堅牢(Robust): コンテンツは支援技術を含む様々な
    ユーザーエージェントが確実に解釈できるよう、十分
    に堅牢でなければならない
    知覚可能(Perceivable): 情報およびユーザーイン
    ターフェースのコンポーネントはユーザーが知覚でき
    る方法で提示されなければならない
    操作可能(Operable): ユーザーインターフェースの
    コンポーネントとナビゲーションは操作可能でなけれ
    ばならない
    理解可能(Understandable): ユーザーインター
    フェースの情報と操作方法は理解可能でなければな
    らない
    以下のアクセシビリ
    ティ機能を含む:
    ➔ 画像コンテンツのテ
    キストコンテンツに
    よる代替
    ➔ ユーザーがコンテ
    ンツをスキップ可能
    とする
    ➔ と タグを

    タグに代替
    ➔ オーディオ・ビデオ
    コンテンツへ字幕
    の付与
    Level Aに加えて以下
    を含む:
    ➔ コントラストレシオを
    4.5:1するなどより
    高度な要求
    ➔ ページ上のテキスト
    を200%まで拡大可
    能とする
    ➔ 入力エラーに対す
    る修正案の提示
    最も厳しいレベルで以
    下を含む:
    ➔ コントラストレシオ
    への要求は7:1
    ➔ ビデオコンテンツに
    事前録画された手
    話の付与
    ➔ キーボードのみで
    全てのコンテンツに
    アクセスできること
    ➔ 9年生が読解可能
    なコンテンツ
    Level A Level AAA
    Level AA
    (Law in many countries, Including
    US)

    View Slide

  22. Why is it important? Why now?
    WCAG 2.xを採用
    WCAG 2.xの準拠を推奨
    WCAG 1.xを採用
    JIS X 8341-3:2016とWCAG
    2.0の内容が一致しています
    Source: https://waic.jp/knowledge/accessibility/

    View Slide

  23. Jira Insights


    View Slide

  24. Turning Insights
    into Outcomes

    どこでどう役に立つのか?

    View Slide

  25. What kind of test data are we talking about?

    Functional
    すべてのテストに
    合格しているのか?
    Velocity
    どの程度の時間をテ
    ストに費やしているの
    か?
    Coverage
    何をテストしているの
    か?
    改善しているのか?
    Non-functional
    高性能か?
    Accessibilityは?

    View Slide

  26. What kind of test data are we talking about?

    Functional
    すべてのテストに
    合格しているのか?
    Velocity
    どの程度の時間をテ
    ストに費やしているの
    か?
    Coverage
    何をテストしているの
    か?
    改善しているのか?
    Non-functional
    高性能か?
    Accessibilityは?

    View Slide

  27. 80%
    顧客の満足度が高いと報告する
    テストカバレッジの高いチームの割合
    2021 State of Testing in DevOps Report, mabl

    View Slide

  28. Handoff, made simple

    2021 Testing in DevOps Report, mabl
    テストカバレッジに対する迅速なバグの解決
    8時間以内のバグ解決
    ほぼ不在     最低限レベル      良い      非常に良い     優れている
    テストカバレッジ

    View Slide

  29. Impact of non-functional testing

    Severe issues
    機能欠陥として大きな
    影響となり得る
    Access for everyone
    決まりであり、正しい
    More than a goal
    良好なデザイン
    プラクティスでもある

    View Slide

  30. Integrating Test
    Automation With
    Atlassian

    Mabl <> Atlassian

    View Slide

  31. Mabl & Atlassian

    JIRA オープンなDevOps
    テスト自動化を
    開発ワークフローに
    簡単に統合
    BAMBOO MABL
    BITBUCKET

    View Slide

  32. Bi-directional communication: A world of possibilities

    ● 双方向コミュニケーション
    ● テスト失敗ステップから問題を作成し、すべ
    ての診断データを添付する
    ● Jira チケットは、計画、テスト、
    および直近の実行にリンク

    View Slide

  33. Rich diagnostic data for your Jira tickets


    View Slide

  34. Linking mabl tests to existing issues


    View Slide

  35. Free 2-week trial, ready to go now!
    トライアルは無料。納得行くまで機能をお試しください。
    デモリクエストも大歓迎!
    技術トレンドや実事例を交えたMTGもお気軽にどうぞ!
    mabl.com/trial

    View Slide

  36. Key takeaways

    自動テストは
    DevOps の成功の
    鍵を握る
    インテリジェントな自
    動化には大きな
    可能性がある
    テストデータは
    チームの自信向上を
    助ける
    信頼は顧客の幸
    福度に影響する

    View Slide

  37. Thank you! You can connect at...
    odasho (Shohei Oda)
    Product Marketing Manager, mabl Japan
    ● Twitter: odashoDotCom
    ● Facebook & Instagram: odasho0618
    ● LinkedIn: odasho

    View Slide