20221117_インテリジェントなテスト自動化でチームコラボとアプリ品質を向上

Transcript

1. インテリジェントなテスト自動化で
   チームコラボとアプリ品質を向上
   Atlassian Team Tour Tokyo 2022
   

   View Slide

2. Speaker Profile
   odasho (Shohei Oda)
   Product Marketing Manager, mabl Japan
   国内SIerにてインフラやPaaS App開発まで幅広く経験。その後コミュ
   ニティ活動をきっかけに
   Microsoftに入社。Evangelistとして
   Audience Marketingに従事。2022年10月にmablにJoinし、
   TestingやQAの啓蒙活動に取り組む。現在も
   DevRel Meetup in
   Tokyoを中心に複数のコミュニティを運営
   /支援。
   Most DevRel Committer 2020, TechFeed Expert for DevRel
   

   View Slide

3. What's mabl?
   ● 「めいぶる」と読みます
   ● Stackdriver（現Google Cloud Operations）の創
   業者IzzyとDanが2017年ボストンで創業
   ● グローバルの社員数100人+
   ● GV、CRV、Amplify、Vista Equity Partner、Presidio
   より 7,700万ドル (90億円) を調達
   ● 2021年度の売上、前年対比300％+増
   ● Fortune Globalの35社含む300社+が採用
   ● 2021年8月に日本法人設立
   

   

   

   View Slide

4. Our Mission
   ソフトウェア開発ライフサイクルの全体で　　　　　　　　　マシンインテ
   リジェンスと人の洞察力を活用できるようにして世界中のソフトウェ
   ア品質に変革を起こすこと
   

   View Slide

5. Intelligent test automation platform
   品質エンジニアリングという活動と、 mablでできること
   ノーコード/ローコード UIテ
   スト & APIテスト
   データ/インサイト提供
   迅速な問題解決を支援
   単一プラットフォームE2E、
   API、Accessibility
   顧客体験をテスト　　　
   Email/PDF含むE2E
   開発パイプラインに
   統合し仕組み化
   テストメンテナンス削減テス
   トの自動修復
   

   View Slide

6. Agenda
   1. Observability：データを効果的に使う
   2. インテリジェントなテストデータ：
   テストにObservabilityを追加
   3. データをインサイトに変える
   4. mablのインテリジェントなテスト
   自動化ソリューションについて
   

   View Slide

7. What is your No.1 priority going into 2023?

   アンケートの質問
   更なる自動化 データ駆動型
   チームの実現
   本番環境の
   バグ削減
   チーム
   コラボレーション
   促進
   

   View Slide

8. 

   

   Observability

   データを効果的に使う
   

   View Slide

9. What is your No.1 priority going into 2023?

   アンケートの質問 

   更なる自動化 データ駆動型
   チームの実現
   本番環境の
   バグ削減
   チーム
   コラボレーション
   促進
   

   View Slide

10. インテリジェントなテスト自動化には、アプリ
    ケーションテストの生産性と
    効率を低コストで向上させる大きな
    可能性があります。
    Gartner, 2021 Optimize Application Testing Quality and Speed With Embedded Intelligent Automation Services
    

    View Slide

11. SECTION
    Intelligent test data
    そしてデータからインサイトへ
    

    View Slide

12. Intelligent
    Test Data

    テストにObservabilityを追加
    

    View Slide

13. What kind of test data are we talking about?

    Functional
    すべてのテストに
    合格しているのか？
    Velocity
    どの程度の時間をテ
    ストに費やしているの
    か？
    Coverage
    何をテストしているの
    か？
    改善しているのか？
    Non-functional
    高性能か？
    Accessibilityは？
    

    View Slide

14. Leveraging functional test data

    アプリ全体と品質の健全性を測定：
    注目すること：
    ● テストの合格率
    ● 実行されたテストの数
    ● 結果の不安定度 (フレーキー度)
    ● バグの頻度と重大度
    

    View Slide

15. Functional test data
    9月
    10月
    11月
    12月
    1月
    2月
    失敗率 (％)
    合格率 (％)
    

    View Slide

16. How can we measure velocity
    進捗状況を測定し、
    品質の水準を高める活動
    注目すること：
    ● 問題またはテストに費やした時間
    ● テスト自動化の割合
    ● その他のツール固有の測定基準
    ● チームの関与とパフォーマンス
    

    View Slide

17. Measuring velocity

    アクティブユーザー
    9月　　 10月　　 11月　　 12月　　 1月　 2月
    

    View Slide

18. Tracking test coverage
    実際のユーザーアクティビティデータを活用した
    主要ワークフローに焦点を当てる
    注目すること：
    ● テストされたコアユーザー体験
    ● 実際のユーザーページデータ
    ● カバーされる代替シナリオ
    ● 継続的な検証
    

    View Slide

19. Tracking test coverage

    9月
    10月
    11月
    12月
    1月
    2月
    ブラウザごとのテスト実行率 (％)
    

    View Slide

20. Going beyond pass

    コア機能テスト以外のユーザーエクスペリ
    エンスのテスト
    注目すること：
    ● 確立されたアクセシビリティガイドライン(WCAG
    2.0 AA) に対する進捗状況
    ● Googleのコアウェブバイタル
    ● パフォーマンス履歴
    ● 視覚的な変化
    

    View Slide

21. Web Content Accessibility Guidelines (WCAG)
    堅牢（Robust）: コンテンツは支援技術を含む様々な
    ユーザーエージェントが確実に解釈できるよう、十分
    に堅牢でなければならない
    知覚可能（Perceivable）: 情報およびユーザーイン
    ターフェースのコンポーネントはユーザーが知覚でき
    る方法で提示されなければならない
    操作可能（Operable）: ユーザーインターフェースの
    コンポーネントとナビゲーションは操作可能でなけれ
    ばならない
    理解可能（Understandable）: ユーザーインター
    フェースの情報と操作方法は理解可能でなければな
    らない
    以下のアクセシビリ
    ティ機能を含む:
    ➔ 画像コンテンツのテ
    キストコンテンツに
    よる代替
    ➔ ユーザーがコンテ
    ンツをスキップ可能
    とする
    ➔ と タグを
    と
    タグに代替
    ➔ オーディオ・ビデオ
    コンテンツへ字幕
    の付与
    Level Aに加えて以下
    を含む:
    ➔ コントラストレシオを
    4.5:1するなどより
    高度な要求
    ➔ ページ上のテキスト
    を200%まで拡大可
    能とする
    ➔ 入力エラーに対す
    る修正案の提示
    最も厳しいレベルで以
    下を含む:
    ➔ コントラストレシオ
    への要求は7:1
    ➔ ビデオコンテンツに
    事前録画された手
    話の付与
    ➔ キーボードのみで
    全てのコンテンツに
    アクセスできること
    ➔ 9年生が読解可能
    なコンテンツ
    Level A Level AAA
    Level AA
    (Law in many countries, Including
    US)
    

    View Slide

22. Why is it important? Why now?
    WCAG 2.xを採用
    WCAG 2.xの準拠を推奨
    WCAG 1.xを採用
    JIS X 8341-3:2016とWCAG
    2.0の内容が一致しています
    Source: https://waic.jp/knowledge/accessibility/
    

    View Slide

23. Jira Insights

    

    View Slide

24. Turning Insights
    into Outcomes

    どこでどう役に立つのか？
    

    View Slide

25. What kind of test data are we talking about?

    Functional
    すべてのテストに
    合格しているのか？
    Velocity
    どの程度の時間をテ
    ストに費やしているの
    か？
    Coverage
    何をテストしているの
    か？
    改善しているのか？
    Non-functional
    高性能か？
    Accessibilityは？
    

    View Slide

26. What kind of test data are we talking about?

    Functional
    すべてのテストに
    合格しているのか？
    Velocity
    どの程度の時間をテ
    ストに費やしているの
    か？
    Coverage
    何をテストしているの
    か？
    改善しているのか？
    Non-functional
    高性能か？
    Accessibilityは？
    

    View Slide

27. 80%
    顧客の満足度が高いと報告する
    テストカバレッジの高いチームの割合
    2021 State of Testing in DevOps Report, mabl
    

    View Slide

28. Handoff, made simple

    2021 Testing in DevOps Report, mabl
    テストカバレッジに対する迅速なバグの解決
    ８時間以内のバグ解決
    ほぼ不在　　 　 最低限レベル 　　　　　良い　　　　　　非常に良い 　　　　優れている
    テストカバレッジ
    

    View Slide

29. Impact of non-functional testing

    Severe issues
    機能欠陥として大きな
    影響となり得る
    Access for everyone
    決まりであり、正しい
    More than a goal
    良好なデザイン
    プラクティスでもある
    

    View Slide

30. Integrating Test
    Automation With
    Atlassian

    Mabl <> Atlassian
    

    View Slide

31. Mabl & Atlassian

    JIRA オープンなDevOps
    テスト自動化を
    開発ワークフローに
    簡単に統合
    BAMBOO MABL
    BITBUCKET
    

    View Slide

32. Bi-directional communication: A world of possibilities

    ● 双方向コミュニケーション
    ● テスト失敗ステップから問題を作成し、すべ
    ての診断データを添付する
    ● Jira チケットは、計画、テスト、
    および直近の実行にリンク
    

    View Slide

33. Rich diagnostic data for your Jira tickets

    

    View Slide

34. Linking mabl tests to existing issues

    

    View Slide

35. Free 2-week trial, ready to go now!
    トライアルは無料。納得行くまで機能をお試しください。
    デモリクエストも大歓迎！
    技術トレンドや実事例を交えたMTGもお気軽にどうぞ！
    mabl.com/trial
    

    View Slide

36. Key takeaways

    自動テストは
    DevOps の成功の
    鍵を握る
    インテリジェントな自
    動化には大きな
    可能性がある
    テストデータは
    チームの自信向上を
    助ける
    信頼は顧客の幸
    福度に影響する
    

    View Slide

37. Thank you! You can connect at...
    odasho (Shohei Oda)
    Product Marketing Manager, mabl Japan
    ● Twitter: odashoDotCom
    ● Facebook & Instagram: odasho0618
    ● LinkedIn: odasho
    

    View Slide