Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
生成AIとAI ~エンジニアの期待と現実~
Search
odasho
August 29, 2024
Technology
0
60
生成AIとAI ~エンジニアの期待と現実~
2024/8/29 mabl Webinarにて使用したスライドです。
odasho
August 29, 2024
Tweet
Share
More Decks by odasho
See All by odasho
イマこそ、”Dev””Rel”なのでは??~VUCA時代を乗りこなすDevRelの価値と本質~
odasho
0
14
E2Eテストを自動化したら 開発生産性はどうなった? hacomonoの事例紹介
odasho
0
750
統合型ノーコードテスト 自動化プラットフォーム 『mabl』 ご紹介ウェビナー
odasho
0
33
テスト自動化入門ワークショップ:最新のモバイルアプリテスト
odasho
0
87
未来を変える一歩: モバイルアプリテスト自動化の新時代
odasho
0
82
統合型ノーコードテスト 自動化プラットフォーム『mabl』 ご紹介ウェビナー
odasho
1
110
AIを駆使した自動テストは統合プラットフォームの時代へ
odasho
0
310
mabl テスト自動化 ショートデモセッション
odasho
0
120
ローコードで実践!アプリケーション開発とテスト自動化
odasho
0
180
Other Decks in Technology
See All in Technology
バクラクのドキュメント解析技術と実データにおける課題 / layerx-ccc-winter-2024
shimacos
2
1.1k
プロダクト開発を加速させるためのQA文化の築き方 / How to build QA culture to accelerate product development
mii3king
1
270
10分で学ぶKubernetesコンテナセキュリティ/10min-k8s-container-sec
mochizuki875
3
350
社内イベント管理システムを1週間でAKSからACAに移行した話し
shingo_kawahara
0
190
サービスでLLMを採用したばっかりに振り回され続けたこの一年のあれやこれや
segavvy
2
480
re:Invent をおうちで楽しんでみた ~CloudWatch のオブザーバビリティ機能がスゴい!/ Enjoyed AWS re:Invent from Home and CloudWatch Observability Feature is Amazing!
yuj1osm
0
130
成果を出しながら成長する、アウトプット駆動のキャッチアップ術 / Output-driven catch-up techniques to grow while producing results
aiandrox
0
350
ブラックフライデーで購入したPixel9で、Gemini Nanoを動かしてみた
marchin1989
1
540
How to be an AWS Community Builder | 君もAWS Community Builderになろう!〜2024 冬 CB募集直前対策編?!〜
coosuke
PRO
2
2.8k
Amazon Kendra GenAI Index 登場でどう変わる? 評価から学ぶ最適なRAG構成
naoki_0531
0
110
Microsoft Azure全冠になってみた ~アレを使い倒した者が試験を制す!?~/Obtained all Microsoft Azure certifications Those who use "that" to the full will win the exam! ?
yuj1osm
2
110
サイボウズフロントエンドエキスパートチームについて / FrontendExpert Team
cybozuinsideout
PRO
5
38k
Featured
See All Featured
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Unsuck your backbone
ammeep
669
57k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Building Better People: How to give real-time feedback that sticks.
wjessup
365
19k
Being A Developer After 40
akosma
87
590k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
28
900
Testing 201, or: Great Expectations
jmmastey
40
7.1k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.1k
Transcript
~エンジニアの期待と現実~ 2024/8/29 AIを活用したQA & テスト自動化プラットフォーム mabl(めいぶる)のウェビナー
mabl について
What's mabl? • 「めいぶる」と読みます • Stackdriver(現Google Cloud Operations)の 創業者IzzyとDanが2017年ボストンで創業 •
2021年8月に日本法人設立 • グローバルの社員数は約110名 • Fortune Globalの35社含む300社+が採用 • GV、CRV、Amplify、Vista Equity Partner、 Presidioより 7,700万ドル (90億円) を調達
Web/Mobile/APIのための統合型プラットフォーム 4 AI、クラウド、ローコードの 最新テクノロジーを軸に 構築されたプラットフォーム Web、モバイル、APIテストを 単一のプラットフォームで実行 テストの再利用性を備えた 真のエンドツーエンドテスト
現状のQAに関する問題点 スピード: 従来型のテスト手法では 現在のソフトウェアリリースサイクルにつ いていけない サイロ化: テスト実施がチームごとに サイロ化され、アジリティや可視性が 犠牲になっている メンテナンス:
開発チームがテストコード のメンテナンスに多くの時間を費やしてい る
現状のQAに関する問題点 (アンケート結果) 6割以上が『手動でのテスト対応』と 回答 『テストメンテナンス』 『構築と実行に時間がかかりすぎる』 『自動化を行うためのコーディング知識がない』 が最多回答
単一プラットフォームで広範囲なテストをカバー 機能/非機能テストをカバーするプラットフォーム • Web UIテスト • モバイルWeb UIテスト • APIテスト
• アクセシビリティテスト • UI/API パフォーマンステスト • NEW! ネイティブモバイルアプリテスト • NEW! データベースコネクション
ノーコードでテストを作成、ローコードで拡張 テスト作成の流れ 1. ブラウザでテスト対象アプリを 操作 2. トレーナー(右側ウィンドウ) が各操作をステップとして記録 してテストを作成 3.
必要に応じてステップの追加・ 削除・変更が可能
ローコードで「意図」と「実装」を分ける
ノーコードでカバーしきれないテストステップをローコードでカバー、テストカバレッジを向上 ローコードでテストを拡張 テストの任意ステップで、GUIでは指定できないような操作を JavaScriptで実行可能
詳細なテスト結果データを自動で記録 テストのステップごとに結果情報を収集 • スクリーンショットと画面差分 • ネットワークログ • DOMスナップショット • HARファイル
テスト実行結果からインサイトを通知 実行テストに関する情報を俯瞰的に把握 • テストカバレッジ ◦ 最新のテスト成功率 ◦ 累積テスト実行数 ◦ 失敗テストの分類
◦ テストステータス、など • 自動修復 • 視覚的変化 • リンク切れ • JavaScriptエラー
既存ツールとの統合 DevOpsツールセットとの統合 CI/CDインテグレーション Mabl アプリ (デスクトップ、Web) Mabl Cloud レ ート
コラ レーションツール お使いのアプリケーション Mabl Link optional バグ追跡
https://github.com/apps/mabl-bot GitHub インテグレーション Deployment action Run mabl tests action Actions
2.0 Deployments API Tests Test Results API DEPLOYMENT EVENT POLL FOR TEST RESULTS TRIGGER デプロイメント アクション mabl テスト実行 アクション デプロイイベント 実行 テスト テスト結果を連携
より良い品質のソフトウェアをより早く提供 15 3倍 速くテストを作成 スピード向上 70% メンテナンスコスト削減 効率化 10倍 速くテストを実行
加速化 80% 自社開発ソリューション よりも低コスト コスト削減
エンタープライズ対応のセキュリティ SOC II Type 2 GDPR
本日のテーマ
生成AIとAI ~エンジニアの期待と現実~
自動修復でメンテナンス作業を削減 テスト作成 自動修復 テスト実行 分析 アップデート 毎実行ごと アプリ改修や動的要素により 対象要素が見つからない場合、 過去実行時に収集した情報を元に
対象要素の候補を探し テスト実行継続を試みる テスト実行の都度、 各要素について 30以上の属性を収集
UI変更を検知しテストを自動修復して実行を継続 どうやってテストを自動修復する? • テスト実行のたび要素ごとに 35以上の属性を記録 • 要素が見つからない時、 属性情報を使い要素を検索 • マッチした要素でテストを
修正して実行 • 自動修正をユーザーに通知し、 正しく修正されているか確認
Wait timeの自動生成
生成AIの現状 日本における未来志向型インフラ・テクノロジのハイプ・サイクル: 2024年 出典:ガートナー 生成AIのハイプ・サイクル:2023年 出典:ガートナー
AI Agent活用の取り組み例 (ヘルプデスクへの活用) Reference: ヘルプデスクの事例で学ぶ AIエージェント
Microsoft Gamoさんはこう言っている。 Reference: GPT開発の悩みの種「速度」「精度」「評価」の壁をどう超えるか 『Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門』著者の 1人 ”GPTに出力を評価させる場合、その評価が妥当なものであ るかどうかを確認する必要がある。"
”特に判断に注意。品質保証部門やデータサイエンティスト など専門家と相談し、通常のソフトウェアテストと同じく、 Go/No Goの判定基準を事前に設けておく。"
mablの様々な 生成AI活用
(機能強化) 生成AIが言語理解をサポート 要素の検索モデル DOM エキスパートシステム Autonomous Agent
アプリケーション内の要素が大幅に変更され、テス ト対象要素が見つからない場合に、テストを自動修 復を試みる。 80%程の精度だった従来の自動修復機能に生成 AIを組み込み、95%まで修復精度が向上。 テストで出力されるLog上にテスト結果だけでなく 判断内容を記載。 GenAIによる作成済みテストの高度な自動修復
より複雑なテストシナリオのために JavaScriptスニ ペットの作成が必要な場合には、生成 AIによるスニ ペット生成支援の機能を活用して作成可能。 作成したいスニペットについて、プロンプトを用いて 指示を記載することで、サンプルコードを出力。 GenAIによるJavaScriptスニペット作成支援
アサートとは、『アプリケーションが期待した 動作通りに動くか』を確認すること。 例えば『パスワード未入力でログインボタンを押し たら、パスワード入力を促すメッセージが表示され ること』など。 『GenAIによるアサーション』はプロンプトを活用し て、より複雑なアサート処理をテスト ステップに組み込むことが可能。 右の例では『画像の背景に山が表示されているこ と』をプロンプトベースでテストし、結果や判定理由
も併せて表示。 GenAIによるアサーション
作成したいクエリについて、プロンプトを用いて指 示を記載することで、サンプルを出力。 アプリケーションとデータベース双方の変更内容が 正確に反映されることを確認できるだけでなく、 データベースのテストデータを設定し、テスト内で 削除や変数としての使用も可能。 mabl Link もしくは mabl
が指定するIPアドレスを 許可して、非公開データベースへもアクセス MySQL / Microsoft SQL Serverをサポート。 (予定) PostgreSQL / Oracle DB / MongoDB New!! GenAIによるSQLのクエリ作成支援 New!! DATABASE CONNECTION IN A UNIFIED PLATFORM
For your information #mablJapan
About the mabl University How-to Videos (English only) How-to Lessons
(Japanese only) On-Demand Training (English & Japanese) mabl Skills Certifications (English & Japanese) • 33 ビデオ (各3 - 8 分程度) • 英語字幕あり、日本語字幕なし • 26 レッスン • Step by stepで学習可能 • 4 ラーニングパス • 設定、基礎、高度、統合でそれ ぞれ30 - 90 分の学習パス • 学習目標に応じたパスを提供 • 3 つの資格 • Foundations と Advanced • NonFunctional ←NEW • LinkedIn に掲載可能
About the mabl Skills Certification 出題数60問の選択式テストを通じて、mablのナビ ゲーション、設定、テスト作成、出力、自動テスト 戦略について解答し、examをパスしましょう! Why get
certified? • LinkedInで認定資格合格後を登録可能 • 認定資格試験の取得を通じてmablプラット フォームの一定への知見をアピールできます • mablers_jpのようなコミュニティを通じて、 得たスキルを活かしたOutputをしましょう! • 2023年3月~日本語での提供を開始しました
mabl Skills Certification mabl Skills Certification: Foundations (基本レベル) mabl Skills
Certification: Advanced (応用レベル) mabl Skills Certification: Non-functional Testing (非機能テスト)
You can try it now! • 2週間の無料トライアルとmabl University でmablをマスターしよう! •
デモのリクエストはこちらから!→→ https://www.mabl.com/ja
mabl の User Community『mablers_ jp』 Join user community! https://mablersjp.connpass.com/event/329342/
Join our Sponsored Conference! 10/17 CTC Forum 2024 11:50 -
12:20 『mablのテスト自動化への生成AIの 取り組みと導入効果について』 https://forum.ctcevent.jp/?r=101
Join our Annual Conference! 11/20 mabl experience 24 Japan 開催決定!
https://experience.mabl.com/ja/
Please respond to our survey! 本日はご参加いただき ありがとうございます! mablご紹介ウェビナーのアンケート 回答にご協力お願いします。