Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
やってみよう!生成AIを使用して実際の不具合情報から、汎用的なテスト観点を育てツールで管理する...
Search
SHIFT EVOLVE
May 30, 2025
Technology
0
53
やってみよう!生成AIを使用して実際の不具合情報から、汎用的なテスト観点を育てツールで管理する! / 20250530 Suguru Ishii
2025/5/30 JaSST’25 Tohoku
https://jasst.jp/tohoku/
株式会社SHIFT
CATエヴァンジェリスト
石井 優
SHIFT EVOLVE
May 30, 2025
Tweet
Share
More Decks by SHIFT EVOLVE
See All by SHIFT EVOLVE
CloudBruteによる外部からのS3バケットの探索・公開の発見について / 20250605 Kumiko Hennmi
shift_evolve
2
15
AWS LambdaでSocket通信サーバーレスアプリケーションのリアルタイム通信 / 20250523 Kumiko Hennmi
shift_evolve
1
360
6ヶ月でカットオーバー!ファンクション型 BtoB SaaS で実装したインフラレイヤーのセキュリティ / 20250523 Satoshi Torano
shift_evolve
0
87
生成AI時代における人間の情熱とプロダクト志向 / 20250517 Takuya Oikawa
shift_evolve
2
700
幸せに働ける組織を目指すリーダーの葛藤と挑戦 / 20250517 Tadahiro Yasuda & Rinto Ikenoue
shift_evolve
1
440
Kent Beckの思想と学びの道筋 / 20250517 Ryutaro Yoshiba & Hiromitsu Akiba
shift_evolve
1
450
若手中心の内製アジャイル開発で研究開発に挑戦 / 20250517 Nobuhiro Kawamura & Dami Lee & Tomohiko Tanikawa
shift_evolve
1
410
やめシフ大集合!!~SHIFT卒業生座談会~ / 20250517 Hiroko Tamagawa & Ayako Ueno & Ryo Asou &Kei Ishimaru
shift_evolve
0
390
トップエンジニアが語るDX最前線 / 20250517 Kazutoshi Ono & Ken Yamazaki
shift_evolve
1
430
Other Decks in Technology
See All in Technology
ITエンジニアを取り巻く環境とキャリアパス / A career path for Japanese IT engineers
takatama
4
1.5k
Swiftは最高だよの話
yuukiw00w
2
280
Introduction to Sansan for Engineers / エンジニア向け会社紹介
sansan33
PRO
5
38k
MCP で繋ぐ Figma とデザインシステム〜LLM を使った UI 実装のリアル〜
kimuson
2
1.2k
スプリントゴールで価値を駆動しよう
takufujii
3
1.6k
Bill One 開発エンジニア 紹介資料
sansan33
PRO
4
12k
他チームへ越境したら、生データ提供ソリューションのクエリ費用95%削減へ繋がった話 / Cross-Team Impact: 95% Off Raw Data Query Costs
yamamotoyuta
0
200
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
17k
会社員しながら本を書いてきた知見の共有
sat
PRO
3
680
大規模PaaSにおける監視基盤の構築と効率化の道のり
lycorptech_jp
PRO
0
170
FastMCPでSQLをチェックしてくれるMCPサーバーを自作してCursorから動かしてみた
nayuts
1
180
SmartHRの複数のチームにおけるMCPサーバーの活用事例と課題
yukisnow1823
2
1.1k
Featured
See All Featured
Balancing Empowerment & Direction
lara
1
83
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
Building Adaptive Systems
keathley
41
2.6k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
460
For a Future-Friendly Web
brad_frost
178
9.7k
Thoughts on Productivity
jonyablonski
69
4.7k
Git: the NoSQL Database
bkeepers
PRO
430
65k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
A better future with KSS
kneath
239
17k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
Into the Great Unknown - MozCon
thekraken
39
1.8k
Transcript
Copyright SHIFT INC, All Rights Reserved. 2025 / JaSST’25 Tohoku
株式会社SHIFT CATエヴァンジェリスト Suguru Ishii 30 5 石井 優 やってみよう! 生成AIを利用して実際の不具合情報から、 汎用的なテスト観点を育てツールで管理する!
2 Copyright SHIFT INC, All Rights Reserved. 登壇者紹介 経歴 •
2009/4 – 2014/11 倉庫系システム部門 • 2014/12 – 2015/7 東中野のPCサポート屋さん・石井屋 • 2015/8 - 株式会社SHIFT CATサポート、プリセールス、エヴェンジェリスト ソリューション本部 デリバリ改革統括部 デリバリ改革部 サービスプラットフォームグループ CATエヴァンジェリスト 石井 優(Suguru Ishii) 大規模テストの進捗・品質を可視化 テスト管理ツール 「CAT」 約820社 約18,000ライセンス(※) ※2025年3月時点 CATほど 面白いプロダクトは なかなかない!
3 Copyright SHIFT INC, All Rights Reserved. アジェンダ テスト観点データベースの運用をAIを使ったらもっと楽になるのでは? アジェンダ
本発表ではChatGPTにデータの入力を行っておりますが、機密事項にはあたらない情報を取り扱って おります。企業内のデータを扱う場合、各企業のポリシーに従って生成AIをご利用ください。 ⚫ テスト観点と観点データベースを運用する目的 ⚫ 運用のボトルネックと目論見 ⚫ 実践!不具合情報からテスト観点を生成してTDで活用 ⚫ まとめ ⚫ 製品紹介
4 Copyright SHIFT INC, All Rights Reserved. テスト観点と観点データベースを運用する目的 次の開発や他の機能で過去に発生した不具合を防ぐため、観点DBをメンテする ⚫
JSTQBにおけるテストレベル、システムテストを対象 (弊社クラウド製品のリリーステストを想定) ⚫ 抽象度の高いテストケース=テスト観点 ⚫ テスト観点データベースをメンテする目的 ・過去に発生した不具合を、同一機能のテストで繰り返さない ・他の機能や製品で発生した不具合を、別の製品でも防ぐ ・設計作業を効率化する 不具合情報 不具合情報 を起票 観点DBの メンテナー 不具合情報からテ スト観点を抽出し、 DBへ反映 テスト設計者 観点をベースに 設計書を作成 テスト実施フェーズ 振り返りフェーズ 次回設計フェーズ ・不具合の再発を防止 ・他の機能・製品に流用 ・設計を効率化 テスター 不具合情報 テスト設計書 を作成 テスト観点DB テスト観点DB 1 2 3 今回扱う "テスト 観点"の前提 テスト観点データベースの運用
5 Copyright SHIFT INC, All Rights Reserved. 運用のボトルネックと目論見 不具合情報をベースに観点を作成する労力を生成AIが担うと、すごく楽にならないか? 不具合情報
不具合情報 を起票 テスト設計者 観点をベースに 設計書を作成 テスト実施フェーズ 次回設計フェーズ ・不具合の再発を防止 ・他の機能・製品に流用 ・設計を効率化 テスター テスト設計書 を作成 テスト観点マスター 1 3 今回扱う”テスト 観点”の前提 テスト観点データベースの運用 観点DBの メンテナー 不具合情報からテ スト観点を抽出し、 DBへ反映 振り返りフェーズ 不具合情報 テスト観DB 2 観点を文章で 作成する労力が発生 不具合情報をベースに 生成AIで簡略化できないだろうか ⚫ JSTQBにおけるテストレベルシステムテストを対象 (弊社クラウド製品のリリーステストを想定) ⚫ 抽象度の高いテストケース=テスト観点 ⚫ テスト観点データベースをメンテする目的 ・過去に発生した不具合を、同一機能のテストで繰り返さない ・他の機能や製品で発生した不具合を、別の製品でも防ぐ ・設計作業を効率化する
Copyright SHIFT INC, All Rights Reserved. 6 実践、不具合情報から テスト観点を生成して“TD”で活用!
7 Copyright SHIFT INC, All Rights Reserved. 前提 シチュエーションの前提 ⚫
観点DBを運用しており、既に観点の集まりがある ⚫ とある製品でリリーステストを実施 ⚫ 不具合振り返り時に観点DBになかったものがあり追加をしたい
8 Copyright SHIFT INC, All Rights Reserved. 対象とする不具合の選定 次回以降のテストで観点に入れたい不具合情報を選定 観点をつくりたい不具合情報
9 Copyright SHIFT INC, All Rights Reserved. 内容 不具合情報からGPT(4o)に投入し、活用できそうな観点情報が得られた プロンプト
出力された観点情報 プロンプト 不具合情報 (コピペ)
10 Copyright SHIFT INC, All Rights Reserved. 検証 4個中2点は不要、残りの2点は有効な観点であった 出力された観点情報(修正前)
対象の機能(遷移前) ① ② ③ ④ ① 対象の機能(遷移後) ② 出力された観点情報(修正後) ②”テスト観点”とあるが、正しくは”フィールドの値” ③と④は②にて包括および的外れなため削除
11 Copyright SHIFT INC, All Rights Reserved. 取り込み・利用 TDへカタログ情報として取り込み、次回の設計時にスムーズに引用できる Excelに貼り付け
TDのカタログに登録 カタログをベースに設計を実施 確認項目まではカタログから引用 期待値は入力
12 Copyright SHIFT INC, All Rights Reserved. まとめ 観点化したい不具合の量に応じて、文書作成コストの低減に一定の成果あり 当初の期待
1.不具合情報をベースに汎化した テスト観点を概ね出力する 2.手で作成して登録する大変さを 低減する ちょっと間違いはあるが、 使えそうなテスト観点が得られた 結果 おおむね期待通り • 1から文章を作成する労力が無く非常に楽。 不具合の量が多いと効果も大。 • 観点を作成時の記載粒度・利用する文言を 統一しやすい 気づき プロダクトに照らし合わせて正しさを検証する 必要あり 難易度が高いと、検証の負荷は高くなるかも? ? 不具合を起票する労力(タイピング、文字 起こし、文書の校正)を再利用となっている ! 不具合起票の 労力 労力の 再活用!! 不具合情報 不具合情報 を起票 テスター テスト観点DB
13 Copyright SHIFT INC, All Rights Reserved. 今後取り組みたいこと 今後取り組みたい観点周りのAI効率化のテーマ ⚫
観点DBにない不具合の発生をAIで自動的にチェックする ⚫ 追加する・しないの判断をAIがチェックする ⚫ トップダウンのアプローチをAIで支援する 今回はボトムアップの話ではあるが、観点を増やしていく際に階層化・整理をAI で支援、トップダウンでの観点作成・整理も必要 観点DBの運用全体をAIで支援できるように仕組み化したい
14 Copyright SHIFT INC, All Rights Reserved. 製 品 紹
介
15 Copyright SHIFT INC, All Rights Reserved. CAT・TD フリープラン リリース!
小規模なチーム向けの永続的に無償でご利用いただけるプランをご用意しました! 「テスト管理 CAT」で検索して今すぐ利用開始! フリープランの特徴 主要機能は 制限なし テスト管理、課題管理、 進捗管理、分析 最大ユーザー数 10 ユーザー 利用開始まで 約3分 カードの登録も不要! サポートも利用化 (ベストエフォート) サンプルデータも 利用可! こんなお客様へおすすめ • 小規模なチームでテスト管理・課題管理を利用したい • ノーマルプランの利用検討のために長期で利用したい • CATに興味があるのでとりあえず触ってみたい とことん使い倒す技 • 1組織内でもメールアドレスが異なる場合は複数の環境も構築可能 • 課題管理のカスタマイズも無制限 カスタムフィールドやフローで課題管理・分析基盤を構築 • テスト仕様書や課題の登録は無制限 • 高度な進捗管理、分析機能でプロジェクトを見える化 制限事項(ノーマルプランとの差異) • 同時プロジェクト管理数:5個 • 最大ユーザー数:10ユーザー • 90日利用しない場合自動クローズ • 連携機能などの制限あり (外部BTS連携、ガントチャートなど) 詳細は価格ページをご確認ください サンプルデータを触って各種機能をお試しいただけます 製品HPイメージ
Copyright SHIFT INC, All Rights Reserved. ご清聴ありがとうございました