ユーザーストーリーのレビューを自動化したみたの

JaSST nano vol.35(https://jasst-nano.connpass.com/event/309665/) での発表資料です。

JSTQB Advanced Level Test Analystの資格勉強中に「これ自動化すれば、ちょっと楽になるんじゃない？」という好奇心に勝てずに作った仕組みについて発表しました！

Transcript

1. ユーザーストーリーの レビューを自動化してみたの 2024年4月16日 JaSST nano Vol.35
2. 自己紹介 01 今日話すこと 02 ことの発端 03 技術スタック 04 動かしてみた 05 感想・まとめ 06
3. 自己紹介 01
4. bun913(今泉大樹) クラスメソッド株式会社 認定試験など ・JSTQB AL Test Manager ・応用情報技術者 ・AWS認定試験12種 etc 趣味 ・ダイの大冒険 ~2018年 ~2022年 ~現在 まじりっけなしの本物の公務員 転職して開発系のエンジニアに AWSもやりながら内製化支援
5. 今日話すこと 02
6. ・AWSと生成AIを使って「ユーザーストーリーのレビュー」の自動化を試してみた ・なぜやろうと思ったのか？ ・どういう技術スタックを利用したのか？ ・どんな感じで動くのか？ 今日話すこと
7. ことの発端 03
8. ・まずはシラバスを読む ・心に残ったところをZennにメモ （後でブログやLTのネタにするため） JSTQB AL Test Analyst試験の学習をしていた
9. 引用: https://jstqb.jp/dl/jstqb.jpdlJSTQB-SyllabusALTA_V311.J03.pdf 「5.2.2 ユーザーストーリーレビュー」が目にとまる
10. ・「要件や要求、完成の定義がないとテスト以前の問題だよなぁ」という納得感 ・ 「人によって、書き方が全然違うよなぁ」という実体験があったので、レビュー の観点をチェックリストとして用意するのは良さそうだと思った ・とはいえ、例文や書き方のガイドを用意してみても、やっぱりフィードバックが ないと改善は難しかったり ・でも現実的に、「全てを人が確認する」のは結構きついと思った 気になった理由
11. ・「受け入れ基準が書いてあるか？」とか「テスト可能か？」などの観点 ・生成AIに一次レビューしてもらえば、人が本質的なところに集中できるのでは？ ・レビュイーも素早くフィードバックをもらえてハッピーなのでは？ 「汎用的な観点は人が見なくてもよくない？」 →「えぇい！とにかくまずは作ってみるか！？」
12. 技術スタック 04
13. ・GitHubのIssueでユーザーストーリーを管理 ・GitHub Actionsでイベントをトリガーする ・Amazon Bedrock の Claude3 Sonnet モデル を利用 Amazon Bedrock を使ってみる
14. ・AWS上で色々な生成AIのモデルを利用できるサービス Amazon Bedrock って何？ ・AWS上の権限があれば簡単にAPI経由で利用可能 ・最近すごいと話題のAnthropic社の Claude 3 Haiku や Claude3 Sonnet などのモデルも利用可能
15. ・（トリガー）「user-story」というタグがついたIssueを発行・更新 GitHub Actionsで自動化する ・Issueの本文と「レビュー観点」の指示を Claude3 Sonnet に与える ・帰ってきた結果を Issue のコメント欄に投稿する ・レビュー結果が問題なければ、「レビュー済み」のようなタグをつける → これらにより最低限のフィードバックをレビュイーに素早く渡したい
16. （参考）生成AIに渡しているレビュー観点
17. （未承認広告）詳しくは以下ブログを見てください 引用: https://dev.classmethod.jp/articles/userstory-review-automation-trial/
18. 動かしてみた 05
19. 色々と足りなそうなIssueを発行してみる
20. 数十秒でレビューしてくれる
21. フィードバックを受けたのでちょっと改善
22. レビューOKのコメント投稿・タグ付けされる
23. （ちなみに）プロンプトインジェクションなどをし ようとするとエラーを返す
24. 感想・まとめ 06
25. ・数時間でサクッとOSS公開までできました（単に生成AIに投げるだけならとても簡 単） ・「明らかにテストできんやろ。このIssueでは」みたいな内容はほぼ指摘してくれた ・一方で「受け入れ条件の粒度」や「レビュー観点」などは組織によってカスタマイズ が必要そう ・厳密に業界特有のルール・これまでの回答履歴などを参照させるならRAGの構成が必 要になると思うが、果たしてそこまで必要なのか！？ （今回は「最低限」のような観点をサクッとレビューしてもらいたかったので） ・当然「なぜユーザーストーリを書くのか」といったコミュニケーションはやっておく （やってみた・作ってみた）感想
26. ・以下のブログにもやってみた内容を公開しています ・GitHubのリポジトリにソースコードや使い方も公開しているので、気になる方はご参 照ください 今日の発表内容について
27. ご清聴ありがとうございました