セキュリティチームのAIエージェントを チーム内の誰でも改善できるようにするまで

freee 技術の日 2026のセッション資料です。

Transcript

1. セキュリティチームのAIエージェントを チーム内の誰でも改善できるようにするまで 榊󠄀原 慎(sak) 2026年10⽉3⽇
2. セキュリティ部 Redteam 榊原 慎(sak) 2025年4月に新卒で入社。 セキュリティチームで、主にLLMに よる脆弱性診断やチームメイトエー ジェントの改善に取り組んでいる。
3. 目次 1. セキュリティチームとバンちゃんの紹介 2. 誰でも改善できるようにやったこと a. エージェントが⾒えるドキュメント化 b. ペアプロ 3. まとめ
4. 01 セキュリティチームについてと、 セキュリティチームで⼀緒に働いている AIエージェント、バンちゃんについて
5. セキュリティチームの構成 Blueteam 監視と初動対応のプロ Redteam 攻撃者の視点を持つプロ Whiteteam バンちゃん (AIエージェント ) セキュリティ問い合わせ対応の 一次対応をしてくれるエージェント ルールとカルチャーのプロ Purpleteam 旧CSIRTと旧PSIRTの架け橋 5
6. バンちゃんについて freeeのAI時代プロダクトセキュリティ【後編】： 自社AIエージェント「バンちゃん・なぐるちゃん」と運用のリアル
7. 問い合わせ対応フロー 質問者(freeers) セキュリティチーム 問い合わせ エスカレ 返答/対応 バンちゃん(エージェント) • 問い合わせの意図把握 • 既存ナレッジでの回答 • ワークフローの実行 当番など(人) • 実作業 • 最終判断 • 方向修正
8. バンちゃんの仕組み 推論 AWS 投稿など 返信 データ調査 社内LLM基盤
9. Claude Tagとの⽐較 - 挙動編 Claude Tag バンちゃん Slackメッセージ 入力 返答するかの判断 返答内容の生成 決定的 LLM 非決定的である必要がなかった LLM バンちゃん < Claude Tag コスト 扱うコンテキストが少ない 一部決定的作業を含む フロー
10. 02 バンちゃんの改善をチーム内で⾏いたい！
11. 改善に他メンバーの経験も欲しい • 知識はある程度取れているが 「その知識を使うならこの振る舞い」 ができていない • 自分の経験や知識習得もまだまだで エージェントに転用するのも大変 バンちゃん • 重厚な経験と知識を継承した 最強のバンちゃんにするためには チーム内の力が必要 11
12. ⼀⽅: 改善を他メンバーが⾏う⼼理的負荷は⾼い 日常業務を改善したい！ 複雑なコードの変更による心理的負荷 バンちゃんの実装を調べる必要あり 今までやっていなかったことを 新しくやるのは負荷が高い 12
13. 問題提起: チーム内で改善したい！: Claude Tagを⾒て Claude Tag 入力 出力 フィードバック 自然言語 メモリなど 入力 バンちゃん 振る舞い 出力 文章だけ！ フィードバック コード・自然言語
14. 問題提起: チーム内で改善したい！: Claude Tagを⾒て Claude Tag 入力 出力 フィードバック 自然言語 メモリなど 入力 バンちゃん 実質文章だけにしたい 振る舞い 出力 フィードバック 自然言語
15. 改善していく ゴール ゴールに必要なもの ゴールに必要無いもの セキュリティチームのメンバーが バンちゃんを改善できている セキュリティチームのメンバーによる GitHub PRが作られている 綺麗なコード 綺麗なレビュー
16. 開発ドキュメントの更新: 設計 返答可否は 決定的にする staging環境 の使い方 ナレッジは Confluence側 に書いて参照 どうやって 開発していく？ DEVELOPMENT.md エージェントが見えるところに書く
17. 開発ドキュメントの更新: 具体 特定のナレッジを 優先度高く読ませたい このコードを 変更すると できるよ このモードのプロンプトがう まくいかない path/to/DEVELOPMENT.md エージェントがアクセスできる ツールを増やしたい 決定的動作が記述されているフォルダとか プロンプトが置かれているフォルダとか agentが使うツールのフォルダとか
18. モブプロをする モブプロをする目的 : ワークアラウンドで対応する(もしくは対応しない) の意識を →コード自体を変更して直接改善できる にかえる フィードバックにあったタスクを実装 実際に特定メンバーのClaudeの画面を見ながら機能追加 その機能はバンちゃんに追加されて今も運用中
19. しばらく動かしてみてどうだったか 以前と比べ、バンちゃんが必要な対応をしてくれるようにはなっている チームメンバーからの PRは増えた • 特定アラートの自動取得 • 対応メッセージをスタイリッシュに • ナレッジ確認→即引き継ぎの機構追加 コードの視認性は悪化 • 実装を更新した後のドキュメント更新漏れ • 同じ関数の別ファイルでの再実装 とはいえ現状動かなくなるまでは行ってない
20. 03 まとめ
21. まとめ セキュリティチームのAIエージェントをチーム内の誰でも改善できるために、 Before After 設計が頭の中にしかなかった 作り方を エージェントが読めるようにした PR作成ハードルが高かった モブプロで経験を積んだ チームの特定メンバーで 対応していた チームメンバーが困った時に PRを出せるようになった