診断AIエージェントによるセキュリティの未来 – 著名OSS向け0-dayリサーチを例に

2025年7月17日に開催されたDeep Security Conference(https://deep-security-con.findy-tools.io/)における、CTO米内のセッション登壇資料です。

Transcript

1. © 2025 https://att.tech 診断AIエージェントによ6 セキュリティの未来 著名OSS向け0-dayリサーチを例に Deep Security Conference 202h 取締役CTO 米内 貴志 @lmt_swallow
2. © 2025 GMO Flatt Security Inc. All Rights Reserved. 前置き① 取締役CTO 米内 貴志 2019年株式会社Flatt Securityに入社。2021年6月にCTOに就任し、 以後同社にて製品セキュリティに関するソリューションの研究開発を 牽引するž サイバーセキュリティ国際会議「CODE BLUE 2024」レビューボー ド、サイバーセキュリティ競技「International Cybersecurity Challenge 2023」アジア代表チームキャプテン等を歴任ž 著書に『Webブラウザセキュリティ ― Webアプリケーションの安全 性を支える仕組みを整理する』（2021年、ラムダノート社）等。
3. エンジニアの背中を預かる より多くのエンジニアがものづくりに集中できる社会を、セキュリティ面からつくる会社
4. © 2025 GMO Flatt Security Inc. All Rights Reserved. 前置き② ― AIエージェントといっしょに に貢献 世界の安全 CVE-2025-29768 potential data loss with zip.vim and special crafted zip hles in Vim < v9.1.1198 vim/vim CVE-2025-30218 x-middleware-subrequest-id may be leaked to external hosto vercel/next.js CVE-2025-31483 Stored XSS in Mini©ux Media Proxy due to improper Content-Security- Policy conhguration miniµux/v2 CVE-2025-32391 XSS possibility through malicious SVG uploads hedgedoc/hedgedoc 修正中 × 6 ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ ▓▓▓▓ ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ …
5. © 2025 GMO Flatt Security Inc. All Rights Reserved. 前置き③ ― AIエージェントといっしょに に貢献 お客様の安全 ※ もちろん、AI使用に関しては、お客様との種々のご調整の上で 14k ポスト 3~6月 3~6月 2k レポート Takumi byGMO を活用 診断/ペンテストでも、自社AIエージェント
6. © 2025 GMO Flatt Security Inc. All Rights Reserved. リスク = × インパクト H の増加9 の先の悲観的未来 発生確率 発生確率 ノイズレート低下 このへんでゲームの構造が変わる可能性がある。GMO Flatt Security は、先手を打つべく R&D している 今日はまず| この未来予想に向いながら喋ります
7. © 2025 GMO Flatt Security Inc. All Rights Reserved. 本セッションの流れ Chapter 01 AI-Assisted Hacking 時代へ Chapter 02 次の時代に向けた壁 Chapter 03 壁の先の未来 Chapter 04 未来に備えて 現状分析から出発し、我々に必要な備えを考察していきます
8. © 2025 https://att.tech Chapter 1 AI-Assisted Hacking 時代へ GMO Flatt Security の現在地点
9. © 2025 GMO Flatt Security Inc. All Rights Reserved. 振り返り: Sonnet 3.7 以後の Coding Agent モデルの行動選択力が著しく向上 例: Claude Code はほぼプリミティブツールのq Bash, Edit, View, GlobTool, GrepTool £ 所謂 ReAct など、元々 LLM に次の行動を選択させる取り組 み自体は、2022年頃には既に結構行われていz £ コンテキスト長の制限や、モデル自体の性能にも引っ張ら れ、実用からは遠い時期が続いていたように思う £ 一方、Sonnet 3.7 頃から特に、モデル + プリミティブな Tool/Function で、妥当な行動が選択できるようI £ 生成コードの妥当さではなく、Tool Use の妥当さが増した のが、近年の Coding Agent の成長レバーといえる
10. © 2025 GMO Flatt Security Inc. All Rights Reserved. 脆弱性を探す 文脈を汲んで読む のコアスキルであるP も向上したということ
11. © 2025 GMO Flatt Security Inc. All Rights Reserved. AI Agent (Takumi) が可能にしたこと 脆弱性をクイックに探す、が出来るように n 初めて見るコードベースに対して、怪しいものを探す、あちこち見て回る、は著しく素早くでき‚ n 色々チューンした結果、Takumi は他製品比でも人間的なイシューを見つけてくるように 弊社ベンチマーク: Recall = TP/(TP + FN)
12. © 2025 GMO Flatt Security Inc. All Rights Reserved. Takumi の能力検証 ― セキュリティ機構の削除 本来あるセキュリティチェックを削除 割とこういうのも拾える
13. © 2025 GMO Flatt Security Inc. All Rights Reserved. Takumi の能力検証 ― データフローを踏まえたリスク判断 データフローを加味して、リスクが低いと判断 この例はシンプルだが、一般に、従来 SAST で出来ない判断が可能に
14. © 2025 GMO Flatt Security Inc. All Rights Reserved. 14k メッセージ 3~6月 3~6月 2k レポート お客様システムの診断/ペンテストでa アシスタントとして Takumi を活用していG GMO Flatt Security with AI！ 結果としg 社内の利活用は著しく進んだ
15. © 2025 GMO Flatt Security Inc. All Rights Reserved. GMO Flatt Security は “Hacking By Experts” “Hacking By Experts, with AI” かp へ 変化してきた
16. © 2025 GMO Flatt Security Inc. All Rights Reserved. GMO Flatt Security Takumi/AI with  契約上の整理＆お客様へのご説明の上、 Takumi を可能な限りの診断PJに投入u  ホワイトボックスベースで、診断初動や、診 断中の細かな検証を任せるようp  少なくとも強い人が更に強くなった 社内は Takumi の利用がデフォ† 弊社エキスパートが更に強く
17. © 2025 https://att.tech Chapter 2 次の時代に向けた壁 “Vibe Hacking” 時代を迎えるためのハードルは？
18. © 2025 GMO Flatt Security Inc. All Rights Reserved. Vibe Hacking への波 XBOW Hacktron Stealthnet 海外スタートアップも徐々に登場 こぞって脆弱性発見 / Bug Hunting Platform での実績を競い合うように
19. © 2025 GMO Flatt Security Inc. All Rights Reserved. 実例: HackerOne では AI が一部で一位（XBOW） k 世界有数のバグハンティングプラットフォームHackerOno k Vulnerability Disclosure Program（VDP）カテゴリでは XBOW が人を抜いて一位を記録していs k 単なる報告窓口にとどまらず、報奨金も伴う Bug Bounty Program（Bug Bounty Program）カテゴリに比べれば競 争は穏やかだが、それでもすごい 総量も結構見つけている 毎月見つけている
20. © 2025 GMO Flatt Security Inc. All Rights Reserved. Vibe Hacking 時代が近づいたように見え) … が、まだ、重要な壁がある
21. © 2025 GMO Flatt Security Inc. All Rights Reserved. その壁とは？ A. ノイズレートの壁 z False positive や、Trivial な True positive（それリスクにつながる？というようなもの）はまだまだ出g z Takumi は Cline 差 22.9% ほどまでこぎ着けたが、それでも 61.4% ほどが FP か Trivial な TP 弊社ベンチマーク: Weighted Noise Rate = (FP + βTPt)/(FP + βTPt +TPs), β=2
22. © 2025 GMO Flatt Security Inc. All Rights Reserved. 弊社ベンチマーク: Weighted Noise Rate = (FP + βTPt)/(FP + βTPt +TPs), β=2 ノイズがこの水準だt 新脆弱性の完全自律量産はきびしい
23. © 2025 GMO Flatt Security Inc. All Rights Reserved. 嫌な方向に倒れることも curl への AI 製の粗悪な脆弱性報告が過去問題に “We now ban every reporter INSTANTLY who submits reports we deem AI slop. A threshold has been reached. We are ehectively being DDoSed. If we could, we would charge them for this waste of our time.” “AI生成の粗悪なレポートを提出する報告者は、今後すべて即座にBANする。閾値はすでに超えた。こちらは事実上 DDoS攻撃を受けているようなものだ。できることなら、この時間の浪費に料金を請求したい。” Daniel Stenberg, https://www.linkedin.com/feed/update/urn:li:activity:7324820893862363136 日本語は筆者訳
24. © 2025 GMO Flatt Security Inc. All Rights Reserved. 事例: トリアージ千本ノック ‘ 以前の OSS 脆弱性調査では、弊社リサー チャーが無限のトリアージ作業を実施し„ ‘ このような苦しみを経て、Takumi リリース にこぎつけたので、製品は良くなっ„ ‘ しかし、ノイズレートの重要性を体感する 時間だった（繰り返したくはない）
25. © 2025 GMO Flatt Security Inc. All Rights Reserved. GMO Flatt Security Takumi/AI with 弊社内利用でもT トリアージはエキスパートがしっかり実施
26. © 2025 GMO Flatt Security Inc. All Rights Reserved. GMO Flatt Security はそれまで with AI を徹底P 無責任な by AI はしない＆by AI 時代を抜けるためのR&Dにフルベット “With AI” “By AI” から への壁は ノイズレート” にある
27. © 2025 https://att.tech Chapter 3 壁の先の未来 Vibe Hacking 時代を迎えてしまったら ― 思考実験
28. © 2025 GMO Flatt Security Inc. All Rights Reserved. ノイズレートの壁が 脆弱性発見のスケーラビリティを せきとめている
29. © 2025 GMO Flatt Security Inc. All Rights Reserved. ノイズレートの壁 ― なぜ重要？ ほぼ検出コスト ほぼトリアージコスト 脆弱性発見コスト ≒ AIコスト + 人間のコスト
30. © 2025 GMO Flatt Security Inc. All Rights Reserved. ノイズレートの壁 ― なぜ重要？ ほぼ検出コスト 高ノイズレートでは… ほぼトリアージコスト 脆弱性発見コスト ≒ AIコスト + 人間のコスト スケー• させられる スケー• させられない
31. © 2025 GMO Flatt Security Inc. All Rights Reserved. ノイズレートの壁 ― なぜ重要？ 結果として スケーS させられない 脆弱性発見コスト
32. © 2025 GMO Flatt Security Inc. All Rights Reserved. 前置き② ― AIエージェントといっしょに に貢献 世界の安全 CVE-2025-29768 potential data loss with zip.vim and special crafted zip hles in Vim < v9.1.1198 vim/vim CVE-2025-30218 x-middleware-subrequest-id may be leaked to external hosto vercel/next.js CVE-2025-31483 Stored XSS in Mini©ux Media Proxy due to improper Content-Security- Policy conhguration miniµux/v2 CVE-2025-32391 XSS possibility through malicious SVG uploads hedgedoc/hedgedoc 修正中 × 6 ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ ▓▓▓▓ ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ … ここを増やしてないのò 低ノイズ化に向けた改善が必要と判断したから
33. © 2025 GMO Flatt Security Inc. All Rights Reserved. ノイズレートが下がると？ ほぼ検出コスト 低ノイズレートなら… ほぼトリアージコスト スケーp させられる スケーp させられる 結果として …ことになる（怖い！） スケーp させられる 脆弱性発見コスト ≒ AIコスト + 人間のコスト
34. © 2025 GMO Flatt Security Inc. All Rights Reserved. リスク = × インパクト H の増加9 の先の悲観的未来 発生確率 発生確率 ノイズレート低下 このへんでゲームの構造が変わる可能性がある。GMO Flatt Security は、先手を打つべく R&D している
35. © 2025 https://att.tech Chapter 4 未来に備えて GMO Flatt Security の取り組み
36. © 2025 GMO Flatt Security Inc. All Rights Reserved. リスク = 発生確率 × インパクト G 発生確率の増加6 ノイズレート低下の先の悲観的未来 このへんでゲームの構造が変わる可能性がある。GMO Flatt Security は、先手を打つべく R&D している この未来を避けるためには・・・
37. © 2025 GMO Flatt Security Inc. All Rights Reserved. 出来るところからAI 化 オペレーションのスケールを考えていきたい 今までよりも更に、スケールへの意識が強い戦略が必要
38. © 2025 GMO Flatt Security Inc. All Rights Reserved. [宣伝] Takumi は商談無しでいつでも利用開始できます #1 AIで脆弱性診断g 低コストに自動化 ソースコードの連携だけで、すぐに診断可能p ソースコードから依存パッケージの管理までo 7万円で、専門家レベルの診断をAIが実現します。 |1ヶ月のみ利用も可能 |商談不要 |今日から利用可能 月額 7万円 (税抜) 月額 7万円 (税抜)
39. © 2025 GMO Flatt Security Inc. All Rights Reserved. [宣伝] Takumi は商談無しでいつでも利用開始できます #2 1. GitHubと連携 ソースコードの読み取ります 2. チャットで診断を指示 Slackでも利用可能 / 定期実行可能 3. AIが調査・レポート レポートの形式や修正は指示可能 GitHub App経由でソースコードを連携するだけで使用可能。Takumiは連携した情報をもとに診断を開始します。
40. © 2025 GMO Flatt Security Inc. All Rights Reserved. [宣伝] Takumi は商談無しでいつでも利用開始できます #3 著名オープンソース製品に0-day 脆弱性を発見する実力 CVE-2025-29768 zip.vimにおける、巧妙に細工 された ZIP ファイルによる潜 在的なデータ損失の可能性 vim/vim CVE-2025-30218 x-middleware-subrequest-id が外部ホストに漏洩す— 可能性 vercel/next.js 10日間の実証実験で、Vim、Next.jsを始Ê 著名OSSを対象に10件の0-day脆弱性を発見 他社AIよりも少ないノイズé 網羅的な検出が可能 ※2025年6月3日時点 Devin、Claude Code等の他のAI( 比較調査を行い、最も高い評価を記A ※ベンチマークレポートはこちらから 従来の脆弱性診断サービスや他のAIと比較して高い脆弱性診断の性能を保持しています。
41. © 2025 GMO Flatt Security Inc. All Rights Reserved. [宣伝] Takumi は商談無しでいつでも利用開始できます #4 公式サイト・デモ デモの閲覧や詳細情報はこちらかf https://…att.tech/takumi アカウント作成 下記リンクからすぐに利用可能でm https://cloud.shisho.dev/hello/takumi お問い合わせ 導入の際のご質問はこちらか• https://Ÿatt.tech/contact
42. © 2025 GMO Flatt Security Inc. All Rights Reserved. “攻撃者より先” にその世界に到達し、 安心をお届けする組織でなくてはならない ミッション「エンジニアの背中を預かる」を体現するためにも
43. © 2025 GMO Flatt Security Inc. All Rights Reserved. Our Action #1 ― 攻撃者より先に見つける・治す ＊選考漏れの場合にも、可能な限り何かしらのご支援したいと考えています！ OSS 開発者に Takumi を無料提供するプログラム開始n 数十秒でできるので、ぜひ応募ください。予算は有限なため、選考 は設けさせていただいています *
44. © 2025 GMO Flatt Security Inc. All Rights Reserved. Our Action #2 ― 攻撃者より先にノイズを潰す Graybox 手法を用いた 発見のノイズ低減 ª 静的なコード検査での発見や学びを、実際のアプリケ 環境を使った検証につなげ、多面的に評Œ ª Takumi の Blackbox エンジン（未公開）は、 PortSwigger Web Security Academy で、既に 269 問 中 202 問（75%）を解いている（海外トップ競合 XBOW と同水準！e ª 手応えを感じつつおり、近日成果公表予定
45. © 2025 GMO Flatt Security Inc. All Rights Reserved. 他にも様々仕込みました。8月〜出します！ @Ratt_security
46. エンジニアの背中を預かる より多くのエンジニアがものづくりに集中できる社会を、セキュリティ面からつくる会社