Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
セキュリティ診断AIエージェント Takumi がもたらす変化 - 著名OSS 向け0-day...
Search
GMO Flatt Security
July 01, 2025
0
36
セキュリティ診断AIエージェント Takumi がもたらす変化 - 著名OSS 向け0-dayリサーチを例に
AI Engineering Summit(
https://ai-engineering-summit.findy-tools.io/
) にて、CTO米内が登壇した際のスライド資料です。
GMO Flatt Security
July 01, 2025
Tweet
Share
More Decks by GMO Flatt Security
See All by GMO Flatt Security
診断AIエージェントによるセキュリティの未来 – 著名OSS向け0-dayリサーチを例に
flatt_security
2
890
セキュリティ診断AIエージェント「Takumi」の雇用によって実現する開発生産性の向上
flatt_security
0
6
AIエージェントの「作業場」としてのサンドボックス技術
flatt_security
1
14
「攻め」と「守り」で理解する PHP アプリケーション
flatt_security
1
270
セキュリティ視点からみる生成AIアプリケーションとMCP ~ 脅威とリスク、認可・権限 ~
flatt_security
5
3k
脅威をモデリングしてMCPのセキュリティ対策を考えよう
flatt_security
6
2.5k
利用者目線で考える、MCPを安全に使うために
flatt_security
6
2.2k
アプリケーション固有の「ロジックの脆弱性」を防ぐ開発者のためのセキュリティ観点
flatt_security
43
21k
開発組織のための セキュアコーディング研修の始め方
flatt_security
5
4k
Featured
See All Featured
Visualization
eitanlees
146
16k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
We Have a Design System, Now What?
morganepeng
53
7.7k
Music & Morning Musume
bryan
46
6.7k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
A better future with KSS
kneath
238
17k
Building Applications with DynamoDB
mza
95
6.5k
Rails Girls Zürich Keynote
gr2m
95
14k
How STYLIGHT went responsive
nonsquared
100
5.6k
Docker and Python
trallard
45
3.5k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Transcript
ÉÆÄÄÅÈÃÇÇÂÄÄÁÄÀÆ "#%'$!($ ($!%&( @GQTRIHV"#BAX597 CW264310)USPD8 virehtgsfdTbAqcaY
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 75643102) HECFBA@DG@98 t¯r¨«£y°z¬wy}¤t¯tr¨¤¤®¢ ¤f|§{©¤ovs¡§rqpmlj ivs ~hgr|§{©ey dxn¦rr ¢~hgr|§{© dyzz}ªywwy}
zutvtksrqp{pih ug¤fdªba`|§{©Ydªtp§XrqpW VUscTS¥xvsRt¯tr¨¢aqQPrIei
Our Mission エンジニアの背中を預かる より多くのエンジニアがものづくりに集中できる社会を、セキュリティ面からつくる会社
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ U8ATDQE49RVHG IFCBB@S76C532P01) YXW
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 2DC7@68A54310B B)9 IHGFE `WUTSYSQTSVXRP w vsxvvswuusi rsq ph ysvxs uf vsfgvdxsq seus sc yss hbptpttba
`WUTSYSQTYSP sny xxivgnukjghkun xsyvfsjs vexswssgvsrwul ~}| { `WUTSYSQTP ªwgxs¤ªªs s kssx vs¡gwsfs xksws ygwgswnªfkg fn ¡w ffsfwe kgv w ~°®}² `WUTSYSQTSV ¤ªªswuu j fsrgwk rsyv f wkus ªc·skwvxu ÏÎÍÎÌÏÎÍÎÌ ÕÑÔÒÐÒR ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖÖ ×
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 2DC7@68A54310B B)9 PIGEHF xvXwtrsqVUbphugesfdi`YcWYaSTYRQ y 7@
y 7A rj|wx{uyvtnxwmls k|wgnmiz}hqed~hpfo
© 2025 GMO Flatt Security Inc. All Rights Reserved. TBD
© 2025 GMO Flatt Security Inc. All Rights Reserved. 本セッションの流れ
tR 実録: 「脆弱性を探す」の変T VR オフェンシブ領域での AI 転c CR 全部賭けるために
ÉÆÄÄÅÈÃÇÇÂÄÄÁÄÀÆ $#! " 9054321)68('&%
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 4B8635721A 084B8635721@) 89 IGFHEIDC cbxswvupitr8qgf118d7YX2W1BUVTT8SRQP`
© 2025 GMO Flatt Security Inc. All Rights Reserved. 昔話
― 2025年2月27日 自社SaaSのI/Fとしての Chatbot 開発をしていた 作るものを考えるために人間がロールプレイングしている様子
© 2025 GMO Flatt Security Inc. All Rights Reserved. 昔話
― 2025年2月27日 (Sonnet 3.7 リリース2日後) 複数のモデルを並べて実証実験 ± 気分で社内の新卒向け登竜門をAIにや らせてみること ± 当時は事前にコードを index しておく か、one shot で context window 内に 詰め込む芸の何れかは必要と睨んでい® ± が、Sonnet 3.7 が著しく良かった。同 日リリースの Claude Code のツール構 成も、解析すると著しくシンプルであ ることがわかった 暴走の様子(怖い)
© 2025 GMO Flatt Security Inc. All Rights Reserved. Sonnet
3.7 ごろは明確な転換点 強力な “モデル + プリミティブなツール” の到来 ① RAG を採用する多くのシステム ② Claude Code (25/2 リリース) ツールがあるだけ(Bash, Edit, View, GlobTool, GrepTool) ベクトル検索に帰着して、”似た” ものを探索 大規模コードベースを予め Index しておかずとも、コードに対する問いに、Tool use の連続で答えられるようになった Embed うまく Embed うまく (0.1, 0.3, 0.4, ...) (0.3, 0.1, 0.8, ...) このベクトル 空間で検索 対象コードベース 検索クエリ “ファイル走査時に…”
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 7652413 0) EQPSIRHFCB GEDA@98 WaYXVUT`
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 31)20 B@A9768745 ·s §¯ w«q«¤¨±¦¥®v«i } |dx¬iv´£r o~imul{ ¢h¡yg³¸³tf «e¨v«µ} ««©s¥s«
««xvwiu«t«¨r« °q o ²phpvgr fedcb¶zµ«a«t« ¨r« `³ g£XvnW VUª kTSªRQªPIªHGFYªPIªEyDjGªQC ÂżÁ¼Ã½¾ Å1ÄÀº¼¿¿¿¹
© 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化
#1 とりあえず初動は Takumi に投げるように
© 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化
#2 読む、探す → とても楽になった f 初めて見るコードベースに対して、怪しいものを探す、あちこち見て回る、は著しく素早くできv f 色々チューンした結果、Takumi は他製品比でも人間的なイシューを見つけてくるように 弊社ベンチマーク: Recall = TP/(TP + FN)
© 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化
#2 ― ベンチデータセットの一部 本来あるセキュリティチェックを削除 割とこういうのも拾える
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 10) 65432 @987 @987 B) FE3C yeWupqtxhrigaqp`Yf XupTa`VsvUdRQPIwUcSbsvHG
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 310)2 VQFIEUDCSA@HR8765PU5TTBU5P7G594 cb`XaWY
© 2025 GMO Flatt Security Inc. All Rights Reserved. 「脆弱性を探す人」に起こった変化
#3 検証する → とてもつらくなった u False positive や、Trivial な True positive(それリスクにつながる?というようなもの)はまだまだ出d u Takumi は Cline 差 22.9% ほどまでこぎ着けたが、それでも 61.4% ほどノイズ。精査は要る水準 弊社ベンチマーク: Weighted Noise Rate = (FP + βTPt)/(FP + βTPt +TPs), β=2
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 9657310428) cbaVQTXQSPQIXWHGFD`YCBE@RUA rwyvryts pig iv fevs sfs sedgfgxxweqpfupfssiqsg qpgieh vt£¥| u¡vyvr§{wvrz§} xxwp¢xso£¦tn§wml£}utkhtgjv fieds§h xgfwus ¸¼¼efg´gei¼q¼p¼p¸fg¸gg¸Ç¬«Ëª«³ª©¬ªÆ«¬Æ¬¹¬Æ
ÕÓÒÔÐ
with by Takumi (AI)
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ GFI@HACDD@87B659DE@ @3C264910) SRQP ixtpywufr Ycbgavgqd`XWVeUsTh ¼ ªºhq¡¸´®¯±ty¨z°~sªº¥~ ªº¡´®¯±tÄh£yÃz¢¥¶§¹Âk
£¦£¬µ¢µÁ zy·¬h ¼ ©}|¬§¶§½ÀÄ{Áh£y xh«wur¡pv z¢¥³lji¾¾fehodÄm¡» ¼ ²§Än¤·» §²§Ä¿£ ¢g· »q£ ¡¬¢xÄ »¸¡ ÕÔÓÐÒÏÌÑ ËÎÊÉÇÍÆÅÈ
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 4B8635721A 084B8635721@) 89 IGFHEIDC cbxswvupitr8qgf118d7YX2W1BUVTT8SRQP`
ÉÆÄÄÅÈÃÇÇÂÄÄÁÄÀÆ $#! " 3506)1('28470&%
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ B7FDC9@86534A2E1)0 adbYVXTeWUScRQPIHG`Se wfz~o{xsrp|utwnmligeodh j vixvutsrqwpiyyqhig~fk} ºÅ´°È¸¼È«¸§´µ¼±°°´ÈÆÀ³Æ¼È´¸À«Àȱ¼À³¸°±±Àư³«°¼Èµ¼È³¼ÈµµÀµ¸È³¹ ¬Â¬·¨½Ä£¶¬Ç»¨
Ä·¶½Ç¬»¬Á½¨¥¨½ÁÇ¿¬½Á·¿¿¬½ÄìÁ¶½É¶¤½¶Â¥½¶½®¥¨¢¦½Ç¬½¬ÁĪ¬Ã½£ª½¶¶ ·½ÄǨ¥½ÄǬ·½Ç· ·½·Ã½®¥ ·¬¶¬½ ¨¨¬·¬¶½¿ÇĶ©½¥¬ª½¶¬½¾½¡Äǽ½»Ç ¬¨ª½Ä¡½Á  Ķ½Â¨ » ¨ ¬¶½ ·ÂÁà ·¿½¶ÂÇ ¨ ·¿½·Ã½¥ ¶¥ ·¿½¶¶ ¶¨·Â¬½»Á·¬Ç£ Á ¨ª½Ç¬¶¬ÇÂ¥½·Ã½¨Ç¿¬¨½ ǬÂÄ·· ¶¶·Â¬©½¥¬½Ç ·Â Á½Ã·¿¬Ç½Á ¬¶½·Ä¨½ ·½¬·¨ ǬÁª½·¬¯½Ç ¶¶½£¨½Ç¨¥¬Ç½ ·½¾¶½Â ¨ª½¨Ä½¬·¥·Â¬½¬ ¶¨ ·¿½¨¬Â¥· ¬¶½ÁÁį ·¿½¡Äǽ¨¥¬½¶¶ »¬½ à ¶¨Ç £¨ Ä·½Ä¡½¡¬½¨Ç¿¬¨¬Ã½·ÇǨ »¬¶½ ·ÂÁà ·¿½¶Ä Á½¬Ã ½Ä¶¨¶½Ç¨ ÂÁ¬¶½¬¬¶½·Ã½¥Ä¨Ä¶©½¬½¥»¬½ÁǬ꽯 ¨·¬¶¶¬Ã½ ¨¶½Â£ Á ¨ ¬¶½¯ ¨¥½ ÃĨÄǬýǬÂÄÇà ·¿¶½Ä¡½½Â·Ã 謽ÁÁ¬¿ ·¿½¬Á¬Â¨ Ä·½Ç ¿¿ ·¿½Äǽ¬·ÃÄǶ ·¿²½·Ä¨¥¬Ç½Ç¬¶ ì·¨ Á½Â·Ã 謩 ÔßÜÛÝÕÚØÖÓßÕØÚÑÕÜÐÝ×ÕÒßÚÞÍÞÌÚËÏÊÙÎ à à
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ EDC8AB965473 210)@ deaScYXaVUT`RWQbPIH6FX`T
© 2025 GMO Flatt Security Inc. All Rights Reserved. 国際的な
AI-Driven Pentesting の波(学術寄り文脈) 当然攻撃全体の自動化可能性も検討されている 特に2023年以降、順当にリサーチが進められている印 CTF、Metasploitable, Hack The Box のような学習/試験環境でのベンチマークがよく見られる 3 PentestGPT (Deng et al., 2023/08): パイオニア、Pentesting Task Tree(PTT)の導u 3 AutoAttacker (Xu et al., 2024/03): 経験情報のRAG。Post-breach へのアプローs 3 PenHeal (Huang & Zhu, 2024/07): 自動修正の提案を含D 3 BreachSeek (Alshehri et al., 2024/08): 既存のアーキ差分は薄いが、Reporting までE2Eで頑張る 3 VulnBot (Kong et al., 2025/01): やや Layering + PTG の導u 3 RapidPen (Nakatani, 2025/02): ReAct+RAG
© 2025 GMO Flatt Security Inc. All Rights Reserved. 国際的な
AI-Driven Pentesting の波(産業寄り文脈) XBOW Hacktron Stealthnet 海外スタートアップも徐々に登場してきた こぞって脆弱性発見 / Bug Hunting Platform での実績を競い合うように
© 2025 GMO Flatt Security Inc. All Rights Reserved. HackerOne
では AI が一部で一位(XBOW) 世界有数のバグハンティングプラットフォームHackerOng Vulnerability Disclosure Program(VDP)カテゴリでは XBOW が人を抜いて一位を記録していi 単なる報告窓口にとどまらず、報奨金も伴う Bug Bounty Program(Bug Bounty Program)カテゴリに比べれば競 争は穏やかだが、それでもすごい 総量も結構見つけている 毎月見つけている
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 9@D8A8 8E8465D7 3 12C0B) IFHG IFHG qafgd8WY81Vh)pBdTSRaX12Q)3P
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ P48PQ1HSGFIVCBACE6R529730DU)@T ghrfif fsfbdcre a Y`qXpW wtvu wtvu {t{w~s |ponkj
xuqhzdrzmhy l gih f veyix} fgaaY ÓfÒ¹ÍbÄËdY¤¯fÈ³ÇÆÁ¿Àfµ Ã¥¾·¼·¼«º¦«¶´²±Ê°» §®Å´¸¶¬£©¨¡ ¨§ °¢½Éѧд¾ fáÞÜâÙØYÖÕßÔ ③f脆弱性発見Yhケル可能µ º¦«¶´²±Ê°脆弱性Ñ見が¢検証 で«E2E«で可能£なÊば¢利用でき 穴¾増え§で¾ fNoÁsÀfRÇtÀfYキモÖÕßÔ
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ P48PQ1HSGFIVCBACE6R529730DU)@T ghrfif fsfbdcre a Y`qXpW wtvu wtvu {t{w~s |ponkj
xuqhzdrzmhy l gih f veyix} fgaaY ÓfÒ¹ÍbÄËdY¤¯fÈ³ÇÆÁ¿Àfµ Ã¥¾·¼·¼«º¦«¶´²±Ê°» §®Å´¸¶¬£©¨¡ ¨§ °¢½Éѧд¾ fáÞÜâÙØYÖÕßÔ ③f脆弱性発見Yhケル可能µ º¦«¶´²±Ê°脆弱性Ñ見が¢検証 で«E2E«で可能£なÊば¢利用でき 穴¾増え§で¾ fNoÁsÀfRÇtÀfYキモÖÕßÔ
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ VH`FRTISWXTGEDS9CTBa@YA865UQ43P2170) wxtuvrqyipyhfwhsdpgcfrbhcthfegd
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ 8UTG4P3HIPDCFBSCR@E9571620Q)A qxxrhuwwipfescdxxsxb`qwbgxtWwv`rVhb`YtaxWVXthx
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ P48PQ1HSGFIVCBACE6R529730DU)@T ghrfif fsfbdcre a Y`qXpW wtvu wtvu {t{w~s |ponkj
xuqhzdrzmhy l gih f veyix} fgaaY ÓfÒ¹ÍbÄËdY¤¯fÈ³ÇÆÁ¿Àfµ Ã¥¾·¼·¼«º¦«¶´²±Ê°» §®Å´¸¶¬£©¨¡ ¨§ °¢½Éѧд¾ fáÞÜâÙØYÖÕßÔ ③f脆弱性発見Yhケル可能µ º¦«¶´²±Ê°脆弱性Ñ見が¢検証 で«E2E«で可能£なÊば¢利用でき 穴¾増え§で¾ fNoÁsÀfRÇtÀfYキモÖÕßÔ
© 2025 GMO Flatt Security Inc. All Rights Reserved. Noise
Rate の高さ 「AI で万物壊す」「AIで万物安全にする」の双方が今ぶつかっている最大障壁
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ HXTaRVUI9WGCFS6ECDW7YFBCWQ@ECW8WAP4W3W214E05AP4W3W214EW314B0)W28` ysv xq wupitfrehgdcb
© 2025 GMO Flatt Security Inc. All Rights Reserved. “Vibe
Bug Hunting” が始まる 逆に、Noise Rate が下がると?
© 2025 GMO Flatt Security Inc. All Rights Reserved. Noise
Rate が下がると? “Vibe Bug Hunting” が始まる k ¸ÍÌuhÌd°w˳5°À¼À¹wËqÉ¿º¶´Ì¢±À¹Àd˧ˢ±Æw˳5°À¼À¹wËqº¦¤bb£´É¿º¶¾V k ή£¦hb¸Í̬¥tx( k ³ËË¢±À¹Àd˧ˢ³Ëȧi¢±À¹ÀdË{§iË¢³ËzÄxÇÈËr5À°wËld¼w{j{ pi§iywÇvshrÇqgÃhe§p k ca¦`$XW¬UÌo7SRnÌfnt7@TnqQPHG¶¥FE¤CB k A8¬"3UÌofÌhId1)'ub¥¾0&¡G bbq# D²µ k 0%(Ì@2nÌ«tÌÅ«@tÌ¥ ©( k s6Á¯vÊme½vÊ4Ê~»9Êy·Yi!¨iÉÆÅf}e½½Ê|ĪÃiÂÁÀgi
ÉÆÄÄÅÈÃÇÇÂÄÄÁÄÀÆ $#! " 210)('&%
© 2025 GMO Flatt Security Inc. All Rights Reserved. 本日登場したキーワード
① 実録: 「脆弱性を探す」の変 f 探す人の「読む」が徐々に自動 f 徐々に足がかりはAI、深い所や精 細な検証業は人間、のスタイルp f with AI は探す人にとっても必要な 生き方となった ② AIのオフェンシブ領域への転 f AI 実戦投入は着々と進© f 0-Day を見つけるAIは種々登 f 変化するのは Likelihoo¶ f サプライチェーンが Fragile にt f 検出ノイズの低減が転換点?
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ Q6F3RG3 BH@8I75EP@S9A3432D0C)1 T weestbhhpuqixfgeexedawhdreyXhvasWtda`yceXWYyteVU
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ Q6F3RG3 BH@8I75EP@S9A3432D0C)1 T vddrsaggitphwefddwdc`vgcqdxYgrxpurdXbqWc`dbpqVU
('"'(#!(&È%%( É%(ÆÇ(Å(ÄÃ$%Â(ÄÂÁÀÇ E@IFCH8A76458AA329F0)BG1D `aeYbY YfYUWVeX T RSdQcP pgih pgih tmtp|wl~uihgd{
q nj}skysfrx exwxuv otsrzvyqv Y ` TTR ÌY˲ÆU½Ä WR¨YÁ¬À¿º¸¹Y® ¼·°µ°µ¤³¤¦¯«ªÃ©´ §¾±¯¥¢¡¡ ©¶ÂÊ É· YÚ×ÕÛÒÑRÏÎØÍ RY)IÅ1BRaÄ 0"E® ³¤¦¯«ªÃ©$ #Ê@ ¤¤5ÆÃFÇ&7 ÷ÁD · Yhfºb¹YXÀ`¹YRWUÏÎØÍ Ax 0)BG1DFtF s0rqpp
Our Mission エンジニアの背中を預かる より多くのエンジニアがものづくりに集中できる社会を、セキュリティ面からつくる会社