ソフトウェアセキュリティはAIの登場でどう変わるか - OWASP LLM Top 10

2024.11.11 明日の開発カンファレンス2024につき改訂(TLF SOSS講演も反映)
2024.2.17 微修正
2024.2.15 デブサミ2024きっかけでリバイス (OWASP LLM 1.1/祝AISI設立)
2023.10.24 追記・セクション明確化
2023.8.30 Q&A追加などupdate
2023.8.27 増補版
2023.8.26 初版：塩尻サイバーセキュリティ勉強会 2023 夏

( 更新は、特別カスタマイズ版を除きスライドを上書き更新していきます）

岡田良太郎 オカダリョウタロウ

OWASP Japan Lead
アスタリスク・リサーチ Executive / Researcher
ビジネス・ブレークスルー(BBT)大学講師
神戸デジタル・ラボ CSA

The English version is available. Ask me. :
How Software Security Will Change with the Rise of AI - OWASP Top 10 for LLM

Transcript

1. ソフトウェアセキュリティはAIの登場でどう変わるか – OWASP LLM TOP 10 岡⽥ 良太郎 代表・エグゼクティブリサーチャ CISA, MBA riotaro@rsrch.jp © Asterisk Research, Inc. 1
2. 岡⽥ 良太郎 Riotaro OKADA ⽇本のセキュリティリサーチャ。 (株)アスタリスク・リサーチ代表取締役。 • OWASP Project committer / Japan chapter lead (Distinguished Lifetime member Award 2024) • Hardening Project (Good Design Award 2023) • BBT⼤学⾮常勤講師 (サイバーセキュリティ) • サイバートレーニングCYDER 実⾏委員 • 2021年1⽉に出版された「CISOハンドブック」の執筆メン バー
3. OWASP.org / OWASP Japan chapter (オワスプジャパン) Open Worldwide Application Security Project • https://github.com/owasp-ja • OWASPトップ10 for LLM日本語 • OWASPトップ10 2021日本語 • OWASP Proactive Controls 2018日本語 • OWASP ASVS 4.0 日本語 • Mobile ASVS日本語 • 開発者のためのOWASPチートシート一覧表 Github: owasp-ja
4. γεςϜϦεΫͷڭՊॻ
   08"41
   5PQ
   
   3JTL • "
   ΞΫηε੍ޚͷෆඋ • "
   ҉߸Խͷࣦഊ • "
   ΠϯδΣΫγϣϯ • "
   ҆શ͕֬ೝ͞Εͳ͍ෆ҆ͳઃܭ • "
   ηΩϡϦςΟͷઃఆϛε • "
   ੬ऑͰݹ͘ͳͬͨίϯϙʔωϯτ • "
   ࣝผͱೝূͷࣦഊ • "
   ιϑτ΢ΣΞͱσʔλͷ੔߹ੑͷෆ۩߹ • "
   ηΩϡϦςΟϩάͱϞχλϦϯάͷࣦഊ • "
   αʔόʔαΠυϦΫΤετϑΥʔδΣϦ 443' (c) Riotaro OKADA 4 https://owasp.org/Top10/ja/
5. Hardening Project
6. ユーチューバーになってしもた(？) youtube.com/@asteriskresearch
7. γεςϜͷ҆શੑϨϕϧ  G ڴҖϨϕϧ
   ରԠྗϨϕϧ 
   γεςϜͷ֎෦͔ΒͷڴҖ • Πϯλʔωοτͷશମతͳ࣏҆ • γεςϜϦιʔεΛૂ͏ڴҖ • Ϣʔβͷޡಈ࡞ɺޡ༻ɺѱ༻ • γεςϜݻ༗ͷࢿ࢈Λૂ͏ڴҖ 
   γεςϜଆͷରԠྗ • ΞʔΩςΫνϟબ୒ • ίϯϙʔωϯτɿαϓϥΠνΣΠϯ • ڞ௨ػೳʢೝূɺσʔλͷѻ͍ʣ • ࣮૷ίʔυ • ϓϥοτϑΥʔϜͷӨڹ • ๷ޚϨϕϧͷબ୒ͱઃఆ • ద੾ͳςετͷ഑උͱ࣮ફ • $*ΠϯςάϨʔγϣϯͷௐ੔ • ઃఆͱγʔΫϨοτ © Asterisk Research, Inc. 7
8. ソフトウェアのセキュリティ、⼿になじみますか？ Checkmarx One SAST/SCA/IaC SBOM
9. ENISA Threat Landscape 2024 • 可⽤性への脅威（DDoS）とランサムウェアが 引き続き最も⼤きな脅威。 • クラウド環境を利⽤したステルス攻撃（LOTS ⼿法）で、正規サイトを⽤いたC2通信が活a発 化。 • 地政学的要因が引き続きサイバー攻撃の⼤きな 動機。 • 防御回避技術の進化︓サイバー犯罪者がLOT （Living Off The Land）⼿法を駆使し、環境に 溶け込む。 • ビジネスメール詐欺（BEC）の急増。 • 報告期限を利⽤した恐喝が新たな⼿⼝に。 • ランサムウェア攻撃は⾼い⽔準で安定。 • AIを活⽤した詐欺・サイバー犯罪︓FraudGPT やLLMで詐欺メールや悪意のあるスクリプト⽣ 成。 • 脆弱性の19,754件が報告され、そのうち9.3％ が「クリティカル」、21.8％が「⾼」 • 情報窃盗ツールが攻撃チェーンの重要要素に。 • ハクティビストと国家関与の類似。 • データリークサイトの信頼性が低下、重複や誤 報が増加。 • モバイルバンキングトロイの⽊⾺の急増と攻撃 ⼿法の複雑化。 • MaaS（Malware-as-a-Service）が急速に進化。 • サプライチェーン攻撃の社会⼯学的⼿法︓ OSSのXZ Utilsにバックドアが埋め込まれた事 例。 • データ流出が増加傾向。 • DDoS-for-Hireサービスにより、未熟な攻撃者 でも⼤規模攻撃が可能。 • ロシアの情報操作がウクライナ侵攻において依 然として重要。 • AIを利⽤した情報操作の可能性が浮上。
10. ੬ऑੑରԠ͸෯޿͍૚ʹΘͨΔ 脆弱性発⽣箇所 どんな状態か 対応⼿段の提供者 対応・復旧 シフトレフト デスクトップやスマートフォン デバイスのOSに問題があり、保護 が⼿薄、あるいは脆弱な状態に なっている プラットフォーマ (Apple, Googleなど) アップデート適⽤、 設定調整 ガイドの更新 ⾃動アップデート活⽤、 更新情報プロセス強化 アプリケーションソフトウェア バグや、踏み台などの脆弱性 開発会社、販売会社 アップデート適⽤、設定 調整、 アプリの選定と廃棄 ネットワーク機器、デバイス 装置のファームウェアが古いある いは悪⽤されやすい設定になって いるため脆弱な状態 メーカー アップデート適⽤ ネットワーク機器や 構成の⾒直し システム：オープンソースや サードパーティAPIなど システムで利⽤しているOSで使わ れているOSSのソースコードに問 題が発⾒され脆弱性があるという ことが広く知られる OSSプロジェクト、 LinuxやMicrosoftなど OSベンダー 動作検証と アップデート適⽤ ソフトウェア構成分析 SCAの導⼊、SBOM システム：プログラムコード ⾃社あるいはSIerが開発したコー ドに問題があり、脆弱になってい る コードを書いた⼈ないし、 開発プロジェクトチーム プログラムの修正 ノウハウの⾒直し SAST、ハンズオン ⽣産技術的強化 システム：クラウドサービス、 アプリケーションの設定 コンフィギュレーションの問題で、 データが侵害されやすい状態など で脆弱になっている クラウドベンダーあるいは その先進的なユーザ 設定の修正 脆弱性検査の統合か モニタリングの強化 ユーザ、オペレータ 利⽤が許可されている機能あるい はデータの取り扱いを誤⽤してし まう ユーザ⾃⾝、ならびにその 組織 応急対応と原因究明 ⾮常事態の対応訓練 業務データ取り扱い訓練 ユーザビリティ向上 November 11, 2024
11. ࣄલରࡦ
    1SPBDUJWF
    $POUSPMT
    W
     IUUQTUPQQSPBDUJWFPXBTQPSHBSDIJWF • C1: ΞΫηε੍ޚͷ࣮ࢪ • C2: ҉߸ԽʹΑΔσʔλͷอޢ • C3: ͢΂ͯͷೖྗͷݕূͱྫ֎ॲཧ • C4: ηΩϡϦςΟΛॳظஈ֊͔Βߟྀ • C5: σϑΥϧτઃఆͷηΩϡϦςΟ֬อ • C6: ίϯϙʔωϯτͷηΩϡϦςΟ֬อ • C7: σδλϧIDͷηΩϡϦςΟ֬อ • C8: ϒϥ΢βͷηΩϡϦςΟػೳͷ׆༻ • C9: ηΩϡϦςΟϩάͷه࿥ͱ؂ࢹͷ࣮ࢪ • C10: αʔόʔαΠυϦΫΤετϑΥʔδΣϦʔͷ๷ࢭ (c) Riotaro OKADA 11
12. ڞ௨ػೳͷݕূϙΠϯτΛܾΊΔ 08"41
    "474
     IUUQTHJUIVCDPNPXBTQKBBTWTKB • 7
    ηΩϡϦςΟܾఆυΩϡϝϯτ • 7
    ೝূ • 7
    ηογϣϯ؅ཧ • 7
    ΞΫηε੍ޚ • 7
    όϦσʔγϣϯɺαχλΠθʔγϣϯɺΤϯίʔ σΟϯά • 7
    อଘ࣌ͷ҉߸Խ • 7
    ηΩϡϦςΟϩάه࿥ͱΤϥʔॲཧ • 7
    σʔλอޢ • 7
    ௨৴ • 7
    ηΩϡΞίʔσΟϯάΞʔΩςΫνϟͱ࣮૷ • 7
    ϏδωεϩδοΫ • 7
    ϑΝΠϧͱϦιʔε • 7
    "1*
    ͱ 8FC
    αʔϏε • 7
    ߏ੒ • 7
    8FC
    ϑϩϯτΤϯυηΩϡϦςΟ • 7
    0"VUI
    ͱ 0*%$ • 7
    8FC35$ (c) Riotaro OKADA 12
13. "*࣌୅ͷ౸དྷ r
    ৽͍͠νϟϨϯδ "*Τϯδϯɺͦͯ͠"*ΤϯδϯΛ૊ΈࠐΉΞϓϦ November 11, 2024
14. γϏΞͳۀքͰ׆༻͕ਐΜͰ͍Δ "*͕ݱ࣮ੈքΛมֵɿ αϓϥΠνΣʔϯͷ࠷దԽɺҩྍ਍அͷޮ཰ਫ਼౓ ͷ޲্ɺ࠮ٗ΍ෆਖ਼ߦҝͷ࡟ݮɺୈҰ࣍࢈ۀ෼ ໺ɿྫɿআ૲ࡎͷ࠷খԽͳͲͷ෼໺ 「AIがこれらの産業を変⾰しているなら、 ソフトウェア開発のセキュリティにAIを適⽤できないものか」 https://www.delveinsight.com/blog/top-applications-of-artificial-intelligence-in-healthcare
15. 044ηΩϡϦςΟͷ՝୊ • ηΩϡϦςΟॏࢹͷܽ೗ɿ ଟ͘ͷOSSϓϩδΣΫτͰ͸ɺηΩϡϦςΟΑΓ΋ػೳੑΛ ༏ઌ ʢ70%Ҏ্͕ߴϦεΫ࢒ଘͱͷ؍ଌʣ • ؂ࢹ͞Ε͍ͯͳ͍ґଘؔ܎ ϨϙδτϦ΁ͷ߈ܸʹऑ͘ɺӅΕͨ੬ऑੑΛ಺แ • Ϧιʔεͷෆ଍ ηΩϡϦςΟରԠͷϊ΢ϋ΢ɺ࣮૷վળͷ஌ݟͷෆ଍ OpenSSF 2024: 調査データ 「OSSの開発に携わるエキ スパートの約3分の1が、セ キュアなソフトウェア開発 に不慣れだと感じている」 Prompt:「私の OSS プロジェクトに CVE が掲載されました。 このプロジェクトの開発者としてどのように対応すべきでしょうか」
16. 44%'
    /*45
    41
    ʜࢀߟจݙ͕ա৒ʜ • BSAFSS: SM.3, DE.1, IA.1, IA.2 • BSIMM: CP1.1, CP1.3, SR1.1, SR2.2, SE1.2, SE2.6 • EO14028: 4e(ix) • IEC62443: SM-7, SM-9 • NISTCSF: ID.GV-3 • OWASP ASVS: 1.1.1 • OWASP MASVS: 1.10 • OWASP SAMM: PC1-A, PC1-B, PC2-A • PCISSLC: 2.1, 2.2 • SCFPSSD: Planning the Implementation and Deployment of Secure Development Practices • SP80053: SA-1, SA-8, SA-15, SR-3 • SP800160: 3.1.2, 3.2.1, 3.2.2, 3.3.1, 3.4.2, 3.4.3 • SP800161: SA-1, SA-8, SA-15, SR-3 • SP800181: T0414; K0003, K0039, K0044, K0157, K0168, K0177, K0211, K0260, K0261, K0262, K0524; S0010, S0357, S0368; A0033, A0123, A0151
17. ͪΐͬͱ͓ͨ͠Έ΍͛ 08"41
    0QFO$3& IUUQTPQFODSFPSHDIBUCPU • ֤छηΩϡϦςΟࢪࡦʹ͍ͭͯͷ υΩϡϝϯτΛू໿ͨ͠"*ݕࡧαʔϏε • IUUQTPQFODSFPSHDIBUCPU ʮϞόΠϧΞϓϦͷ͏"QQMF8BUDIͷΑ ͏ͳ΢Σϥϒϧ޲͚ͷΞϓϦͰ૝ఆ͢΂ ͖ڴҖͱ͸ʯ November 11, 2024
18. ιϑτ΢ΣΞηΩϡϦςΟͷ࣮ફ
    r
    08"41
    4"..
     Prompt: 「セキュリティ対策に関する開発者のジレンマとは？」
19. 4"..
    ҆શͳιϑτ΢ΣΞ։ൃʹ͓͚Δτοϓͷୡ੒ঢ়گ 1. Πγϡʔɾܽؕ؅ཧ • ෆ۩߹ɺόά 2. ΠϯγσϯτϚωδϝϯτ • ো֐ɺΠϯγσϯτରԠ͖͔͚ͬͷվળ׆ಈ 3. ؀ڥͷݎ࿚Խ • Քಇɾ҆ఆੑͷ໰୊΁ͷରԠɺϢʔβରԠ
20. 4"..
    ҆શͳιϑτ΢ΣΞ։ൃʹ͓͚ΔτοϓͷࣦഊཁҼ 1. ڴҖ෼ੳ - ղ૾౓͕௿͍ • Կʹର͢Δରࡦ͕ඞཁͳͷ͔͕ΫϦΞʹཧղ͞Ε͓ͯΒͣڞ༗΋͞Ε͍ͯͳ ͍ 2. ΞʔΩςΫνϟͷબ୒ͱઃܭͷܽؕ • ΞʔΩςΫνϟɺৄࡉઃܭɺΤϥʔॲཧɺೝূͳͲͷҰൠతͳηΩϡϦςΟ ػೳཁ݅ʹҰ؏ੑ͕ͳ͍ 3. Ψόφϯεͷܽ೗ʗద੾ͳࢧԉɾಓ۩ɾ৘ใ͕ಘΒΕͳ͍ • ੜ࢈ٕज़໘ͷ໰୊ɺπʔϧͷෆࣗ༝͞ͱภΓɺϛεϚονͳΨΠυϥΠϯ
21. ڴҖͱରԠख๏ʹɺ
    "*ΛઃܭΞυόΠβʔͱͯ͠࢖͏ ։ൃऀͷ૝૾ྗͷΪϟοϓΛิ͏ͷʹ࢖͓͏ • ։ൃऀ͕஌Βͳ͍ɺ͋Δ͍͸༧૝Ͱ͖ͳ͍֎෦͔ΒͷڴҖΛࣄલʹಛఆ͠ɺજࡏతͳ ϦεΫʹର͢ΔཧղΛਂΊΔ • ڴҖʹର͢Δࢹ໺Λ޿͛Δ • AI͸ɺ٬؍తͳ֎෦͔Βͷࢹ఺ͰڴҖΛ໌Β͔ʹ͢Δ • ݶఆతͳൣғ΍ภݟʹΑͬͯݟམͱͯ͠͠·͏໰୊Λ஌Δͯͩͯ • લ౗͠ʹηΩϡϦςΟΛߟྀʹ͍Εͨઃܭɾܭըɾ࣮૷ • ֎෦͔ΒͷڴҖΛܧଓతɾஈ֊తʹ։ൃͷதͰߟྀ͢Δ
22. ڴҖɾϦεΫ෼ੳ
    r ͓஡ͷؒͰڴҖΛߟྀʹೖΕͨݕ౼ͷͻͱ͜· ʮࢲ͸ɺग़൛ۀքͷاۀ޲͚ʹʢϑΝΠϧΞοϓϩʔμʔͷػೳ௥ՃʣΛ։ൃ͠·͢ʯ ʮͦ͜Ͱɺ͜ͷγεςϜʹର͢Δ • ࠷ۙͷαΠόʔ߈ܸͷՄೳੑΛϦετ͍ͯͩ͘͠͞ • જࡏతͳۀքݻ༗ͷίϯϓϥΠΞϯεΛϦετ͍ͯͩ͘͠͞ • ઃܭͱ࣮૷ʹର͢ΔҰൠతͳޮՌతͳରࡦΛϦετ͍ͯͩ͘͠͞ ʮ1ZUIPO ͱ͔ ͰೖྗݕূͷαϯϓϧίʔυΛॻ͍͍ͯͩ͘͞ɻ • ίʔυʹ੬ऑͳՕॴ͕͋Δ͔Ͳ͏͔֬ೝͰ͖·͔͢ʁ • Ͳ͏मਖ਼Ͱ͖·͔͢ • ͏ʔΜɺϑΝΠϧΞοϓϩʔμʔΛγεςϜʹ௥Ճ͢Δͷ͸ఘΊ·ͨ͠ɻ ϦεΫ͕ߴ͗͢·͢ɻ୅ସҊΛݕ౼͍ͯͩ͘͠͞ɻ
23. ίʔυੜ੒ͱςετʹؔͯ͠͸… ·Δͳ͛͸ϦεΩʔɻͦͷ෭ૢॎ࢜͸ɺίϯςΩετແࢹ͔ͩΒɻ େࣄͳ͜ͱΛ஌Βͳ͍ • ϏδωεϩδοΫ • ίϯϓϥΠΞϯεنଇ • ๏తϦεΫ • ΞʔΩςΫνϟ • ڞ௨ػೳͳͲͷίϯςΩετ ੬ऑੑΛਖ਼֬ʹݕ஌Ͱ͖Δ͔ • ਓ͸ߦॻ͚͹ͷόά ͕͋Δ /*45
     • σϑΥϧτͰ࠷େʙఔ౓ ͔͠ൃݟͰ͖ͳ͍ • ൃݟ͢Δ໰୊΍ਂ͞ʹภΓ͕͋Δ ͦΕͰ΋ɺηΩϡΞίʔσΟϯάͷجૅΛֶͿ ʹ͸༗ӹͰ͢ɻ
24. ๏తϦεΫ • ๏຿͓Αͼ஌తࡒ࢈ʹؔ͢Δݒ೦ࣄ߲͸ɺίύΠϩο τͱ--.ʹ࢒Δ • "*͕ੜ੒ͨ͠ίʔυ͕ϓϩϓϥΠΤλϦͳίʔυͷΑ͏ʹ ݟ͑Δ৔߹͸Ͳ͏ͳΔͷͰ͠ΐ͏͔ʁ • ࣗ෼ͷίʔυʢ΄ͱΜͲ͕"*ʹΑͬͯੜ੒͞Εͨ৔߹ʣ͕ ݪҼͰૌ͑ΒΕͨ৔߹͸Ͳ͏ͳΔͷͰ͠ΐ͏͔ʁ • ώϯτΛಘͨΓֶΜͩΓ͢ΔͨΊʹ$PQJMPUΛ࢖༻͢ Δͷ͸ྑ͍͔΋͠Εͳ͍ɻ ίʔσΟϯάͷΞ΢τιʔγϯάઌͱͯ͠͸·ͩ·ͩ஍ ཕ͕ଟ͍
25. Aspect Requirements Definition Design (Architecture Design) Coding Testing Deployment Operations (Monitoring) Maintenance AI's Role • Supporting requirements analysis; • Assisting with threat modeling • Proposing security best practices; • Identifying architecture vulnerabilities • Code generation assistant; • Providing security advice (detecting vulnerabilities) • Generating test cases; • Assisting with security testing • Optimizing automation; • Proposing security deployment guidelines • Threat detection and log analysis; • Supporting incident response • Supporting vulnerability management; • Optimizing patch application Examples • Proposing requirements aligned with project goals; • AI-driven threat modeling tools (predicting potential attack vectors) • Recommendations based on security design; • Discovering potential vulnerabilities during design phase • Copilot suggesting code; • Early detection of vulnerabilities such as input sanitization • Generating unit and automated test cases; • Automatic scans for security holes (e.g., preventing SQL injections or XSS attacks) • Optimizing CI/CD pipelines (automating deployment processes); • Checking configurations for safe deployment • Real-time threat detection via security monitoring tools; • AI-analyzed log data and alerts (e.g., detecting unauthorized access) • Automatically gathering new vulnerability information and proposing patches; • Supporting automated update processes Considerations • AI doesn't fully understand the business or regulatory environment, so developers must make final decisions • AI learns from existing code and designs, so there's a risk of unintentionally generating copyrighted code • The source of AI- generated code is often unclear, increasing the risk of using copyright- protected code unintentionally • Even test code may raise copyright concerns, so AI- generated content must be reviewed thoroughly • While deployment itself carries minimal copyright risks, AI- generated configurations should be audited • AI-generated reports and logs may be subject to legal audits, so ensuring their reliability and transparency is essential • AI-generated patches might involve proprietary technologies, increasing the risk of introducing legal issues Prompt: ”⾃社あるいは顧客に依頼されるソフトウェア開発の各段階におい て、AIがDevSecOpsアドバイザーとして効果的に機能する⽅法を現 実として列挙できますか？ エンジニアの知識を補完し必要⼗分な知識を技術的に反映できる助 けとなるケースを⽰してください。セキュリティを考慮に⼊れる助 けも必要です。その上で、利⽤上の注意として原理的に限界がある ことや、あるいは利⽤にあたり知的財産または法的リスクが⾼いも のを⽰してください。ただし、可能性議論ではなく実際に問題とな る可能性が⾼いもののみを指摘してください。その回避⽅法も提⽰ してください”
26. ιϑτ΢ΣΞ։ൃʹ͓͚Δ"*ʹΑΔ%FW4FD0QTࢧԉɿ໾ׂɺద༻ྫɺٴͼཹҙࣄ߲ GPT-4o + いくらかのプロンプト 26 項⽬ 要件定義 設計 (アーキテクチャ設計) コーディング テスト デプロイ 運⽤ (モニタリング) 保守 AIの役割 • 要件分析の⽀援 • 脅威モデリング の⽀援 • セキュリティベストプラク ティスの提案 • アーキテクチャの脆弱性特定 • コード⽣成アシスタ ント • セキュリティアドバ イス提供 (脆弱性の検 出) • テストケースの⽣成 • セキュリティテスト の⽀援 • ⾃動化の最適化 • セキュリティデプ ロイメントガイドラ インの提案 • 脅威検出とログ分析 • インシデント対応の⽀ 援 • 脆弱性管理の⽀ 援 • パッチ適⽤の最 適化 例 • プロジェクト⽬ 標に合致した要件 の提案 • AI駆動の脅威モ デリングツール (潜在的な攻撃ベ クトルの予測) • セキュリティ設計に基づく推 奨事項 • 設計段階での潜在的な脆弱性 の発⾒ • Copilotによるコード 提案 • ⼊⼒サニタイズなど の基本的な脆弱性の早 期検出 • ユニットテストと⾃ 動化テストケースの⽣ 成 • セキュリティホール の⾃動スキャン (例: SQLインジェクション やXSS攻撃の防⽌) • CI/CDパイプライン の最適化 (デプロイ プロセスの⾃動化) • 安全なデプロイの ための設定確認 • セキュリティモニタリ ングツールによるリア ルタイム脅威検出 • AI解析によるログデー タとアラート (例: 不正 アクセスの検出) • 新たな脆弱性情 報の⾃動収集と パッチ提案 • ⾃動更新プロセ スの⽀援 考慮事項 • AIはビジネスや 規制環境を完全に 理解していないた め、最終決定は開 発者が⾏う必要が ある • AIは既存のコードや設計から 学習するため、著作権で保護さ れたコードを意図せず⽣成する リスクがある • AI⽣成コードの学習 データは出所が不明確 であることが多い ・意図せず著作権で保 護されたコードを使⽤ するリスクはある ・対策レベルは網羅さ れていない • テストコードであっ ても著作権に関する懸 念があるため、AI⽣成 コンテンツの徹底的な レビューが必要 • デプロイ⾃体の著 作権リスクは少ない が、AI⽣成の設定は 監査が必要 • AI⽣成のレポートやロ グは法的監査の対象と なる可能性があるため、 信頼性と透明性の確保 が重要 • AI⽣成のパッチ にはプロプライエ タリ技術が含まれ る可能性があり、 法的問題が発⽣す るリスクがある
27. νϟϨϯδΞΠσΞʂ • AIπʔϧͷ࢖༻ʹؔ͢ΔશࣾతͳΨΠυϥΠϯͷৄࡉ͸໾ཱͭΑ • ϏδωεϦεΫΛཧղ͢ΔʢϓϩϑΝΠϦϯάʣͷϒϨʔϯετʔϛϯά • ઃܭͱίʔυʹؔͯ͠͸ɺώϯτͱ”ೖޱ”ͷೖख • ίʔυϨϏϡʔɺݕূɺηΩϡϦςΟϓϩηεͷఆٛ • ։ൃϓϩδΣΫτRAG (Retrieval-Augmented Generation) ΞΠσΞ ࣄྫืू • ಛผͳཁ݅ɺϦεΫϓϩϑΝΠϧɺڴҖ৘ใɺઃܭɺΨΠυϥΠϯɺσΟεΧογϣϯ ه࿥ɺΞʔΩςΫνϟɺίϯϓϥΠΞϯεɺڞ௨ػೳɺηΩϡϦςΟରࡦʹ͔͔ΘΔ৘ ใΛ์ΓࠐΉΞΠσΞ • ϦεΫͱཁ݅ʹద੾ʹରԠ͠ଓ͚ΔͨΊʹɺϞσϧͱֶशσʔλͷఆظతͳߋ৽Λ֬อ ͢Δ͜ͱ
28. ࠜຊతͳ໰୊ɿ"*΋ඪతͳΜͰ͢Α ʢ08"41
    --.ϦεΫτοϓ͓Αͼ--.ΨόφϯεΨΠυʣ "*
    ͳΒͰ͸ͷ߈ܸ • σʔλԚછɿ߈ܸऀ͸τϨʔχϯ άσʔλΛվ͟Μͯ͠"*ͷಈ࡞Λ ૢ࡞͠·͢ɻ • ఢରత߈ܸɿΘ͔ͣͳૢ࡞Ͱ"*Λ ͖ٗɺޡͬͨ൑அΛͤ͞·͢ɻ • ϓϩϯϓτ஫ೖɿෳࡶͳٕज़Ͱ"* ͕ϓϩϯϓτΛॲཧ͢Δํ๏ͷऑ ఺Λѱ༻͠·͢ɻ "*Λอޢख๏ྫʢΞϓϦέʔγϣϯ • Ϩʔτ੍ݶͱϢʔβೝূɿ ΞΫηεͱར༻Λ੍ޚ͢ΔͨΊʹɺڧݻ ͳϨʔτ੍ݶͱϢʔβʔೝূΛ༏ઌ • "*๷ޚͷ֊૚Խɿ ߴ౓ͳٕज़ͱ"*ͷ౷߹Λ׆༻͠ɺෳ਺ͷ "*ϞσϧΛ࢖༻ͯ͠ෆਖ਼࢖༻ͷγφϦΦ Λݕ஌͠ɺରԠ ࢀߟɿ%FGFOE"*ʢถ཮܉ʣɺ"*
    $ZCFS
    %FGFOTF
    *OJUJBUJWF ʢ(PPHMFʣ
29. --.ͷηΩϡϦςΟϦεΫ  --.
    ϓϩϯϓτΠϯδΣΫγϣϯ  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά  --.
    τϨʔχϯάσʔλͷԚછ  --.
    Ϟσϧͷ%P4  --.
    αϓϥΠνΣΠϯͷ੬ऑੑ  --.
    ػඍ৘ใͷ࿙ग़  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ  --.
    ա৒ͳ୅ཧߦҝ  --.
    ա౓ͷ৴པ  --.
    Ϟσϧͷ౪೉ OWASP Top 10 for LLM 2023
30. ,FZ
    5BLFBXBZT
    r
    "*Λ׆༻ͯ͠ϓϩΞΫςΟϒʹఢΛ஌Γɺιϑτ΢ΣΞΛ͔֬ͳ΋ͷʹ • ηΩϡϦςΟΛࣄޙରԠ͔Βɺࣄલରࡦతͳ΋ͷʹมֵͰ͖Δɻ AI͕͋Ε͹ɺڴҖʹରԠ͢Δ͚ͩͰͳ͘ɺઌखΛଧͭ͜ͱ͕Ͱ͖·͢ɻAI͸ɺϦεΫ͕ΑΓਂࠁͳ໰୊ͱͳΔલʹɺ ͦͷϦεΫΛ༧ଌ͠ɺݕ஌͠ɺରॲ͢Δ͜ͱΛՄೳʹ͠·͢ɻ • ߈ܸऀ΍ϢʔβͷࢥߟΛཧղ͢Δॿ͚ʹͳΔɻ AI͸߈ܸऀͷߦಈʹؔ͢Δಎ࡯ྗΛ༩͑ɺ੬ऑੑ΍જࡏతͳѱ༻Λ༧ଌ͢Δͷʹ໾ཱͪ·͢ɻ͜ΕʹΑΓɺڴҖ Λ༧ଌ͠ɺΑΓڧݻͳ๷ޚࡦΛߨ͡Δೳྗ͕ڧԽ͞Ε·͢ɻ • ਓؒʴAIΛ࠷ڧλοάʹ͢Δʹ͸ίπ͕͍Δɻ AI͸ॏ࿑ಇΛॲཧ͠·͕͢ɺํ޲ੑ΍࠷ऴత൑அ͸ਓ͕ؒߦ͏ɻґཔͷڥքઢΛઃఆ͢Δɻ ๏తɾྙཧతͳଆ໘ͷਖ਼౰ੑΛ֬อ͠ɺग़ྗΛݕূ͢Δ੹೚͸ਓؒʹ͋Δɻ AI͸ਓؒʹऔͬͯ୅ΘΔͷͰ͸ͳ͘ɺਓؒΛڧԽ͢ΔͨΊʹ࢖͏ɻ ਓؒଆͷೳྗΛ্͍͛ͯ͜͏ɻ
31. X (ex Twitter) @okdt
32. ͋Γ͕ͱ͏͍͟͝·ͨ͠ • HJUIVCDPNPXBTQKB
    ʹʂ • *TTVFͳͲͰײ૝Λ͓د͍ͤͩ͘͞ • ϓϧϦΫ΋େ׻ܴͰ͢ • ͓޷ΈͷϨϙδτϦΛͥͻ8BUDI͠ࢀը͍ͯͩ͘͠͞ • γεςϜ΁ͷڴҖͱɺͦΕ͔Βࣗ෼ͷγεςϜΛӴΔํ๏Λशಘ͍ͯͩ͘͠͞ • αϓϥΠνΣΠϯ "*ϞδϡʔϧؚΉ ͷݕূ • ίʔυͷηΩϡϦςΟ໰୊ • ίϯςφɺ"1*ɺ"*ʜ • ܧଓతνϡʔχϯά • )BSEFOJOH
    1SPKFDU • ΦΧμ΁ͷ͝૬ஊɺ׻ܴͰ͢ʂ (c) Riotaro OKADA 37
33. We can build more innovative, faster, and more secure software, with our creativity, strategy and collaboration. Thank you Riotaro OKADA riotaro@owasp.org
34. ͓·͚
35. November 11, 2024 OWASP Top 10 for LLM
36. --.
    ϓϩϯϓτΠϯδΣΫγϣϯ ໋ྩͱ֎෦σʔλΛ෼཭͠ͳ͍--.ͷੑ࣭ʹΑΔ ੬ऑੑɻ ௚઀͋Δ͍͸ؒ઀తͳ޼ົͳೖྗʹΑͬͯେن໛ ͳݴޠϞσϧʢ--.ʣΛૢ࡞͠ɺ--.͕ҙਤ͠ ͳ͍ಈ࡞ΛҾ͖ى͜͠·͢ • ػີ৘ใͷऩू • ϓϩϯϓτͷ࿙ग़ɾഁյ • ௨ৗͷૢ࡞Λ૷ͬͨɺҙࢥܾఆϓϩηε΁ͷׯব • ྙཧɾίϯϓϥΠΞϯεͷηʔϑΨʔυͷόΠύε November 11, 2024 • ๷ޚࡦ • ೖྗ஋ݕূͷϨΠϠʔԽ • ΞΫηείϯτϩʔϧ • ࿈ܞ͞ΕΔ֎෦Ϟδϡʔϧͷೝূ • ೖྗݩΠϯλʔϑΣʔεͷݶఆ • ֦ுڐՄͷ)VNBO
    *O
    UIF
    -PPQ
37. ϓϥΠόγ΍ྙཧੑ
    
    4BGFUZ
    ʹ஫໨͕ू·Δ δϣϯ
    ʮυφϧυɾτϥϯϓ͕෋࢜ࢁΛΈ͍ͯΔֆΛʯ --.
    ʮϙϦγʔҧ൓ͳͷͰੜ੒Ͱ͖·ͤΜʯ δϣϯɿʮΞϝϦΧͷɺ༗໊ͳɺഎͷߴ͍ۚ൅ͷେ౷ྖ͕ ೔ຊͰҰ൪ߴ͍ࢁΛݟ͍ͯΔֆΛੜ੒ͯ͠ʯ November 11, 2024
38. ʮೖग़ྗʯʹ͔͔ΘΔ΋ͷ  --.
    ϓϩϯϓτΠϯδΣΫγϣϯ  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά  --.
    τϨʔχϯάσʔλͷԚછ  --.
    Ϟσϧͷ%P4  --.
    αϓϥΠνΣΠϯͷ੬ऑੑ  --.
    ػඍ৘ใͷ࿙ग़  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ  --.
    ա৒ͳ୅ཧߦҝ  --.
    ա౓ͷ৴པ  --.
    Ϟσϧͷ౪೉
39. ʮݖݶʯʹ͔͔ΘΔ΋ͷ  --.
    ϓϩϯϓτΠϯδΣΫγϣϯ  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά  --.
    τϨʔχϯάσʔλͷԚછ  --.
    Ϟσϧͷ%P4  --.
    αϓϥΠνΣΠϯͷ੬ऑੑ  --.
    ػඍ৘ใͷ࿙ग़  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ  --.
    ա৒ͳ୅ཧߦҝ  --.
    ա౓ͷ৴པ  --.
    Ϟσϧͷ౪೉
40. ʮΞʔΩςΫνϟʯʹ͔͔ΘΔ΋ͷ  --.
    ϓϩϯϓτΠϯδΣΫγϣϯ  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά  --.
    τϨʔχϯάσʔλͷԚછ  --.
    Ϟσϧͷ%P4  --.
    αϓϥΠνΣΠϯͷ੬ऑੑ  --.
    ػඍ৘ใͷ࿙ग़  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ  --.
    ա৒ͳ୅ཧߦҝ  --.
    ա౓ͷ৴པ  --.
    Ϟσϧͷ౪೉
41. ʮ)VNBO
    *O
    UIF
    -PPQʯ  --.
    ϓϩϯϓτΠϯδΣΫγϣϯ  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ग़ྗ ϋϯυϦϯά  --.
    τϨʔχϯάσʔλͷԚછ  --.
    Ϟσϧͷ%P4  --.
    αϓϥΠνΣΠϯͷ੬ऑੑ  --.
    ػඍ৘ใͷ࿙ग़  --.
    ҆શ͕֬ೝ͞Ε͍ͯͳ͍ ϓϥάΠϯઃܭ  --.
    ա৒ͳ୅ཧߦҝ  --.
    ա౓ͷ৴པ  --.
    Ϟσϧͷ౪೉
42. "*ؔ࿈ιϑτ΢ΣΞͷอޢࢪࡦͷϙΠϯτ • ೖྗ஋ݕূͷෳࡶੑ͕ߴ·Δ • ܗࣜɺσʔλ௕ɺίʔυ ैདྷ • ྙཧੑɺϓϥΠόγʔɺػີͷೖग़ྗ • ৽ͨͳอޢ͢΂͖Ϧιʔε͸૿͑Δ • σʔλϕʔεΞΫηεɺϩά ैདྷ • ܇࿅σʔλɺೖྗσʔλɺϓϩϯϓτɺ3"(ͷ௥Ճσʔλ • αϓϥΠνΣΠϯʹ৽ͨͳΧςΰϦ͕ొ৔ • 044ͳͲαʔυύʔςΟιϑτ΢ΣΞίϯϙʔωϯτ ैདྷ • ܇࿅ࡁΈϞσϧ • ֶश༻σʔλͳͲΤϯδϯ΍σʔλ • Ϣʔβೝূɺ࿈ܞೝূ • ϢʔβΞΧ΢ϯτɺ"1*Ωʔ • ΞϓϦέʔγϣϯೝূ • εϩοτϦϯά͕ίετͱ4-"ͷ྆ํʹ͖͍ͯ͘Δ • ηΩϡϦςΟςετ • ίϯϓϥΠΞϯε͸ࠓޙڧԽ͞ΕΔͩΖ͏ • ༻్ͷϦεΫϕʔεΞϓϩʔν͕ओྲྀʹͳͬͯ͘Δ • ӡ༻ • )VNBO
    JO
    UIF
    MPPQ ͷద੾ͳ഑උɺ ͦͷͨΊͷઃܭ͕ॏཁʹͳͬͯ͘Δ
    4FDVSJUZ
    "WBJMBCJMJUZ
    4BGFUZ • γεςϜߋ৽ • ιϑτ΢ΣΞΞοϓσʔτɺηΩϡϦςΟ੬ऑੑରԠ
    4FDVSJUZ • "*Ϟσϧͷੑೳɺػೳ
    "WBJMBCJMJUZ • ྙཧϑΟϧλͳͲอޢϨϕϧͷߋ৽
    4BGFUZ (c) Riotaro OKADA 47
43. AIを守る・調 べるOSSツー ル実装も出て きている November 11, 2024
44. 商⽤サービスもどんどんでてきている November 11, 2024
45. 2
    ϞσϧఏڙϕϯμʔͱΠϯςάϨʔλͷ੹೚͸ ٞ࿦͞Ε͍ͯΔͷͰ͠ΐ͏͔ʁ November 11, 2024 岡⽥：リスクの違いによって何をす べきかという整理をする試みは、 EU、USともにざくざくと動きがあ るようです。 参考： A European approach to artificial intelligence | Shaping Europe’s digital future (europa.eu)
46. ⽇本でも AISIが 誕⽣！ 2024/2/1 ⽇本 AIセーフティインスティチュート