国内外の生成AIセキュリティの最新動向 & AIガードレール製品「chakoshi」のご紹介 / Latest Trends in Generative AI Security (Domestic & International) & Introduction to AI Guardrail Product "chakoshi"
の資料抜粋) 財務成果を出している企業ほど、 AIへの変革意欲も投資額も大きく「 AI に Bet する」傾向がある 出典 : The state of AI in 2025: Agents, innovation, and transformation https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
: The 2025 AI Index Report https://hai.stanford.edu/ai-index/2025-ai-index-report/responsible-ai AIに関わる不祥事の例 不祥事やインシデントは国内外問わず急増している 「Stanford’s 2025 AI Index Report」 より抜粋
技術発展でリスクは解消されているのでは? A. LLMの性能向上やエコシステムの発展によって、軽減しているリスクもある。 e.g. ) ハルシネーション, 露骨な有害コンテンツの生成 … 他方で、AIの用途の拡大によって、新しいリスクが次々と生まれている。 “In solving problems, technology creates new problems, and we seem, as in Through the Looking-Glass, to have to keep running faster and faster to stay where we are.” 「技術は問題を解く過程で新たな問題を生み出す。 まるで鏡の国のアリスの ように、私たちは同じ場所に留まるためにより速く走り続けなければならない」 著作家 Alan Watts
• MIT AI Risk Repository ではAIリスクカテゴリをタクノソミで分類 • 2024年8月から2025年12月までの間に、リスクカテゴリ数は大きく増加 出典 : MIT AI Risk Initiative https://airisk.mit.edu/ The AI Risk Repository: A Comprehensive Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence https://arxiv.org/abs/2408.12622
出典 : Anthropic's Responsible Scaling Policy https://www.anthropic.com/news/anthropics-responsible-scaling-policy Position: Levels of AGI for Operationalizing Progress on the Path to AGI https://arxiv.org/abs/2311.02462 ‘
1 規制動向 EU AI Act / 米国 NIST AI RMF / 中国 / 日本 AI法 OWASP Top 10 for LLM & Agentic AI 2 市場動向 市場規模/ M&A・資金調達 AIエージェントセキュリティの台頭 ここまでの生成AIリスクの顕在化を踏まえ世界がどう動いているかを少し見てみましょう
- その他 その他にも、国際コミュニティであるOWASPが出している「OWASP Top 10 for LLM」、米国政府機関であるNISTの出す「AI RMF」などが代表的なフレームワークとして存在 これら自体は法的拘束力は持たないが、AI導入時にこれらの基準を満たすことを求められるケースもある AI RMF1.0(https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf)より OWASP Top10 for LLM(https://genai.owasp.org/llm-top-10/)より OWASP Top 10 for LLM プロンプトインジェクション 機密情報の開示 サプライチェーン データとモデルポイズニング 不適切な出力処理 過剰なエージェンシー システムプロンプトの漏洩 ベクトルと埋め込みの脆弱性 誤情報 際限のない消費
- 生成AIセキュリティ業界マップ OWASPの出しているLLM&生成AI Securityの業界マップ これとは別にエージェント AIセキュリティの関する業界マップもでているので気になる方は要チェック Al Security Solutions Landscape For LLM and Gen Al Apps Q2 2026(https://genai.owasp.org/download/53437/)より
- 生成AIセキュリティ業界マップ ライフサイクル上の各フェーズごとに求められるセキュリティが存在する モデル開発者・(生成AI)アプリ開発者・生成AIアプリ利用運用者などごとに注意すべきセキュリティ観点は異なる Al Security Solutions Landscape For LLM and Gen Al Apps Q2 2026(https://genai.owasp.org/download/53437/)より