AWS re:Invent 2025 Recap for JAWS-UG AI ML

Transcript

1. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 1 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS re:Invent 2025 Recap JAWS-UG AI/ML ⽀部 針原 佳貴 シニア ⽣成 AI スタートアップ ソリューションアーキテクト アマゾン ウェブ サービス ジャパン
2. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 3 AWS AI ポートフォリオ AI & AGENT DEVELOPMENT SOFTWARE & SERVICES AGENT BUILDERS Vertically Integrated Flexible/OSS AMAZON BEDROCK Models Capabilities AgentCore Amazon Nova 3P Models Optimization Guardrails Customization Runtime 1P Tools Gateway Identity Memory Observability Kiro Amazon Quick Suite AWS Transform Amazon Connect Kiro autonomous agent イ ン タ ー フ ェ ー ス & プ ロ ト コ ル ( M C P / A 2 A ) Amazon Nova Act Strands Agents AI COMPUTE Trainium MLOps Model training Deployment Model building Inferentia GPUs Vector Search Governance Storage & Databases Data Processing Hyperpod AMAZON SAGEMAKER Custom Model Building Data Foundation for AI APPLICATIONS AND AGENTS AWS Security Agent AWS DevOps Agent AWS Marketplace FRONTIER AGENTS Knowledge Bases Policy Evaluations セ キ ュ リ テ ィ ・ ポ リ シ ー 3 I N F R A S T R U C T U R E Nova Forge
3. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 4 AWS AI ポートフォリオ AI & AGENT DEVELOPMENT SOFTWARE & SERVICES AGENT BUILDERS Vertically Integrated Flexible/OSS AMAZON BEDROCK Models Capabilities AgentCore Amazon Nova 3P Models Optimization Guardrails Customization Runtime 1P Tools Gateway Identity Memory Observability Kiro Amazon Quick Suite AWS Transform Amazon Connect Kiro autonomous agent イ ン タ ー フ ェ ー ス & プ ロ ト コ ル ( M C P / A 2 A ) Amazon Nova Act Strands Agents AI COMPUTE Trainium3 MLOps Model training Deployment Model building Inferentia GPUs Vector Search Governance Storage & Databases Data Processing Hyperpod AMAZON SAGEMAKER Custom Model Building Data Foundation for AI APPLICATIONS AND AGENTS AWS Security Agent AWS DevOps Agent AWS Marketplace FRONTIER AGENTS Knowledge Bases Policy Evaluations セ キ ュ リ テ ィ ・ ポ リ シ ー 4 I N F R A S T R U C T U R E Nova Forge New New New New New New New New
4. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 5
5. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 6 AWS DevOps Agent N E W アラートを減らし チームに安眠をもたらす、 運⽤の優秀性を実現する 最先端エージェント。 Kiro autonomous agent N E W ワークフローを拡張する、 最先端の開発エージェント AWS Security Agent N E W ⾃信を持ってリリースできる、 より安全なアプリを実現する 最先端エージェント P R E V I E W で 利 ⽤ 可 能 Frontier agents on AWS
6. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 7 優先度の⾼い仕事に集中している間も、作業を⾃律的に進めてくれる セッションやタスクをまたいで、継続的なコンテキストを維持 単⼀の計画から、複数リポジトリへの変更を⼀貫して適⽤ 開発者とのやり取りから学習し、適応 Kiro autonomous agent ワークフローを拡張する、 最先端の開発エージェント
7. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 8 AWS Security Agent P R E V I E W で 利 ⽤ 可 能 アプリケーションを 能動的に保護 専⾨的でカスタマイズされた セキュリティガイダンス オンデマンドで ペネトレーションテストを実施 ⾃信を持ってリリースできる、 より安全なアプリを実現する 最先端エージェント
8. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 9 AWS DevOps Agent P R E V I E W で 利 用 可 能 常時稼働のインシデントトリアージと、 ガイド付きの問題解決 場当たり的な⽕消し対応から、 能動的な運⽤の優秀性へ お使いのオブザーバビリティツール (Dynatrace, New Relic, Datadog, Splunk, CloudWatch) を通じてインサイトにアクセス リソースをインテリジェントにマッピングし、 MTTR とアプリケーションの信頼性を向上 アラートを減らしチームに安眠をもたらす、 運⽤の優秀性を実現する最先端エージェント。
9. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 10 Amazon Bedrock AgentCore Comprehensive agentic platform: Everything you need for getting agents into production Runtime Memory Identity Gateway Code Interpreter Browser Policy Evaluations Observability
10. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 11 AgentCore Gateway に登録した Tool に対し、 Fine-grained Access Control を実現可能にするサービス。 利用者毎に利用可能な Agent の Tool を制御できるように。 11 AgentCore Policy とは AgentCore Gateway IdP Lambda Target (Tools) AgentCore Policy Allow if context.input < 100 and group=“Admin JWT token with claim attatched If allowed
11. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 12 Bedrock AgentCore Evaluation: 2 つの評価方法 開発環境・CI/CD 向け 本番環境向け オンライン評価 • 運用中のエージェントの インタラクションを監視 • トレースを継続的にサンプ リング • 品質低下を検知 ユースケース • 気づきにくい失敗を検知 • 品質の傾向を追跡 • 本番稼働後にモニタリング • 信頼性の担保 オンデマンド評価 • デプロイ前に変更をテスト • CI/CD 内で評価を実施 • ビルド後の回帰テスト • 品質で本番稼働の可否を判断 ユースケース • プロンプト変更を検証 • モデルのパフォーマンス比較 • 品質低下を防止 • 品質による本番デプロイの 判断を自動化
12. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 13 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 世界で最も信頼され、 役⽴つエージェントを 構築・デプロイするための 最⾼の場所になる O U R V I S I O N 13
13. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 14 Forge the future with
14. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 15 モダリティ全体にわたり、 知覚と⽣成において向上した 知能を提供する新モデル群 信頼性の⾼いエージェント システムの開発を可能に "オープントレーニング” を通じて、企業が最先端の インテリジェンスを 構築できるように N O V A R E : I N V E N T 2 0 2 5 L A U N C H E S Nova 2 Models Nova Act in AWS Nova Forge Focus of today
15. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Nova 2 基盤モデル Amazon Nova 2 Lite ⽇常的なワークロードに対応する、 ⾼速でコスト効率の良い推論モデル Amazon Nova 2 Omni マルチモーダル推論と 画像⽣成を統合したモデル Amazon Nova 2 Sonic リアルタイムで⼈間らしい 会話AIを実現する、 ⾳声対⾳声の基盤モデル Amazon Nova 2 Pro ⾼度に複雑なタスクに対応する、 最も知的な推論モデル ⼀ 般 提 供 ⼀ 般 提 供 プ レ ビ ュ ー プ レ ビ ュ ー 16
16. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 17 Amazon Nova を使って、 独⾃の最先端モデルを構築 Amazon Nova Forge ⼀ 般 提 供 モデル開発の全フェーズにわたるチェックポイントに アクセスし、Nova の新モデルを⼀般公開前に活⽤ ⾃社環境内で報酬関数を⽤いた強化学習を実⾏ 1 3 4 ビジュアルワークフローまたは コマンドラインインターフェースを通じて、 Nova での構築に最適化されたワンクリックレシピを使⽤ 5 組み込みの責任ある AI ツールキットを使⽤して、 カスタムガードレールを実装 ⾃社の独⾃データと Amazon Nova が厳選したトレーニングデータを融合 2
17. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Nova Forge でモデルを構築する チェックポイントの重要性 Mid-Trained Model SFT (Supervised Fine-Tuning) Instruction-Response Datasets for Business Specific Tasks Reward Signals and Human Feedback to Refine Behavior RL (Reinforcement Learning) Post-Trained Model (Aligned and Specialized) Model is optimized for specific tasks and human preferences 2. HIGH LEARNING RATE 3. ANNEALING 18
18. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Nova Forge でモデルを構築する ⾃社の独⾃データと Amazon Nova が厳選したトレーニングデータを融合 Mid-Trained Model SFT (Supervised Fine-Tuning) Instruction-Response Datasets for Business Specific Tasks Reward Signals and Human Feedback to Refine Behavior RL (Reinforcement Learning) Post-Trained Model (Aligned and Specialized) Model is optimized for specific tasks and human preferences ⼤量の ⾮構造化データ 中規模の "Chain of Thought” データ 指⽰と応答のペア、 ⼈間のフィードバック、 および報酬シグナル Amazon Nova が 厳選した トレーニングデータ 19
19. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Inferentia AWS Inferentia2 AWS Trainium AWS Trainium2 深層学習モデル 中規模から⼤規模な推論: LLM、マルチモーダルモデル 中規模から⼤規模なトレーニングと推論: LLM、マルチモーダルモデル ⽣成 AI モデルのトレーニングと推論 AWS Trainium3 次世代のエージェント、推論、 および動画⽣成アプリケーション ⽣成 AI のための AWS AWS AI Chips
20. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. は、すでに Trainium 上で稼働 Trainium の四半期⽐成⻑ Trainium2 は引き続き強い需要があり、 全キャパシティが予約済みで、 今や数⼗億ドル規模のビジネスとなっている AWS Q3 ‘25 earnings call Amazon Bedrock における トークン使⽤量の
21. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. P R O J E C T R A I N I E R 世界最⼤の AIコンピュート クラスター 1 millions chips will be deployed by end of 2025
22. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 次世代のエージェント、推論、 および動画⽣成アプリケーションに最適な トークンエコノミクスを提供するために 専⽤設計された第4世代 AI チップ HBM3E Capacity HBM3E Bandwidth MXFP8 Compute
23. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. MXFP8 COMPUTE HBM3E CAPACITY HBM3E BANDWIDTH Trn3 (第2世代) UltraServer NeuronSwitch Bandwidth Trn2 UltraServer と⽐較して 4.4倍のコンピューティング性能 3.9倍のメモリ帯域幅
24. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. TOK ENS PER MEGAW ATT vs Trn2 UltraServers Amazon EC2 Trn3 UltraServers
25. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 27 AWS AI ポートフォリオ AI & AGENT DEVELOPMENT SOFTWARE & SERVICES AGENT BUILDERS Vertically Integrated Flexible/OSS AMAZON BEDROCK Models Capabilities AgentCore Amazon Nova 3P Models Optimization Guardrails Customization Runtime 1P Tools Gateway Identity Memory Observability Kiro Amazon Quick Suite AWS Transform Amazon Connect Kiro autonomous agent イ ン タ ー フ ェ ー ス & プ ロ ト コ ル ( M C P / A 2 A ) Amazon Nova Act Strands Agents AI COMPUTE Trainium3 MLOps Model training Deployment Model building Inferentia GPUs Vector Search Governance Storage & Databases Data Processing Hyperpod AMAZON SAGEMAKER Custom Model Building Data Foundation for AI APPLICATIONS AND AGENTS AWS Security Agent AWS DevOps Agent AWS Marketplace FRONTIER AGENTS Knowledge Bases Policy Evaluations セ キ ュ リ テ ィ ・ ポ リ シ ー 27 I N F R A S T R U C T U R E Nova Forge New New New New New New New New
26. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 28 Thank you! © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Yoshitaka Haribara X: @_hariby