$30 off During Our Annual Pro Sale. View Details »

Microsoft Ignite 2024 Update 2 - AIとIoT関連の最新情報を...

Microsoft Ignite 2024 Update 2 - AIとIoT関連の最新情報をどこよりも早く!

AIxIoTビジネス共創ラボ

November 26, 2024
Tweet

More Decks by AIxIoTビジネス共創ラボ

Other Decks in Technology

Transcript

  1. Microsoft Ignite 2024 Update AI と IoT 関連の 最新情報をどこよりも早く 日本マイクロソフト株式会社

    クラウド & AI ソリューション事業本部 インテリジェント クラウド統括本部 Azure 技術本部 本部長 福原 毅
  2. 本セッションで取り上げる内容  Adaptive cloud approach 関連  Azure Local アナウンス

     Azure IoT Operations 一般提供開始  Arc ISV Partner Program アナウンス  Windows Server 2025 一般提供開始  Cloud Adoption Framework – AI Scenario 公開中  Azure Confidential Computing  NCCads H100 v5 series ( Azure confidential GPUs ) 一般提供開始 (9月)  Confidential inferencing with Azure OpenAI Service Whisper model プレビュー  Azure Confidential Clean Rooms プレビュー
  3. Hybrid IoT Multi- cloud Edge Distributed Adaptive cloud Azure’s adaptive

    cloud approach enabled by Azure Arc​ ハイブリッド、マルチクラウド、エッ ジ環境の運用、イノベーション、イ ンサイト プラットフォームで統合
  4. Adaptive cloud approach グ ロ ー バ ル 規 模

    クラウドで稼働 オンプレミス サーバー エッジ コンピューター マシン 地 域 的 な 多 様 性 コンピューティング パワー Adaptive cloud approach 運用、アプリ、 および、データ 成果 低い TCO​ 利益率の改善 高い品質 迅速な展開 効率性の強化 クラウドのイノベーション ∞
  5. Adaptive cloud approach — 重要なサービスと製品 データと AI Fabric 運用とセキュリティ Copilot

    クラウド サービスと ツール グローバル インフラストラクチャ アプリケーション Azure Kubernetes Service LOB apps インフラストラクチャ Policy Defender Monitor Visual Studio GitHub AI/ML Data services IoT operations 60+ Azure regions Azure Local Existing infrastructure Windows Server Linux Kubernetes
  6. Announcing Azure Local Small + rugged Connected Disconnected アウト オブ

    ボックスの クラウド運用 仮想マシンと コンテナ ベースのアプリ 広範囲のハードウェアの選択肢に よる、最適なサイズのソリューション デフォルトで 高度なセキュリティ aka.ms/AzureLocal
  7. Azure Stack HCI から Azure Local へ 一貫性のあるソフトウェア プラットフォーム、ポータル、API 低スペック、低コストの

    エッジサーバー 軽量なコンピューティングの要件に応える よりシンプルに、より小さなハードウェア NEW PREVIEW ディスコネクテッドの 運用 Meet strict data residency regulations with a permanently disconnected option. NEW PREVIEW コネクテッド サーバー (旧称 Azure Stack HCI) 主要な OEM 各社の 100 以上の ハイパーコンバージド サーバー プラットフォーム GA Azure Stack HCI の既存顧客は、次回のソフトウェア アップデートで Azure Local にシームレスに移行
  8. Choose hardware from your preferred vendor ご希望のベンダーと 直接取引 ハードウェア スペック、ストレージ、

    ネットワークのカスタマイズ 1ノードからNノードを前払い またはサービスとして購入 1 2 3 aka.ms/AzureLocalCatalog で、ソリューションを検索
  9. VMware から Azure Local へ移行 (プレビュー) フル スタックで移行することで、VMware のコストとフットプリントを削減 変更やアプリの変更は不要

    VMware VMDK を完全にオンプレミスの Azure Arc VM へコピーして変換 Azure Migrate のガイド付きワークフロー Azure Local VMware vSphere Replicate on-prem to on-prem Azure Migrate Target Appliance .vhdx .vmdk Source Appliance NEW 詳細は、aka.ms/AzureLocal/Migrate
  10. エッジのユース ケース向けの低スペック、低コストの選択肢 Azure Stack HCI Requirements at launch Azure Local

    1 Requirements at launch Windows Server certified Windows Server certified Min. 2+ machines 1+ machine Min. 4+ disks per machine 1+ SSD per machine 2 Min. 10 Gbps w/ RDMA 1 Gbps/2.5 Gbps Ethernet 3 Active Directory required Doesn’t require AD 4 NEW SuperMicro SYS-E302 Fan-less server Dell MC-4000r/z + MC-4510c Rugged two-sled chassis HPE MicroServer Gen11 Micro tower server Lenovo ThinkEdge SE350v2 Half-width, half-depth 1U Example possible solutions, pending validation 1 : Reduced requirements allowed up to maximum of 3-node cluster 2 : Excludes OS boot disk 3 : Must support Hyper-V virtualization 4 : In preview now, coming 2025
  11. Adaptive cloud approach — 重要なサービスと製品 データと AI Fabric 運用とセキュリティ Copilot

    クラウド サービスと ツール グローバル インフラストラクチャ アプリケーション Azure Kubernetes Service LOB apps インフラストラクチャ Policy Defender Monitor Visual Studio GitHub AI/ML Data services IoT operations 60+ Azure regions Azure Local Existing infrastructure Windows Server Linux Kubernetes
  12. Azure Local での Azure AI サービス (プレビュー) NEW 大小の言語モデルで オンプレミスのデータを検索

    Local AI Search Private Preview 検証済みの AI モデルを クラウドから展開・管理 Azure ML Catalog Private Preview 詳細は aka.ms/AzureLocal/EdgeAI
  13. 分散した資産を統合 Azure adaptive cloud approach Industrial assets OT systems PLM

    MES QMS SCP SCADA HMI APM Edge Azure IoT Operations Edge-based workloads Arc-enabled Kubernetes Cloud Cloud-based workloads Including Kubernetes Microsoft Fabric Microsoft Copilot Microsoft 365 … Dynamics 365 Azure Arc Microsoft AI services Microsoft security services Works with existing partner ecosystem … more
  14. Azure IoT Operations Features of GA Release Collect data from

    your machines with connector for OPC UA Flow data to Azure transformed and contextualized with data flows Enable data handling highly available and scalable with MQTT broker Empower OT to create pipelines and assets with operations experience Efficiently store message encoding and schema details with schema registry Manage edge data configurations with Azure Device Registry In Public Preview Connect cameras and process media with ONVIF and media connectors Integrated Arc-enabled Kubernetes service: • Azure Key Vault Secret Store Extension connection to Azure Key Vault • Azure Container Storage connection to Azure Blob/Fabric • Azure Arc gateway connection to Azure Arc
  15. Contoso Hypermarket is a global leading retailer dedicated to providing

    customers with exceptional product quality, while embracing cutting-edge technologies and operation efficiency.
  16. Tech and ops stack Security and operations Prometheus and Grafana

    observability stack Microsoft Defender for Cloud and Containers Azure Policy Azure Monitor Azure Key Vault Cost management and billing Data and IoT Microsoft Fabric Azure IoT Operations Azure Event Hub SQL Server on Linux PostgreSQL InfluxDB Azure Container Storage enabled by Azure Arc AI and Computer Vision Jumpstart Cerebral Microsoft Copilot Azure OpenAI Azure AI Speech Generative AI models Computer Vision models Local infrastructure Dev and CI/CD operations Visual Studio Code GitHub repositories GitOps Data simulators Azure Data Studio Azure infrastructure Azure compute, storage and network Kubernetes Arc-enabled Kubernetes Azure Container Registry Arc-enabled servers Ubuntu and Rancher K3s Assets Footfall, Shopper insights, Gen AI Commercial and Operations assistance, Speech-to-Text (STT) operations, Edge-to-cloud video analytics, Predictive inventory and operations analytics
  17. Adaptive cloud approach — 重要なサービスと製品 データと AI Fabric 運用とセキュリティ Copilot

    クラウド サービスと ツール グローバル インフラストラクチャ アプリケーション Azure Kubernetes Service LOB apps インフラストラクチャ Policy Defender Monitor Visual Studio GitHub AI/ML Data services IoT operations 60+ Azure regions Azure Local Existing infrastructure Windows Server Linux Kubernetes
  18. Rapidly develop and scale applications across boundaries Azure Services across

    your infrastructure Azure Multi-cloud On-premises Management and security, scale applications with Azure Arc Developer and DevOps tools for unified application deployment Arc-enabled services Kubernetes Azure Monitor Azure Container Storage Azure Key Vault Azure Kubernetes service (AKS) Arc-Enabled Kubernetes AKS Arc Azure Local Azure Arc ISV Partner Program Announcing https://aka.ms/AzureArcISV.
  19. Operate with AI-enhanced central management & security Enabled by Azure

    Arc Configuration management & governance​ Resiliency and observability​ Built-in security and control​ Universal AI assistant, portal and tools​ Inventory Management Configuration Management Azure Update Manager Azure Policy Azure Monitor Chaos Studio Backup and Site Recovery Microsoft Sentinel Microsoft Defender for Cloud Entra Key Vault Copilot in Azure Azure Portal Powershell And CLI Azure Services across your infrastructure Azure Multi-cloud On-premises Microsoft Hyper-V Azure Local
  20. Generally available Windows Server management enabled by Azure Arc Access

    20+ Azure services at no additional cost Central inventory, governance and policy Automated patching and maintenance Cloud-based disaster recovery and resiliency aka.ms/WindowsServerManagement
  21. Preview Hotpatching for Windows Server 2025 Streamlines security patches for

    Windows Servers anywhere Save up to 66% of restart-related downtime Available for Azure Arc-connected Windows Server 2025 aka.ms/Ignite/WS2025
  22. How it works Monthly security patches (no reboot) Quality and

    Feature updates come quarterly (at baseline) Reboots at Baseline .NET updates not part of Hotpatching With Hotpatch Servicing Jan Feb Mar April May June July [Baseline] [Baseline] [Baseline] No Reboot Reboot
  23. Azure Arc- enabled Hotpatching everywhere Supported on Azure Arc-enabled Windows

    Server 2025  Standard or Datacenter Edition  Physical, Virtual, other clouds Enable via Azure Portal  Free with Windows Server Datacenter: Azure Edition  Monthly subscription required
  24. ミッション クリティカル事例: Windows & SQL Server の ホットパッチ Xbox のフットプリント

    (一部分) 1,000 サーバーで 18 の異なるサービスを実行 それぞれのサービスは、2~120 の SQL Server を使い、 いくつかのワークロードは、15 年以上稼働 ワークロードは、物理を使っていたが、今は Azure 仮想マシン ホットパッチ以前は、 ダウンタイムなしに、毎月 3 週間を費やして更新を展開。年 12 回 ホットパッチによって、 ダウンタイムなしに、48 時間以下で、1,000 サーバーを 更新 (SQL Server をホストする Windows Server 2019 から Windows Server 2022 Azure Edition へ、シームレスに移行) Azure Edition のホットパッチにより Windows Server 仮想マシンを再起動なしでパッチ適用
  25. Investments to further the adaptive cloud approach Legend: Announced at

    Ignite 2024 Applications Data Infrastructure Operations Azure Arc gateway Azure Migrate to Azure Arc Microsoft Copilot in Azure Azure Arc site manager Azure Monitor pipeline Azure Container Storage Azure Key Vault Secret Store AKS on VMWare Azure Arc VS Code Extension Azure AI Video Indexer Azure Migrate to Azure Local PUBLIC PREVIEW Windows Server management enabled by Azure Arc Azure Arc multi-cloud connector for AWS AKS on Azure Local Azure IoT Operations Real-Time Intelligence in Microsoft Fabric Azure Local GENERALLY AVAILABLE
  26. マイクロソフト クラウド導入フレームワーク - AI シナリオ 検証済ベスト プラクティス Azure AI に特化した

    推奨事項 導入計画 AI 導入のための 包括的なロードマップ 規模拡大のための準備 AI ワークロードの規模拡大 に向けた推奨事項 aka.ms/cafAI
  27. Copilot Studio エージェントの構築、テ スト、展開に SaaS ツールが必要ですか? Azure AI Foundry カスタム

    AI アプリケー ションを構築するため の開発プラットフォーム が必要ですか? Azure OpenAI OpenAI にアクセスす る必要がありますか? Azure 構築済 ズ可能な 使用する マイクロソフト クラウド 導入フレームワーク - AI シナリオ: デシジョン ツリー
  28. Microsoft AI サービスのデシジョンツリー Microsoft 365 アプリ内の 組織全体の生産性を向 上させる必要があります か? Yes

    個人の生産 性を向上させ る? ビジネス機能 を自動化す る? 独自のデータを使用して Al 機械学 習モデルをトレーニングおよびデプロイ するためのプラットフォームが必要で、 データサイエンスのスキルがありますか? Azure OpenAI、Azure Al サービス、その他の生成 Al モデルにアクセスできるカス タム Al アプリケーションや、prompt flow、ファインチューニング、モデル評価、コン テンツセーフティフィルター、トレース、VS Code 統合などの組み込み開発ツールを 構築するための開発プラットフォームが必要ですか? 各 AI のユースケース Azure CycleCIoud、Azure Batch、または Azure Kubernetes Services を使用してオーケストレーションする機能を備えた独自の Al モデルを Azure に持ち込む必要がありますか? Copilot (Free or Pro) SaaS | Generative AI すでに Microsoft Fabric を使用し ていて、そこで機械学習モデルをト レーニングしたいですか? Azure Machine Learning PaaS | Machine learning Azure AI Foundry PaaS | Generative AI and Nongenerative AI Microsoft 365 Copilot SaaS | Generative AI Microsoft Fabric SaaS | Machine learning Azure Virtual Machines IaaS | Generative and Nongenerative AI No Azure、GitHub、Fabric、 Dynamics 365、Power Platform 内の生産性を 向上させる必要があります か? In-product Copilots SaaS | Generative AI Role-aligned Copilots SaaS | Generative AI セキュリティ、セールス、サービ ス、財務の生産性を向上さ せる必要がありますか? Azure OpenAI PaaS | Generative AI REST API を介して OpenAI のモデル、埋め込み、DALL-E、Whisper にアクセスし たり、Copilot Studio、Azure Al Studio、Azure API Management などのサービ スを介して OpenAI モデルに接続したりする必要がありますか? Yes Yes No No Yes Yes Yes No No No No 最初の決定を下す前に、すべてのオプションを 確認してください。「Al Adoption Scenario」 のガイダンスを使用して、選択内容を検証して ください。 以下のサービスの一部が接続できます。1つから始めて、必 要に応じて他のものに接続することができます。 自然言語と、個別のサインアップなしで必要なすべてのサービスを含む単一の価格 設定モデルを備えたエージェントを構築、テスト、デプロイするための SaaS ツールが必 要ですか? Copilot Studio PaaS | Generative AI | Low-code platform Yes No データサイエンスのスキルを必要とせずに、自然言語処理、検索、監視、翻訳、 音声、視覚、意思決定のために、事前構築済みでカスタマイズ可能な Al モデ ルを使用する必要がありますか? Azure AI Services PaaS | Analytical AI No Yes Yes https://learn.microsoft.com/en-us/azure/cloud-adoption- framework/scenarios/ai/strategy#define-an-ai-technology-strategy
  29. プラットフォーム ランディング ゾーン すべてのアプリのための一元化された 安全な共有サービス(ID、接続、管理) AI ランディング ゾーン AI サービス、アプリ、サブスクリプション、

    ポリシー、ネットワーキング、セキュリティ OpenAI ランディング ゾーン AI アプリをホストするための共有クラウド基盤 (アプリケーション ランディング ゾーン) プラットフォームとアプリケーションのランディング ゾーンの比較 AI ランディング ゾーン
  30. BIOS, Hypervisor CPU Hardware Azure confidential GPUs GA • NCCads

    H100 v5 series VM SKU • 2024 年 9月に一般提供開始 • East US2 と West Europe リージョンで利用可能 一般的なお客様のユース ケース • ヘルスケア – 患者の基本情報やゲノムデータを保護しながら、 プライバシーを重視した AI モデルを構築 • 保険 – 保険引受 / 保険金請求データに関する SLM の学習 / 推論を行い、機密性の高いデータセットを守秘義務を守って 処理. • 金融 – 機密情報を漏洩することなく、購買から支払いまでの プロセスに強化学習を導入 Learn more and get started: aka.ms/cvm-h100-ga VM Confidential VM TEE Application User Mode Libraries Kernel Mode GPU Driver Guest OS Encrypted Messaging GPU GPU TEE PCIE PF Application Compute Engine Compute Engine L2 Cache High Bandwidth Memory
  31. Azure での機密コンピューティングの 10年間 Microsoft Research formed Confidential Computing 2014 2015

    CC paper published Cofound Confidential Computing Consortium 2019 2019 VMs with Intel SGX Enclave VMs with Nvidia A100 APM 2023 2023 Confidential containers on ACI 2023 Confidential containers with AKS 2023 AMD SEV-SNP confidential VMs Nvidia H100 confidential VMs 2024 Intel TDX confidential VMs 2024
  32. 製品ポートフォリオ サービス Confidential containers on Azure Red Hat OpenShift Public

    preview SQL always encrypted with secure enclaves Generally available Azure Virtual Desktop on confidential VMs Generally available Azure Data Explorer Public preview Azure Confidential Databricks Generally available Managed HSM Generally available Microsoft Azure Attestation Generally available Azure Confidential Ledger Generally available Azure Batch on confidential VMs Generally available Confidential inferencing with AOAI Whisper Preview コンテナ Intel SGX app enclave nodes on AKS Generally available Confidential VM AKS worker nodes Generally available Confidential containers on ACI Generally available Confidential containers on AKS Public preview インフラ DCasv5 & ECasv5 AMD SNP CVMs Generally available DCsv2 & DCsv3 Intel SGX VMs Generally available NCC VMs NVIDIA GPUs Generally available DCesv5 & ECesv5 Intel TDX CVMs Public preview
  33. Azure NCCv5 における VLLM 推論のスループット VM の構成 vCPU – 40

    コア GPU - 1 メモリ – 320GB OS Ubuntu 22.04.4 LTS (6.5.0-1023-azure) GPU ドライバー のバージョン 550.90.07 GPU vBIOS ージョン 96.00.88.00.11 General Availability: Azure confidential VMs with NVIDIA H100 Tensor Core GPUs - Microsoft Community Hub
  34. AI を安全に進化させることは私たちの使命の中核であり、Azure Confidential Computing と協力して、Nvidia GPU 上のオーディオからテキストへの Whisper モデルの Confidential

    Inference を検証およびテストできたことを嬉 しく思います。 Matthew Knight, Head of Security, OpenAI F5 は、NVIDIA H100 Tensor Core GPU を搭載したMicrosoft Azure Confidential VMを活用して、生成 AI モデルを開発および導入できます。AI モデルはプライベート データから学習しますが、基礎となる情報は Trusted Execution Environment (TEE) 内で暗号化されたままです。このソリューションにより、AIを活用した高度なセキュリ ティソリューションを構築しながら、モデルが分析するデータの機密性を確保できます。これにより、お客様の信頼が強 化され、安全なネットワーク保護のリーダーとしての当社の地位が強化されます。Azure Confidential Computing は、より優れた、より安全で、より革新的なデジタル世界を構築するのに役立ちます。 Arul Elumalai, SVP & GM, Distributed Cloud Platform & Security Services, F5, Inc. ServiceNow は Microsoft、NVIDIA、Opaque と緊密に連携して、AI を人々のために活用し、Now Platform で顧客と従業員の両方に優れたエクスペリエンスを提供しています。Opaque と Microsoft のパートナーシップにより、 NVIDIA H100 Tensor コア GPU を搭載した Azure Confidential VMs のパワーを迅速にデプロイして活用し、検 証可能なデータ プライバシーとセキュリティを備えた機密性の高い AI を提供できます。 Kellie Romack, Chief Digital Information Officer, ServiceNow Opaque プラットフォームと Azure Confidential VMs と NVIDIA H100 Tensor コア GPU を統合して Confidential AI を作成することで、データ主権とプライバシーに関する懸念が解消され、AI の導入がより迅速かつ 容易になります。Confidential AI は AI デプロイの未来であり、Opaque、Microsoft Azure、NVIDIA により、この 未来を今すぐ実現しています。 Aaron Fulkerson, CEO, Opaque Systems Azure NCCv5 のお客様からのフィードバック ※ General Availability: Azure confidential VMs with NVIDIA H100 Tensor Core GPUs - Microsoft Community Hub より抜粋抄訳
  35. Confidential inferencing with Azure OpenAI Service Whisper model P R

    E V I E W Enterprise Cloud AI application Data Prompts Responses OHTTP proxy Encrypted prompts Encrypted responses Azure OpenAI service front door Azure Confidential GPU VM OHTTP Gateway Azure OpenAI Whisper OS + GPU driver vTPM NVIDIA H100 Tensor core GPU (Confidential mode) Private key release Attested public key Key Management service Azure Attestation service
  36. 特徴 Azure Confidential Clean Rooms 高度なデータ分析、AI モデルの開発、推論において、 プライバシーに機密性の高いデータを使用する際の課題を解決する、セキュアでコンプライアンスに準拠した環境 Preview メリット

    • セキュアなコラボレーションとガバナンス: 改ざん防止の契約を作成し、データの有効性と透明性を確保 • データ プライバシーの強化: セキュアな、ハードウェア ベースの環境を構築し、許可されたワークロードのみを許可 • 各ステップでの検証可能な信頼性: 暗号化されたリモート検証により、プライバシーを保証 Learn more and get started Preview blog: https://aka.ms/ACCR-preview-blog
  37. Azure Confidential Clean Rooms データの プライバシー コラボレーションのために共有さ れるデータのプライバシーを保護 サンドボックスでの 実行

    データ処理のための制限され たコンピューティング環境 セキュアな コラボレーション と ガバナンス 複数関係者によるガバナ ンスをサポートし、コンソーシ アム・メンバーが改ざん防 止の契約を定義し、実施 することが可能 コンフィデンシャル ハードウェア 利用中のデータを保護 デプロイメントをリアルタイ ムで認証 リモート 証明 プレビュー
  38. AI-Ready Infrastructure Boot Camp ~ 拡張性のある AI 利用に向けた IT 基盤とは?

    ~ 概要: あらゆる規模の、あらゆる業種において、生成 AI を組み込んだアプリケーションの評価に取り組まれてい るかと思います。一方で、生成 AI の評価から本番環境へ移行し、本格的なビジネス価値を得る道筋 が見いだせず、苦労している組織も多いのではないでしょうか? Microsoft では、これまでのお客様へのご支援の中で、拡張性のある AI 利用に向けて、以下の 3 つの ポイントが重要と認識しています。 (1) AI 向けのクラウド環境を準備 (2) データと AI ソリューションのコロケーション (3) AI のセキュア化、管理、およびガバナンス このイベントでは、上記の 3 つのポイントを満たす IT 基盤を構築するための技術的要素を紹介します。 また、上記のテーマとは別に、直前に開催される Microsoft Ignite 2024 での、Azure Infrastructure に関する発表を速報でお伝えする特別セッションを予定しております。 皆様ご多忙とは存じますが、是 非、拡張性のある AI 利用に向けた IT 基盤構築のファースト ステップとして、このイベントをご活用いた だければ幸いです。 開催日時とお申込みサイト: • 2024年11月27日(水) 13:00-17:00 https://msevents.microsoft.com/event?id=1698590081 • 2024年11月28日(木) 13:00-17:00 https://msevents.microsoft.com/event?id=2115814523 https://msevents.microsoft.com/event?id=31970756614 アジェンダ詳細は https://aka.ms/azinfbcjp アジェンダ詳細は https://aka.ms/aiwd3