Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Amazon Web Services のデータセンターを支える独自半導体開発

Amazon Web Services のデータセンターを支える独自半導体開発

2025年4月25日に開催された応用物理学会 超集積エレクトロニクス産学連携委員会の研究会「IT社会インフラである大規模データセンターを支える技術」にて登壇の機会をいただき、AWSのシリコンイノベーションについてお話しさせていただきました。
https://jsapuie.org/866

Avatar for Hiroshi Tokoyo

Hiroshi Tokoyo

April 25, 2025
Tweet

More Decks by Hiroshi Tokoyo

Other Decks in Technology

Transcript

  1. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Web Services のデータセンターを 支える独自半導体開発 常世 大史 Annapurna Labs, Amazon Web Services Japan 2025/04/25
  2. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 自己紹介 名前:常世 大史 (とこよ ひろし) 所属:Annapurna Labs (アンナプルナラボ) 職務:アンナプルナラボ発信技術の拡販、技術支援 経歴:グローバル半導体企業でのキャリアを経て、2013年、 当時ステルスモードで活動を開始していた半導体設計 会社アンナプルナラボにアジア圏初のメンバーとして 参画。国内外チップ外販ビジネスの技術支援を主導 2015年の Amazonによる買収後は、Nitroカードの開発支 援、Nitro カードを搭載した機器の開発支援などを経て 、現在は AI アクセラレータ AWS Trainium、Inferentia を 搭載したインスタンスの技術支援に従事 好きな AWS サービス: AWS 自社設計チップ搭載 EC2 インスタンス
  3. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. • AWS シリコンイノベーション • AWS Nitro System • AWS Graviton • AWS Trainium & Inferentia • 今後の展望 本日のアジェンダ
  4. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS シリコンイノベーション 4
  5. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. https://www.geekwire.com/2023/inside-the-ai-chip-race-how-a-pivotal-happy-hour-changed-amazons- strategy-in-the-cloud/ 2013年秋、シアトルのパイクプレイスマーケット にある歴史あるレストランで、AWS の James Hamilton氏と Annapurna Labs 創業者の Nafea Bshara 氏が運命的な出会いを果たしました。その直前、 Hamilton氏は AWS の独自チップ開発の必要性につ いて社内文書を作成していました。インフラスト ラクチャの革新とコスト制御には、半導体レベル での開発が不可欠との考えからです。 この出会いを経て、AWS は 2015年に Annapurna Labs を買収。サーバーチップ Nitro の開発を皮切 りに、現在では AI 特化型チップ Trainium と Inferentia まで手掛け、クラウドインフラの技術革 新を加速しています。 【生成 AI による要約】
  6. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Annapurna Labs の半導体技術を AWS のコア技術で活用 AWS Nitro System AWS 基盤の共通処理をオフ ロードする AWS のコア技術 AWS Graviton パワフルかつ効率的な プロセッサ AWS Trainium AWS Inferentia 機械学習アクセラレータ AWS におけるシリコンイノベーション
  7. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. なぜ独自に半導体開発を行うのか? AWS の仕様に合わせて ハードウェアを最適化 高い電力効率 製品の仕様化から導入 までエンドツーエンド の開発プロセス より多くの価値を創造 エンドツーエンドでの 最適化 信頼性・可用性 動作監視・自己回復機能 をチップレベルで実装 運用 イノベーション スピード 最適化
  8. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Nitro System 8
  9. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Recap: re:Invent 2016 • DPU (Data Processing Unit) という言葉ができる前から AWS では同様の技術を開発、利用開始 • 翌年の re:Invent 2017 で AWS Nitro System として発表
  10. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 10GBPS NITRO 2 0 1 3 25GBPS NITROv2 2 0 1 5 100GBPS NITROv3 2 0 1 7 100GBPS NITROv4 2 0 2 0 200GBPS NITROv5 2 0 2 2 2024 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 400GBPS NITROv6 N E W AWS Nitro System によるネットワークの革新 Amazon EC2 独自の仮想化基盤。ネットワークやストレージの仮想化、 セキュリティの処理等を専用ハードウェアにオフロードして、ホスト と分離。最適化されたパフォーマンスを提供
  11. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. AWS Nitro System 以前の仮想化基盤 Host system Customer instances Xen hypervisor Dom0 Management security and monitoring Local storage Amazon EBS storage Amazon VPC networking
  12. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Nitro System 以前 Host system Customer instances Xen hypervisor Dom0 Management security and monitoring Local storage Amazon EBS storage Amazon VPC networking Host system Nitro Hypervisor Customer instances Nitro Card(s) PCI Express Management security and monitoring Local storage Amazon EBS storage Amazon VPC networking Nitro System 以後
  13. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Host system Nitro Hypervisor Customer instances Nitro Card(s) PCI Express Management security and monitoring Local storage Amazon EBS storage Amazon VPC networking AWS Nitro System がもたらしたもの • 多様なインスタンスタイプの提供 • 最大限の性能を提供 • セキュリティの向上
  14. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Host system Nitro Hypervisor Customer instances Nitro Card(s) PCI Express Management security and monitoring Local storage Amazon EBS storage Amazon VPC networking AWS Nitro System がもたらしたもの • 多様なインスタンスタイプの提供 • 仮想化基盤がホストから独立することで ホストとして様々なインスタンスタイプ の提供が容易に • Nitro System の恩恵を受けつつ、ハイパー バイザーを除いたベアメタルタイプの提 供が可能に • 最大限の性能を提供 • セキュリティの向上
  15. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 多様なインスタンスタイプの提供 2017 800+ 2024 2006 70 インスタンス タイプの数 Amazon EC2 独自の仮想化基盤である AWS Nitro System を発表
  16. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon EC2 Mac1/Mac2 インスタンス
  17. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Host system Nitro Hypervisor Customer instances Nitro Card(s) PCI Express Management security and monitoring Local storage Amazon EBS storage Amazon VPC networking AWS Nitro System がもたらしたもの • 多様なインスタンスタイプの提供 • 最大限の性能を提供 • ベアメタルとほぼ同等性能の仮想 化環境を実現 • SRD プロトコルによるネットワー ク性能の向上 • EBS ストレージ、ローカルストレ ージ (SSD) の性能向上 • セキュリティの向上
  18. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 仮想化オーバーヘッドの影響を極小化しており 仮想化環境でもベアメタルとほぼ同等のパフォーマンスを発揮 最大限の性能を提供 : ベアメタル https://aws.amazon.com/blogs/hpc/bare-metal-performance-with-the-aws-nitro-system/
  19. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Scalable Reliable Datagram (SRD) 19 SRD によるスループット、レイテンシーの改善 AWS が独自開発した 低遅延・高スループット のトランスポートプロトコル • 複数のネットワーク経路を活用するマルチパスルーティング • 独自の link/switchダウン検出、輻輳制御による遅延・ジッターの低減 Instance Elastic Network Adapter Instance Elastic Network Adapter AWS ネットワーク https://ieeexplore.ieee.org/document/9167399
  20. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Scalable Reliable Datagram (SRD) 20 SRD によるスループット、レイテンシーの改善 EFA – Elastic Fabric Adapter • SRD による広帯域・低遅延の NCCL/MPI 向け ネットワークインタフェース • 分散学習など NCCL/MPI を利用するクラスタ のスケーラビリティを向上 ENA Express • 同じアベイラビリティゾーン内の 2 つの EC2 イ ンスタンス間での通信 • SRD プロトコルを利用し、単一フローの帯域幅 を 5Gbps から 25Gbps に増加、テールレイテン シーを最大 85% 改善 OS Nitro
  21. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 1 Gbps 1 Gbps 25 Gbps 50 Gbps 100 Gbps 200 Gbps 400 Gbps 800 Gbps 1600 Gbps 3200 Gbps B A S E L I N E N I T R O - E N A B L E D N E T W O R K - O P T I M I Z E D H I G H - S C A L E W O R K L O A D S © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 最大限の性能を提供 : ネットワーク 6400 Gbps
  22. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. S H A R E W I T H N E T W O R K D E D I C A T E D E B S B A N D W I D T H N I T R O - E N A B L E D N E T W O R K A N D B L O C K S T O R A G E O P T I M I Z E D 80 Gbps 350K IOPS 60 Gbps 260K IOPS 38 Gbps 160K IOPS 19 Gbps 80K IOPS 14 Gbps 75K IOPS 4 Gbps 32K IOPS 2 Gbps 16K IOPS 1 Gbps 8K IOPS 100 Gbps 400K IOPS © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. EBS 帯域と IOPS 性能の向上 最大限の性能を提供 : ストレージ ※ EBS (Amazon Elastic Block Store) とは - スケーラブルな高性能ブロックストレージ - インスタンスにアタッチして利用 Nitro Card は NVMe インターフェースと性能劣化 のないインライン暗号化に対応
  23. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. • 高性能、低レイテンシーの AWS に よるカスタム SSD AWS Nitro SSD 向上した信頼性 高速化したファームウェア更新に より信頼性を向上し、インスタン スのダウンタイムを削減 NITROセキュリティ ディスクに保存された全てのデ ータは AES-256 の一時鍵に よって暗号化 低レイテンシ AWS Nitro system と統合され 60% 低いレイテンシを提供 NAND Flash translation layer (FTL) を Nitro Card 上にオフロード 一般的な SSD
  24. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Host system Nitro Hypervisor Customer instances Nitro Card(s) PCI Express Management security and monitoring Local storage Amazon EBS storage Amazon VPC networking AWS Nitro System がもたらしたもの • 多様なインスタンスタイプの提供 • 最大限の性能を提供 • セキュリティの向上 • 全ての通信は暗号化 • セキュアなブート環境を実現 • ホストから独立したファームウェア アップデートが可能 • 仮想化基盤が分離されており、ホスト 環境への管理アクセスを禁止
  25. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. リモートアクセス の禁止 セキュアブート パッチ適用 暗号化 セキュリティは常に AWS にとって最優先事項 セキュリティの向上
  26. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Host system Nitro Hypervisor Customer instances Nitro Card(s) PCI Express Management security and monitoring Local storage Amazon EBS storage Amazon VPC networking AWS Nitro System がもたらしたもの • 多様なインスタンスタイプの提供 • 最大限の性能を提供 • セキュリティの向上
  27. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Graviton 27
  28. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 幅広いプロセッサアーキテクチャの選択肢 AMD EPYC プロセッサ Intel Xeon Scalable プロセッサ AWS Graviton プロセッサ Apple Silicon
  29. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Graviton3 と比較した Web アプリ処理性能 Graviton3 と比較した データベース処理性能 GRAVITON4 2 0 2 4 4世代にわたるコスト性能のリーダーシップ N E W 2 0 1 8 GRAVITON GRAVITON2 2 0 1 9 GRAVITON3/3E 2 0 2 1 64 ビット ARM プロセッサコア搭載 独自設計 AWS シリコン クラウドネイティブなワークロードに最適化
  30. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 64-bit Arm コア採用 AWS カスタムチッ プ、16 物理コア搭載 A1 インスタンスファミリーとしてロー ンチ 顧客からのフィードバックのもと Arm エコシステムの発展に貢献 AWS Graviton(第 1 世代) 2018 年一般提供開始
  31. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. • サーバ向けコアである Arm Neoverse N1 を採用 • 1 チップに 64 物理コア搭載 • 7nm プロセスルール、300億トランジスタ • 様々な EC2 インスタンスタイプを提供済み • 多くのマネージドサービスでも選択可能 • 同等の x86 系インスタンスと比較してコストパ フォーマンスが最大 40 % 向上、消費電力効率が 最大 3.5 倍 AWS Graviton2 2020 年一般提供開始
  32. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. G R AV I TO N 2 イ ン ス タ ン ス 強 化 さ れ た セ キ ュ リ テ ィ AWS Graviton2 搭載インスタンス Graviton 搭載インスタンスを本格導入、用途に応じた様々なインスタンスタイプを提供
  33. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. • Arm Neoverse V1 コアを採用 • 1 チップに 64 物理コア搭載 • 550億トランジスタ、チップレットベースの設計 • Graviton2 と比較して2倍の浮動小数点演算性能 • DDR5 メモリ採用により Graviton2 と比較してメモ リ帯域幅が 50% 向上 • 同等の x86 系インスタンスと比較して 60% 消費電 力削減 • AWS Graviton2 と比較してコストパフォーマンスが 25% 向上 AWS Graviton3 2022 年一般提供開始
  34. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. キャッシュ容量 メモリ帯域幅の向上 コア数増加 AWS Graviton4 96 個の Arm Neoverse V2 コア コアあたり 2MB の L2 キャッシュ 12 チャネルの DDR5-5600 メモリ 2024 年一般提供開始
  35. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. D R A M N I T R O C A R D S C O H E R E N T L I N K 全ての 高 速 物 理 イ ン タ フ ェ ー ス を暗号化 AWS Graviton4
  36. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. AWS Graviton4 DDR5 DDR5 DDR5 DDR5 DDR5 DDR5 DDR5 DDR5 DDR5 DDR5 DDR5 DDR5 PCIe gen5 PCIe gen5 • 7 つのダイで構成されるチップレットデザイン • 用途に応じて異なるプロセスを利用、設計、検証の 工程を最適化
  37. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. シングルソケット (96 vCPU) • Graviton3 と比較して 50% 多いコア数 コヒーレントなマルチソケットをサポート (192 vCPU) • Graviton3 と比較して 3 倍のコア数 • Graviton3 と比較して 3 倍のメモリ容量( 最大 3TB) スケールアップワークロードへの対応
  38. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. • Graviton4 搭載 R8g インスタンスで大幅な性能向上を達成 • 世代を重ねるごとの着実な進化 Graviton の進化:4 世代で性能は4倍に 0% 50% 100% 150% 200% 250% 300% 350% 400% 450% 500% Groovy MySQL 性能向上 A1 R6g R7g R8g
  39. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 柔軟な Graviton 搭載サーバ構成を実現 Graviton4 搭載サーバ構成 • Nitro Card による柔軟な構成が可能 - 独立した2つの仮想インスタンス - 1つのコヒーレントな仮想インスタンス - 独立した 2つのベアメタルインスタンス - 1つのコヒーレントなベアメタルインス タンス Graviton3 搭載サーバ構成 • チップ・パッケージ・マザーボード のデザインを最適化し、1 サーバあた り 3 ソケット構成が可能に • Nitro Card が 3 ソケット構成に対応
  40. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Graviton が実現する省エネルギー 同等処理で最大 60% の消費電力削減
  41. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 41 カーボンフットプリントの削減事例 62% API リクエストあたり の炭素排出量削減 38% コンピューティング リソースの削減 47% ワークロード コストの削減 50% 毎月のカーボン排出量 の削減 42% ワークロードコストの 削減 30% コアアプリケーション の性能向上 https://aws.amazon.com/ec2/graviton/graviton-sustainability/ https://aerospike.com/solutions/use-cases/database-sustainability/ 49% TPS (1秒あたりの処理数) あたりの炭素排出量削減 18% トランザクションスルー プットの向上 27% コストの削減
  42. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. A M A Z O N E L A S T I C C O M P U T E C L O U D の 売 上 高 上 位 1 0 0 0 社 の お 客 様 の 9 4 % 以 上 が 、 A W S G R AV I T O N ベ ー ス の E C 2 イ ン ス タ ン ス を 活 用 さ れ て い ま す 。 ( 2 0 2 4 年 第 2 四 半 期 時 点 ) AWS Graviton を活用しているお客様 DIRECTV stream OneGame Ansys hotelbeds
  43. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. プライムデーでの Graviton 活用 2024年 • 5,800 以上の異なる Amazon.com サービスを支える ため、25万個以上の AWS Graviton チップを活用 2023年 • Graviton インスタンスにより、2,600 以上のサー ビスを実現。その数は 2022年の 2.7倍に 2022年 • Graviton2 の採用拡大により効率性が向上。全体の サーバー規模は 2021年のサイバーマンデー比で 7% 増加のみ 2021年 • 12の主要小売サービスにおいて、3 リージョンのク ラスターで 53,000 以上の Graviton2 ベースの C6g イ ンスタンスを展開
  44. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 44 なぜ AWS Graviton ? 過去 2 年間において、新たに追加されたコンピューティング リソースの 50% 以上が AWS Graviton 搭載インスタンス AWS Graviton ベースのインスタンスは、同等のEC2インスタン スと比較して最大 40% 優れた価格性能を提供 AWS Graviton インスタンスは、同等の EC2 インスタンスと比較 して 最大 60% の 消費電力を削減
  45. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Trainium & Inferentia 45
  46. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 14 16 18 20 22 24 26 28 30 2010 2012 2015 2018 2020 2023 2026 2029 コンピューティングのスケーリングには 次世代の AI インフラが必要 AI インフラの次なる フロンティア 学習に必要な演算性能 (FLOPS) 10 10 10 10 10 10 10 10 10 Gopher (280B) Source: Epoch AI, ‘Data on Notable AI Models’. 26 Nov 2024 Llama 3.1- 405B VGG16 T5-11B
  47. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 2 0 1 9 INFERENTIA TRAINIUM 2 0 2 2 INFERENTIA2 2 0 2 3 TRAINIUM2 2 0 2 4 コスト性能に優れた AI アクセラレータチップ N E W Trainium と比較した HBM メモリ帯域幅 Trainium と比較した HBM メモリ容量 Trainium と比較した処 理性能
  48. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. AWS が自社開発した第 2 世代の生成 AI / ML アクセラレータ 48 AWS Trainium 2022 年一般提供開始 Trn1n.32xlarge : AWS Trainium 搭載インスタンス • 16 個の AWS Trainium を搭載 • 同等の GPU インスタンスと比較し 最大 50%低価格を実現 • 512GB の高速 HBM2 メモリ搭載 • 1600 Gbps の EFA ネットワーク帯域に対応 HBM 容量 HBM 帯域幅 (BF16/FP16/FP8)
  49. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. AWS Trainium 第 2 世代 Neuron コア v2 Tensor エンジン:畳み込み等、行列演算に最適化 Scalar エンジン:RELU 等の活性化関数に最適化 Vector エンジン:Batch Normalization やプーリング処理 に最適化 汎用 SIMD エンジン:カスタムオペレータに対応 HBM HBM NeuronCore-v2 GPSIMD Engine NeuronLink-v2 DMA DMA DMA DMA DMA DMA DMA Collective Communication Host PCIe On-chip SRAM memory Tensor Engine Vector Engine Scalar Engine NeuronCore-v2 GPSIMD Engine NeuronLink-v2 On-chip SRAM memory Tensor Engine Vector Engine Scalar Engine Trainium NeuronLink-v2 NeuronLink-v2 https://aws.amazon.com/machine-learning/trainium/ NeuronLink-v2 高帯域、低遅延なデバイス間接続 32 GB HBM メモリスタック 専用 Collective Compute エンジン 分散学習、推論を行う際に、演算と集団通信をオー バーラップ
  50. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. AWS Trainium HBM HBM NeuronCore-v2 GPSIMD Engine NeuronLink-v2 DMA DMA DMA DMA DMA DMA DMA Collective Communication Host PCIe On-chip SRAM memory Tensor Engine Vector Engine Scalar Engine NeuronCore-v2 GPSIMD Engine NeuronLink-v2 On-chip SRAM memory Tensor Engine Vector Engine Scalar Engine Trainium NeuronLink-v2 NeuronLink-v2 2D torus topology (trn1.32xlarge) Trn1n.32xlarge インスタンスでは 16 個の AWS Trainium を搭載
  51. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. AWS が自社開発した第 3 世代の生成 AI / ML アクセラレータ 51 AWS Trainium2 2024 年一般提供開始 Trn2.48xlarge : AWS Trainium2 搭載インスタンス • 16 個の AWS Trainium2 を搭載 • 同等の GPU インスタンスと比較し 30-40%高いコスト性能 • 1.5TB の高速 HBM3 メモリ搭載 • 3,200 Gbps の EFA ネットワーク帯域に対応 HBM 容量 HBM 帯域幅 Dense / Sparse compute
  52. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. AWS Trainium2 第 3 世代 Neuronコア v3 - 8つの Neuronコア - 4つの 論理 Neuronコアとして利用可能 - インスタンスあたり 128 Neuronコア - 64 論理 Neuronコア - Sparsity 対応 (最大 4 倍の FLOPS 値) 96 GB (4 x 24GB) HBM メモリスタック - Trainium と比較し 3倍の容量、4倍の帯域幅 NeuronLink-v3 - より高帯域、低遅延なデバイス間接続 - Trainium 同様の 2D torus topology HBM HBM NeuronLink-v3 DMA DMA DMA DMA DMA DMA DMA Collective Communication Host PCIe NeuronLink-v3 Trainium2 NeuronLink-v3 NeuronLink-v3 HBM HBM NeuronCore-v3 GPSIMD Engine On-chip SRAM memory Tensor Engine Vector Engine Scalar Engine NeuronCore-v3 GPSIMD Engine On-chip SRAM memory Tensor Engine Vector Engine Scalar Engine NeuronCore-v3 GPSIMD Engine On-chip SRAM memory Tensor Engine Vector Engine Scalar Engine NeuronCore-v3 GPSIMD Engine On-chip SRAM memory Tensor Engine Vector Engine Scalar Engine
  53. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 53 AWS Trainium、Inferentia を活用中のお客様 Anyscale
  54. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Powering AI Innovation at Amazon Search on Amazon Rufus AI shopping assistant Alexa conversational AI
  55. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 「Anthropicでは、革新的なAIが人々と社会の繁栄に貢献 することを保証することが我々のミッションです。ス ピードは我々の企業ユーザーにとって不可欠です。その ため、業界をリードする低レイテンシーでClaude 3 Opus の性能に匹敵する Claude 3.5 Haiku の提供を発 表しました」とDario Amodeiは述べました。 「我々は、レイテンシーに最適化された推論のために Trn2上で動作する Claude 3.5 Haiku を、Amazon Bedrockを通じて提供できることを嬉しく思います。こ れは、我々のお客様に最速の応答時間を提供し、他のど のインスタンスよりも60%速くなっています。我々は、 より多くの Claude モデルを Trainium2 に移行し続ける ことに興奮しています。これにより、お客様はパフォー マンスの向上と生産性の増加を享受できるでしょう」 Anthropic モデルを Trainium2 で 60% 高速実行
  56. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Train your model faster with 性能向上の要素 Train your model faster with Train your model faster with Train your model faster with TFLOPS 入力トークンの処理 ✓ Trainium2 Trainium2 メモリ帯域幅 出力トークンの生成 ✓ メモリ容量 ✓
  57. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 性能向上の要素 TFLOPS メモリ帯域幅 メモリ容量 インターコネクト ✓ AWS設計のネットワークファブリック 10マイクロ秒以下で数十ペタビットの転送を実現
  58. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 演算効率、電力効率を高めるシストリックアレイ 電力効率に優れたコンピュート 局所通信 並列処理 データの再利用
  59. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 59 最適化された電力供給の仕組み CROSS – SECTION CUT HBM Interposer Electrical via Compute chip
  60. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 最適化された電力供給の仕組み Trainium – 横方向 (lateral) 電力供給 BOTTOM TOP VO L TAGE REGU L ATOR S
  61. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 最適化された電力供給の仕組み Trainium2 – 垂直方向 (vertical) 電力供給 VO L TAGE REGU L ATOR S TOP Trainium2 では Trainium と比較して最大 3 倍の電力効率を達成 BOTTOM
  62. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. VOLTAGE ( M V ) TIME Trainium LOAD END LOAD START Trainium2 最適化された電力供給の仕組み
  63. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 時間 導入 可能な限り迅速に導入 典型的な導入曲線 機械学習ワークロードの導入曲線 導入規模の拡大 早期採用層 機械学習の導入曲線
  64. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. モジュール式の堅牢なデザイン ケーブルと構成部品の最小化 シンプルな冷却システム 生産規模の拡大
  65. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 生産ラインの自動化 システム内診断と稼働前点検 生産規模の拡大 モジュール式の堅牢なデザイン ケーブルと構成部品の最小化 シンプルな冷却システム
  66. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 今後の展望 66
  67. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. イノベーションのスピードは加速 2011 2012 2014 2015 ENHANCED STRORAGE 2018 2019 2020 XEN 2010 2022 2023 2024 2013 ENHANCED NETWORKING 2016 2017 AWS NITRO SYSTEM 2021 NITRO SSD NITRO 10Gbps NITROv2 25Gbps NITROv3 100Gbps NITROv4 100Gbps NITROv5 200Gbps NITROv6 400Gbps Graviton Graviton2 Graviton3 Graviton4 Inferentia Inferentia2 Trainium Trainium2 インスタンスタイプの数 800+
  68. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 68 独自半導体開発への投資は継続 • 2025 年内の AWS Trainium3 登場をアナウンス • AWS 初の 3nm プロセス採用 • Trainium2 の 2倍の性能 • 40%の電力効率の向上
  69. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 69 継続する次世代の AI インフラへの投資 • Amazon EC2 Trn2 UltraServers をプレビュー開始 • Trainium2 64 チップを 広帯域低遅延 NeuronLink-v3 で接続 • ML 向け EC2サーバーとして最高性能を達成 SPARSE COMPUTE DENSE COMPUTE HBM BANDWIDTH NEURONLINK BANDWIDTH EFAv3 BANDWIDTH HBM CAPACITY
  70. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 71 AWS のサステナビリティへの取り組み AWS でワークロードを実行すると、オンプレ ミスと比較して、最大 4.1 倍エネルギー効率 が向上 AWS でワークロードを実行、最適化した場合、 関連する炭素排出量を最大 99% 削減可能 2040 年までのネット・ゼロ・カーボン (温室効果ガス排出量実質ゼロ)達成 Data from 2024 Accenture study: How moving onto the AWS cloud reduces carbon emissions グローバルでの電力消費量と同等の再生 可能エネルギーで確保 - 2023年 2030年までにAWS ウォーターポジティ ブコミットメントへの進捗状況 100% 41% 30% 再生プラスチック もしくはバイオプ ラスチックの利用 2年+ Amazon S3 が利用 する HDD のライフ サイクルを延長 >99% 安全に廃棄された 機器の99%以上が、 再利用、再販売ま たはリサイクル 2,350万 コンポーネントを リサイクルあるい はセカンダリマー ケットでの販売 よりよい設計, より長く使用, より多くの再利用
  71. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. 72 まとめ - AWSの独自半導体開発がもたらす価値 • AWS 仕様に最適化された高性能・省電力アーキテクチャ • アイデアから実装までの開発プロセスを加速、最新技術をいち早く提供 • チップレベルから信頼性の追求 • 継続的なイノベーションで新たな可能性を創出 AWSは独自半導体開発を通じて、クラウドコンピューティングの可能性を無限に広 げていきます https://aws.amazon.com/jp/summits 日本最大の “AWS を学ぶイベント” AWS Summit Japan が 6月 25 日(水)、26 日(木)の二 日間、幕張メッセ & ライブ配信で開催されます。ぜひご参加ください。
  72. © 2025, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Thank you! © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved.