AWS Neuron Community - Day One

Transcript

1. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 針原 佳貴 Sr. Startup GenAI/Quantum Solutions Achitect Amazon Web Services Japan Neuron Community - Day One
2. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 2 本⽇のきっかけは… 2025年1⽉14⽇ に開催した「基盤モデル開発者向け Deep Dive セッション」 にご登壇頂いたカラクリ社 中⼭様より https://aws.amazon.com/jp/blogs/news/model-developer-deep-dive- trainium2-bedrock-marketplace/
3. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS LLM 開発⽀援プログラム (2023-2024) • ⽇本の企業・団体が独⾃の基盤モデル (FM)・ ⼤規模⾔語モデル (LLM) を構築するための独⾃プログラム • 15採択者のうち12事業者が FM/LLM 学習に EC2 Trn1 (AWS Trainium) インスタンスを選択 10事業者は Llama 2 ベースの (継続) 事前学習 • 「モデルのアーキテクチャは ⽇進⽉歩で新しいものが出ていますが、 学習戦略やデータは企業の開発技術として注⼒すべき」 — リコー 鈴⽊ 剛 ⽒ • 「産業界では、ChatGPT よりもさらにハルシネーション が抑⽌された信頼性の⾼い LLM が求められている」 — ストックマーク 有⾺ 幸介 ⽒ 3 Japanese: https://aws.amazon.com/jp/blogs/news/llm-development-support-program-generative-ai-program-results/ English: https://aws.amazon.com/blogs/machine-learning/unlocking-japanese-llms-with-aws-trainium- innovators-showcase-from-the-aws-llm-development-support-program/
4. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 経済産業省 GENIAC 第2期 (2024-2025) • AWS は計算リソース提供事業者として GENIAC ⽀援チームを⽴ち上げ⽀援: • 計算資源: Amazon EC2 P5, Trn1 インスタンスの提供 • 技術⽀援: AWS Solutions Architect (SA) 中⼼に分散学習クラスタ構築⽀援 • 開発者コミュニティ: 海外機械学習エンジニアとの交流 (最先端の開発動向)、 国内機械学習エンジニア同⼠の交流 (知⾒共有) など • 事業化⽀援: GENIAC で開発された基盤モデル・⽣成 AI アプリケーションの go-to-market や Amazon Bedrock Marketplace 掲載⽀援など • 「AWSからは技術・ビジネスの両⾯でご⽀援いただき⼤変感謝しております。 AWS Trainium は効率的に LLM 開発を進めることができる最適な選択肢だと思っ ております」 — カラクリ 中⼭ 智⽂ ⽒ https://aws.amazon.com/jp/blogs/news/geniac-cycle2-kick-off/ 4
5. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon EC2 Inf2 (AWS Inferentia2) • ELYZA: EC2 Inf2 (AWS Inferentia2) インスタンスを利⽤し、Speculative Decoding で⾼速化した ELYZA LLM for JP (Llama 2 ベース) の推論環境構築 「AWS Inferentia2 は、⾼いスループットと低いレイテンシーを実現しています し、このアクセラレーターを搭載したインスタンスはキャパシティの観点で簡単 に調達できます。⽐較的安価なコストで、かつ⼤量にサーバーを準備できるとい うのは、デモサービスを構築するうえで重要な要素でした」 — 堀江 伸太朗 ⽒ https://aws.amazon.com/jp/blogs/startup/tech-interview-elyza-2024/ • Spiral AI: ⽂章⽣成処理については、AWS Inferentia2 を搭載した Amazon EC2 Inf2 インスタンスを使⽤しています。このインスタンスは⽣成 AI モデル向けに、 推論コストを抑えつつ⾼いパフォーマンスを実現してくれます。⾳声合成の部分 は、コストを下げつつ⾼速に応答することを⽬指して、コストパフォーマンスに 優れた Amazon EC2 G5g インスタンスを活⽤しています。 —安⽴ 健⼈ ⽒ https://aws.amazon.com/jp/blogs/startup/tech-interview-spiralai-2024/ 5
6. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 7 コミュニティの意義 • ⽇本からは AWS Trainium/Inferentia の先進的な事例が出ており、 その知⾒が各社に溜まっている • これは、Annapurna Labs 含む AWS グローバルチームからも⼗分認識されている • しかし、企業間の情報交換やコラボレーションが⼗分に進んでいるとはいえない • そこで、Neuron Community において、実際の活⽤における知⾒を共有し、 エンジニア同⼠による会社を越えたコラボレーションが期待される
7. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved.