日本の AI 開発と世界の潮流 / GenAI Development in Japan

Transcript

1. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⽇本の AI 開発と世界の潮流 針原 佳貴 (Yoshitaka Haribara, Ph.D.) J A W S - U G P r e s e n t s A I B u i l d e r s B a y X: @_hariby Sr. GenAI/Quantum Startup Solutions Architect Amazon Web Services Japan G.K. 1
2. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 針原佳貴, Ph.D. アマゾン ウェブ サービス ジャパン合同会社 シニア ⽣成 AI・量⼦ スタートアップ ソリューションアーキテクト ⼤阪⼤学 量⼦情報・量⼦⽣命研究センター (QIQB) 招へい准教授 略歴 2013年 ⼤阪⼤学 理学部 数学科卒業 2018年 東京⼤学 ⼤学院 情報理⼯学系研究科 博⼠課程修了 2018年 AWS Japan 新卒⼊社 趣味はドラム 好きな AWS サービス: Amazon Bedrock, Amazon SageMaker AI, Amazon Braket, Amazon EC2 X: @_hariby ⽣成 AI の書籍を書きました Amazon ベストセラー 8/22 (金) 発売日即増刷決定🎉
3. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 22 生成 AI のこれまでとこれから
4. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾔語モデル (LM) の⼤規模化 https://www.economist.com/interactive/briefing/2022/06/11/huge-foundation-models-are-turbo-charging-ai-progress [Sevilla et al., 2022] Log (FLOPS) GPT-2 (1.5B) GPT-3 (175B) PaLM (540B)
5. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. LLM のスケーリング則 • 計算量 (FLOPS) ∝ parameters * tokens § モデルの学習コスト 𝐶 (FLOPS) はパラメータ数 𝑁 とトークン数 𝐷 に⽐例 𝐶 = 6𝑁𝐷 • べき乗則 § モデル性能はトークン数とパラメータ数を増やせば向上 Figure 1 in [Kaplan et al., 2020] Jared Kaplan, (Chief Science Officer, Anthropic) at AWS Summit Japan 2024
6. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Logical reasoning (論理的推論) LLM の能⼒は「知識」から「考える⼒」へ ここでの課題: 元々 LLM は算数や論理的推論が不得意 (参照: ⾮形式的 演繹的 推論; 直観的連想ゲームのような挙動) これを克服するため、以下のような⼿法が研究・提案されてきた • Chain-of-Thought (CoT), Zero-shot CoT, CoT with Self-consistency (Multi-path CoT), Tree of thought (ToT), Least-to-most プロンプティング • 強化学習ベースの post-training により reasoning 能⼒を引き出す (cf. DeepSeek-R1) 出典: 『AWS⽣成AIアプリ構築実践ガイド』針原 佳貴、尾原 颯、吉⽥ 真吾
7. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AI Agent ポイント: LLM の Reasoning 能⼒による、タスク分解と実⾏計画 出典: 『AWS⽣成AIアプリ構築実践ガイド』針原 佳貴、尾原 颯、吉⽥ 真吾
8. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 38 日本における AI 開発の近況
9. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 2 0 2 3 年 7 ⽉ AWS LLM 開発⽀援 プログラム 国内17社の モデル開発を⽀援 2 0 2 4 年 7 ⽉ - AWS ジャパン ⽣成 AI 実⽤化推進プログラム 150社以上のモデル開発と ⽣成 AI 利活⽤を⽀援 2 0 2 4 年 9 ⽉ - AWS Generative AI Accelerator グローバルのスタートアップ向け AI と機械学習 (ML) 活⽤促進 2024年は⽇本から3社採択 2 0 2 4 年 1 0 ⽉ - GENIAC 第2期・第3期 AWS は計算資源提供・技術⽀援・ コミュニティ⽀援・GTM ⽀援 それぞれ13の企業・団体が AWS 利⽤を選択 AWS の⽇本における⽣成 AI ⽀援プログラムと GENIAC
10. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS LLM 開発⽀援プログラム (2023) • 17採択者のうち12事業者が基盤モデル学習に EC2 Trn1 (AWS Trainium) インスタンスを選択。 ⽇本の⽣成 AI 基盤モデル・LLM 開発のさきがけに。 • ⽇本の⾔語・⽂化資産を守り、経済安全保障という裏⽬標も。 • 「産業界では、ChatGPT よりもさらにハルシネーションが抑⽌ された信頼性の⾼い LLM が求められている」 ̶ ストックマーク株式会社 共同創業者 CTO 有⾺ 幸介 ⽒ • Llama 2 70B をベースとした事前学習と ファインチューニングを、独⾃収集カスタマーサポートコーパ スを含むデータで実施。Japanese MT-Bench において ⽇本語モデルの中で最⾼性能。 ̶ カラクリ株式会社 取締役 CPO 中⼭ 智⽂ ⽒ 40 Japanese: https://aws.amazon.com/jp/blogs/news/llm-development-support-program-generative-ai-program-results/ English: https://aws.amazon.com/blogs/machine-learning/unlocking-japanese-llms-with-aws-trainium-innovators-showcase- from-the-aws-llm-development-support-program/
11. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS Generative AI Accelerator (GAIA) 2025年はグローバルコホートにおいて⽇本から2社採択 • SDio株式会社は、⻑時間・マルチメディアに対応可能な新しい 動画基盤モデルを開発し、コスト効率化を実現しながら分析と 検索を可能にするプラットフォームを提供します。 • SyntheticGestalt株式会社は、世界最⼤の分⼦の⽴体構造情報の 基盤モデルを提供することで、ライフサイエンス・化学企業の 新分⼦の発⾒・分析の加速を⽀援します。 https://press.aboutamazon.com/jp/news/aws/2025/10/announcing-the-2- japanese-startups-selected-for-the-2025-aws-generative-ai-accelerator 43
12. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ③ 開発者 コミュニティ ④ 事業化⽀援 ① 計算資源 ② 技術⽀援 AWS は経済産業省 GENIAC 基盤モデル開発⽀援事業を⽀援 GENIAC 第3期で AWS を利⽤する企業: • Airion株式会社 • SDio株式会社 • カラクリ株式会社 • Sansan株式会社 • ストックマーク株式会社 • Zen Intelligence株式会社 • Degas株式会社 • Direava株式会社 • Nishika株式会社 • 株式会社野村総合研究所 • 株式会社Preferred Networks • ONESTRUCTION株式会社 • 株式会社リコー https://aws.amazon.com/jp/blogs/news/geniac-cycle3-kick-off/
13. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 46 Amazon Bedrock Marketplace での国産基盤モデル公開 EVOLUTIONARY SCALE WIDN CAMB.AI GRETEL ARCEE AI PREFERRED NETWORKS WRITER UPSTAGE NCSOFT STOCKMARK KARAKURI JOHN SNOW LABS LIQUID DATABRICKS CYBERAGENT HUGGING FACE STABILITY AI LG AI RESEARCH MISTRAL AI SNOWFLAKE NVIDIA
14. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. GENIAC 第3期での開発⽬標例 (Preferred Networks) GENIAC 第3期 モデル開発概要 7 GENIAC 第2期に開発したモデルを基盤に、高品質な合成データを活用することで、 軽量ながらも高性能を発揮するVLMの構築を目指す JA-VG-VQA-500（VQAベンチマーク） 質問： 机にはどんな電化製品があ りますか？ 回答： パソコン https://huggingface.co/datasets/SakanaAI/JA-VG-VQA-500 License: cc-by-4.0 Ref-L4 (Visual Groundingベンチマーク) https://huggingface.co/datasets/Jierun Chen/Ref-L4 License: cc-by-nc-4.0 In the middle one among three picture frames, a vintage camera can be found. 3つの写真フレームのうち 中央に位置するものの中に、 古いカメラが収められている (PLaMo翻訳) AWS Unicorn Day Tokyo 2025 岡野原さん Keynote 登壇資料より Vision-Language Model (マルチモーダル)
15. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ロボット基盤モデルと “Physical AI” の動向 Vision-Language-Action (VLA) モデルに代表されるロボット基盤モデルが、 ⾃動運転や汎⽤ヒューマノイドなどへの応⽤を⾒据え開発されており、 製造業 (⾃動⾞産業、ロボット産業) における影響が注視されている。 現状、研究・開発は⽶中が先⾏しているように⾒える。 参考⽂献: 基盤モデルとロボットの融合 マルチモーダル AI でロボットはどう変わるのか (KS 理⼯学専⾨書) 河原塚健⼈、松嶋達也 (著) https://www.amazon.co.jp/dp/4065395852
16. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. π0 : VLA by Physical Intelligence (PI) https://arxiv.org/abs/2410.24164 VLM + Action Expert
17. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 典型的な VLA アーキテクチャ (単純化しています) Vision Encoder LLM Action Expert LLM LLM Large Language Model (LLM) Text Text Text Image/Video Text Action 🦾 Vision-Language Model (VLM) Vision-Language-Action Model (VLA) Vision Encoder Text Image/Video
18. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Q&A / Open Discussions
19. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Thank you! Yoshitaka Haribara X: @_hariby hariby@amazon.co.jp
20. AWS UNICORN DAY 2025 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. References: Robotics FM 1. 基盤モデルとロボットの融合 マルチモーダル AI でロボットはどう変わるのか (KS 理⼯学専⾨書)、河原塚健⼈、松嶋達也 (著) https://www.amazon.co.jp/dp/4065395852 2. Robotics Foundation Models (RFMs) 1. R3M https://arxiv.org/abs/2203.12601 - ResNet-based model trained with egocentric data 2. MVP https://arxiv.org/abs/2210.03109 - Vision Transformer (ViT)-based 3. Visual Cortex-1 https://arxiv.org/abs/2303.18240 - ViT-based 4. PaLM-E https://arxiv.org/abs/2303.03378 embodiment by embedding (e.g. image with ViT) concatenated with PaLM 5. RoboVQA https://arxiv.org/abs/2311.00899 - post-training of vision language model (VLM) VideoCoCa 383M with annotated action data 6. MT-Opt https://arxiv.org/abs/2104.08212 - reinforcement learning (RL) with robot arm data 7. Robotics Transformer (RT)-1 https://arxiv.org/abs/2212.06817, RT-2, and RT-X https://arxiv.org/abs/2310.08864 with Open X-Embodiment (OXE) dataset https://robotics-transformer-x.github.io 8. RT-Trajectory, RT-Sketch, Auto-RT 9. Octo https://arxiv.org/abs/2405.12213 - modular architecture based on RT-X 10. OpenVLA https://arxiv.org/abs/2406.09246 - open Vision-Langage-Action (VLA) model based on ViT (DinoV2 + SigLIP) + Llama2 7B trained on OXE dataset 11. RDT-1B https://arxiv.org/abs/2410.07864 - diffusion-based 12. π0 https://arxiv.org/abs/2410.24164v1, π0.5 https://arxiv.org/abs/2504.16054 - by Physical Intelligence (PI) 13. NoMaD 14. In-context Robot Transformer (ICRT) https://arxiv.org/abs/2408.15980 15. GraspVLA https://arxiv.org/abs/2505.03233 - pre-trained on billion-scale synthetic data 3. Dataset 1. Bridge v2 https://rail-berkeley.github.io/bridgedata/ 2. OXE https://robotics-transformer-x.github.io/ 3. DROID https://droid-dataset.github.io 4. Data Capture System 1. ALOHA 2. GELLO 3. UMI 4. Dobb-E