生成系 AI の活用を AWS のサービスで加速するアイディア / Accelerate GenAI on AWS

GENERATIVE AI WEBINAR SERIES © 2023, Amazon Web Services, Inc.
or its affiliates. © 2023, Amazon Web Services, Inc. or its affiliates. 生成系 AI の活用を AWS のサービスで加速するアイディア針原佳貴 (Twitter: @_hariby) サービスに蓄積されたデータと生成系 A I で、新しい体験を創る方法シニア機械学習スタートアップソリューションアーキテクトアマゾンウェブサービスジャパン

or its affiliates. 針原佳貴 (Yoshitaka Haribara, Ph.D.) • 2018 年 AWS 入社 • スタートアップ担当ソリューションアーキテクト • 最近はミドル・レイターステージのスタートアップを中心に担当 • 機械学習や量子コンピューティングなど Deep Tech 分野を軸足 S r . S tar tup ML / Quan tum S olution s Ar c h ite c t

or its affiliates. Agenda AWS における⽣成系 AI ⽣成系 AI の利⽤⽅法⽣成系 AI ソリューション

or its affiliates. AWS で⽣成系 AI を構築するには 12

© 2023, Amazon Web Services, Inc. or its affiliates. All
rights reserved. 13 Amazon Bedrock 基盤モデルを使用した生成系 AI アプリケーションを構築およびスケーリングする最も簡単な方法 Limited Preview

rights reserved. なぜ基盤モデルか？ 14 テキスト生成要約情報抽出 Q&A チャットボット事前学習 (Pretrain) 適応タスクラベル付けされていないデータ基盤モデル (FM) テキスト生成要約情報抽出 Q&A チャットボット学習デプロイタスク ML models … … … … ラベル付きデータ … … … …

rights reserved. Bedrock は幅広い基盤モデルをサポート 16 Titan Text Titan Embeddings Amazon Titan AI21 Labs, Anthropic, Stability AI (スタートアップ) による基盤モデル Jurassic-2 Claude Stable Diffusion

rights reserved. Titan Text ⾃然⾔語処理 (NLP) Titan Embeddings 検索とパーソナライゼーション Amazon Titan A m a z o n が責任をもって開発した⾼性能な基盤モデル 17 利点 • Amazon における 20 年以上の機械学習の経験に基づき構築 • Amazon Titan Text FM を使⽤して、要約やテキスト⽣成などの⾔語タスクを⾃動化 • Amazon Titan Embeddings FM で検索精度の向上や、パーソナライズされたレコメンデーションを改善 • 不適切・有害なコンテンツを削減し、責任ある AI の利⽤をサポート 17

rights reserved. ⾃社データを使⽤して基盤モデルを独⾃にカスタマイズ 19 少数のラベル付データ特定タスクでの精度を最⼤化 Fine-tune ⽬的必要なデータ

rights reserved. 20 Amazon EC2 Trn1n and Amazon EC2 Inf2 クラウド上の学習・推論を最も良いパーフォマンス/価格で実現する目的特化の ML アクセラレータ NEW

rights reserved. ⽣成系 AI のための⽬的特化型アクセラレータ (専⽤チップ) AWS Inferentia 最も低い推論コストで深層学習モデルをクラウドにデプロイ最大 70% 低い推論コスト同等な Amazon EC2 インスタンスと比較 AWS Trainium コスト効率・パフォーマンスが最も良い LLM と拡散モデルの学習学習コストを最大 50% 節約同等な Amazon EC2 インスタンスと比較 AWS Inferentia2 LLM と拡散モデルの推論において、最も低いコストで高いパフォーマンス 40% 高い価格性能比同等な Amazon EC2 インスタンスと比較 21

or its affiliates. EC2 Trn1.32xlarge インスタンスで GPT ベースの日本語モデルを事前学習しました。学習は 28 日以内に完了し、以前の GPU ベースのインフラストラクチャよりもコストを 33% 削減しました。 Yohei Kobashi 氏株式会社わたしは最高技術責任者 22

rights reserved. Amazon CodeWhisperer A I がコーディングの相棒となり、アプリケーションを素早く構築 23 コード生成 AND Go, Rust, PHP, Ruby, Kotlin, C, C++, Shell scripting, SQL, and Scala AND JupyterLab, CLion, GoLand, WebStorm, Rider, PhpStorm, RubyMine, and DataGrip

rights reserved. SageMaker JumpStart での基盤モデルの利⽤ 25 Amazon SageMaker JumpStart 公開済み・プロプライエタリな基盤モデルの実験・カスタマイズと、⽣成系 AI アプリケーションへの組み込みデプロイ⽣成系 AI ユースケースに応じてモデルをデプロイ・推論ブラウズ公開済み・プロプライエタリな基盤モデルを探索実験デプロイ⽤のモデルを選定する前に、基盤モデルで実験カスタマイズ選択した基盤モデルをいちから学習せずに独⾃データセットでカスタマイズ

rights reserved. SageMaker JumpStart で基盤モデルを使う3つの方法 26 SageMaker Studio 簡単デプロイ SageMaker Notebooks AWS Management Console プレビュー

rights reserved. カスタマイズ: In-context learning と Fine-tuning In-context (zero/few-shot) learning • ゼロまたはいくつかの例示のみで、モデルのパラメータ更新を伴わない • プロンプトを工夫することにより様々なタスクに対応 Fine-tuning モデルのパラメータ更新を行う Figure 2.1 in [Brown et al., 2020]

rights reserved. 公開済みモデル SageMaker JumpStart で利⽤可能な基盤モデル 28 モデル Cohere generate-medium タスクテキスト⽣成情報抽出質問応答要約モデル Text2Image Upscaling タスクテキスト⼊⼒から画像⽣成既存画像の解像度向上 Features Stable Diffusion 2.1 モデルのファインチューニングモデル Flan-T5 models (8 variants), Flan-UL2, OpenLLaMA, GPT-J 6B, GPT2, DistilGPT2, Bloom/BloomZ models タスク機械翻訳質問応答要約アノテーションデータ⽣成モデル AlexaTM 20B タスク機械翻訳質問応答要約アノテーションデータ⽣成モデル Jurassic-2 Large, Grande, Jumbo, Grande/Jumbo Instruct タスクテキスト⽣成質問応答テキスト分類チャット要約情報抽出モデル Lyra-Fr 10B タスクテキスト⽣成キーワード抽出質問応答要約センチメント分析プロプライエタリなモデル

rights reserved. 画像⽣成の例: Stable Diffusion 2 画像⽣成、変換、超解像 29 画像変換 4x 超解像 (Upscaling) Stable Diffusion 2.0 で⽣成

rights reserved. Fine-tuning: Stable Diffusion 自分で用意した画像を用いて、Stable Diffusion を fine-tuning 30 https://github.com/aws/amazon-sagemaker- examples/blob/main/introduction_to_amazon_algorithms/jumpstart_text_to_image/Amazon_JumpStart_Text_To_Image.ipynb

rights reserved. テキスト⽣成の例: Jurassic-2 31 求める品質とコスト・レイテンシ要件に応じて適切なモデルを選択 Jurassic-2 は Large, Grande, Jumbo の3サイズと、対話モデルの Grande Instruct, Jumbo Instruct https://www.ai21.com/blog/introducing-j2

rights reserved. Hugging Face Hub (Model Hub) • 12万 (2万5千 Transformers) モデルが公開されるプラットフォーム § Amazon SageMaker へ簡単デプロイ • ⽇本語 LLM もいくつか公開されている § Rinna – GPT-NeoX Instruction, GPT-NeoX, GPT-2, GPT, Stable Diffusion, HuBERT, RoBERTa, etc. § ABEJA – GPT-NeoX, GPT-2 § CyberAgent – OpenCALM , RoBERTa § Retrieva – T5 (Small - XL) 32

rights reserved. Hugging Face Hub からも SageMaker へ簡単デプロイ 33

rights reserved. Hugging Face Hub からも SageMaker へ簡単デプロイ 34

or its affiliates. 典型的なアーキテクチャ: 複数 LLM を呼び分け 36 Amazon SageMaker Studio Notebook (開発・検証) LLM SageMaker JumpStart でモデルデプロイ User 2. 推論リクエスト 3. 回答の⽣成 AWS Cloud Lambda function Queue LLM API AWS Lambda 1. プロンプト 4. 回答

or its affiliates. LangChain を AWS 上で試してみる • SageMaker Studio § Data Science 2.0 Kernel (Python 3.8), PyTorch 2.0.0 (Python 3.9), PyTorch 1.13 (Python 3.8) など • LLM § SageMaker JumpStart でデプロイ § OpenAI API (API Key などは、AWS Secrets Manager に格納) • QuickStart § https://python.langchain.com/en/latest/getting_started/getting_started.html § https://python.langchain.com/en/latest/modules/models/llms/integrations/sagemaker.h tml 37

or its affiliates. 典型的なアーキテクチャ: RAG 39 Amazon Kendra Amazon OpenSearch Service OR 検索サービス 2. クエリ 3. 検索結果 Amazon SageMaker Studio Notebook (開発・検証) LLM SageMaker JumpStart でモデルデプロイ User 4. プロンプト + 検索結果 5. 回答結果の⽣成 1. プロンプト 6. 回答 AWS Cloud AWS Lambda

or its affiliates. Retrieval Augmented Generation (RAG) 社内ドキュメントに対する検索結果に基づき L L M が回答を⽣成 40 https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy-generative-ai-applications-on-enterprise- data-using-amazon-kendra-langchain-and-large-language-models/

or its affiliates. RAG に関連するブログ • 高精度な生成系 AI アプリケーションを Amazon Kendra、LangChain、大規模言語モデルを使って作る § https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy- generative-ai-applications-on-enterprise-data-using-amazon-kendra- langchain-and-large-language-models/ • Build a powerful question answering bot with Amazon SageMaker, Amazon OpenSearch Service, Streamlit, and LangChain § https://aws.amazon.com/blogs/machine-learning/build-a-powerful- question-answering-bot-with-amazon-sagemaker-amazon-opensearch- service-streamlit-and-langchain/ 41

or its affiliates. 本日紹介した内容に関連するブログ • AWS で生成系 AI を使用した構築のための新ツールを発表 § https://aws.amazon.com/jp/blogs/news/announcing-new-tools-for- building-with-generative-ai-on-aws/ • たった数枚の画像で Stable Diffusion をファインチューニングできる効率的な Amazon SageMaker JumpStart の使い方 § https://aws.amazon.com/jp/blogs/news/fine-tune-text-to-image-stable- diffusion-models-with-amazon-sagemaker-jumpstart/ 42

or its affiliates. 過去の Generative AI イベント • JAWS-UG AI/ML #16: Generative AI § https://www.youtube.com/watch?v=PkZenNAXtYs § EC2 Trn1n/Inf2 の紹介と CodeWhisperer (デモあり) • 【開催報告 & 資料公開】 Generative AI（生成系 AI）へのアプローチ – 今、見直される AI 活用と変革を迎える生成系 AI 戦略 § https://aws.amazon.com/jp/blogs/news/aws-aiml-generative-ai-strategy/ § RAG, コールセンター要約 (日本語) ソリューションデモあり 43

or its affiliates. 📣 AWS Dev Day 6/22 - 23 © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⼤規模⾔語モデル (LLM) の進化: GPT 以降の最新動向 Yoshitaka Haribara, Ph.D. F - 1 Sr. Startup ML Solutions Architect AWS Japan G.K. 45

or its affiliates. 📣 Builders Online 2023/7/13 T2-2 はじめての生成系 AI 入門〜AWS クラウドにおける生成系 AI 活用法〜 (Level 100) | 30 min 生成系 AI の急速な進化により、実ビジネスにおける AI 活用の幅がより大きく広がってきています。画像生成 AI や文書生成 AI など、一般でも使われるようになってきた生成系 AI とは何なのか、その実態を解説した上で、多数ある生成系 AI を AWS 上で簡単に利用する方法や、自社データの利活用に応用する方法などをご紹介します。 46

or its affiliates. まとめ AWS の生成系 AI サービスを紹介しました。 Next Step のアイディア • SageMaker JumpStart で基盤モデルを試してみる • ブログ等を参考にソリューションをデプロイしてみる • AWS CodeWhisperer でのプログラミングも試してみる • AWS Dev Day, Builders Online イベントに参加してみる 47

生成系 AI の活用を AWS のサービスで加速するアイディア / Accelerate Ge...

生成系 AI の活用を AWS のサービスで加速するアイディア / Accelerate GenAI on AWS

More Decks by Yoshitaka Haribara

Other Decks in Technology

Featured

Transcript