AWSで生成系AIの活用がはかどる3つの理由

AWS の生成系 AI 戦略を品ぞろえ、コスト効率、実装のしやすさの 3 つの観点から紹介しました。資料中のリンクはこちらです。

LLM 開発支援プログラム
https://aws.amazon.com/jp/blogs/news/llm-development-support-program-generative-ai-kickoff-party/

OpenCALM の Fine Tuning による精度・コストの評価
https://aws.amazon.com/jp/blogs/news/open-calm-and-openai-chatgpt-accuracy-on-jaqket-experiment-in-amazon-sagemaker/

ユースケース発見を支援するML Enablement Workshop
https://github.com/aws-samples/aws-ml-enablement-workshop

The economic trade-offs of large language models: A case study
https://aclanthology.org/2023.acl-industry.24/

Amazon Bedrock を使う方法
https://www.youtube.com/watch?v=SjB9-x9Ygcw

Transcript

1. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS で生成系 AI の活用がはかどる 3 つの理由 Machine Learning Developer Relations Takahiro Kubo アマゾン ウェブ サービス ジャパン合同会社
2. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. とは・・・ 品ぞろえ コスト効率 実装のしやすさ
3. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3 自己紹介 アマゾン ウェブ サービス ジャパン合同会社 Machine Learning Developer Relations 久保隆宏 (Kubo Takahiro) ミッション 「機械学習を実用するなら AWS 」という認知を拡大すること。 10 年以上の業務コンサルタント経験、また研究開発していたテーマをプロダクトと してリリースした経験をもとにお話しします。
4. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 品ぞろえ コスト効率 実装のしやすさ
5. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Bedrock : API から利用できる基盤モデル 5 Amazon だけでなく先進的スタートアップ企業の基盤モデルを提供 対話向けの LLM 質問回答、 業務フローの自動化 責任ある AI に 向けた学習 テキスト生成用 多言語対応 LLM 英語、西語、仏語 独語、葡語、伊語 蘭語 Amazon の構築した LLM テキスト要約 テキスト生成 テキスト分類 自由形式の Q&A 情報抽出 Embedding 検索 オープンソースの 画像生成 LLM 独自性、高精細、 リアルなロゴや デザイン生成 インペインティング 業務アプリ向けの テキスト生成モデル 要約、広告文、 対話、情報抽出 質問回答 JU RA S SIC -2 C L A U DE 2 S DXL 1 .0 A M A ZO N T IT A N C O M M AN D L L A M A 2 オープンソースの LLM 質問回答や文書読解 などの自然言語処理 タスク Coming Soon
6. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 6 汎用的な基盤モデルだけでなく、文書校正や要約に特化したモデルを提供。 ※ Amazon Bedrock では基盤モデルのみ、 JumpStart ( 後述 ) で他のモデルを利用可能 文書の校正を支援する Wordtune などを開発する企業。 AI に より人が読み書きする方法の変革を目指す。 ※日本語は扱えない
7. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 7 Claude は約百ページ超の 100,000 トークンを扱えるだけでなく、GPT-3.5 / GPT 4 と近しい精度を持つモデル。 https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard https://yuzuai.jp/benchmark OpenAI 在籍メンバーが 2021 年に創業。安全かつ制御可能な AI の開発を目指す。Amazon からは 40 億ドルを出資。
8. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 8 伊藤忠商事の第 100 期 第 1 四半期 報告書を読み込ませて質問した例。 繊維事業、機械事業などの回答は報 告書中の並びと一致していてかなり 正確に回答している。 事業部の業績について質問したとこ ろ、数字と増減要因に誤りがなく、 かなり正確。
9. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 9 “The enterprise LLM” を掲げ、顧客自身のネットワーク / 環境 へのデプロイ、そこでのカスタマイズ、さらにサポートを提供。 基盤モデルの開発だけでなく、マッキンゼーとの協業をはじめとした導入支援、 またサポートの提供など周辺サービスも含め提供している。 日本語は、理解しているが英語で返す。 Embedding のモデルは多言語対応している
10. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 10 AI に対しオープンイノベーションのアプローチをとることを支持 し実践する。 Llama2 などのモデルをオープンソースで公開。 Llama2 は単体で高い性能を誇るだけでなく、オープンソースゆえにさまざまな 派生モデルが生まれている。 https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard Hugging Face の Chatbot Arena ではトップ 10 にオリジナル含め 4 モデルがランクイン。 ELYZA から日本語データで追加学習されたモデルも公開。
11. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 11 Stable Diffusion をはじめ、 Stable LM 、Stable Audio など多様なモダリティ のモデルを公開。日本法人を立ち上げ、日本語のモデルも公開。 世界をリードするオープンソースの生成 AI モデルの開発と展開を 行う企業。画像だけでなく言語、音声など多様なモデルを公開。 Japanese StableLM Alpha
12. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 12 世界をリードするオープンソースの生成 AI モデルの開発と展開を 行う企業。画像だけでなく言語、音声など多様なモデルを公開。 コードを含めた幅広なコーパスで学習するほか、不適切または有害なコンテン ツを減らすことで、責任ある AI の使用を支援。
13. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker JumpStart : より幅広なモデルの選択肢 13 モデル Stable Diffusion XL 1.0 2.1 base 高精細化 インペインティング タスク テキスト入力から フォト・リアルな 画像生成 生成画像の品質改善 特長 Stable Diffusion 2.1 ファイン・チューン対応 モデル AlexaTM 20B タスク 機械翻訳 質問回答 テキスト要約 注釈付与 データ生成 モデル Falcon-7B, 40B Open LlaMA RedPajama MPT-7B BloomZ 176B Flan T-5 models (8 種類) DistilGPT2 GPT NeoXT Bloom models (3 種類) タスク 機械翻訳 質問回答 テキスト要約 モデル Cohere Command XL タスク テキスト生成 情報抽出 質問回答 テキスト要約 モデル Jurassic-2 Ultra, Mid 状況に応じた回答 テキスト要約 言い換え 文法エラー訂正 タスク テキスト生成 長文生成 テキスト要約 言い換え チャット 情報抽出 モデル Lyra-Fr 10B, Mini タスク テキスト生成 キーワード抽出 情報抽出 質問回答 テキスト要約 感情分析 テキスト分類 モデル Llama 2 7B, 13B, 70B タスク 質問回答 チャット テキスト要約 言い換え 感情分析 テキスト生成 モデル Dolly タスク 質問回答 チャット 言い換え 感情分析 テキスト生 成 400 超のオープンソースや企業独自のモデルを簡単にデプロイ、カスタマイズ
14. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker JumpStart の体験 14 インスタンスを選んで Deploy のボタンを押すだけでエンド ポイントの作成が、 学習データセットを Amazon S3 に置いて 「Train」するだけで追 加学習が可能 ※ Fine Tuning に対応しているモデルとし ていないモデルがあります。
15. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. rinna 社の日本語大規模言語モデルも利用可能に 15 rinna 様からも プレスリリースをいただきました
16. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 独自の取り組み : 日本で基盤モデルの構築に挑戦するお客様への支援 16 AWS ジャパン社長が語る「 LLM 開発支援プログラムへの強い思い」とは
17. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. LLM 開発支援プログラムから生まれたモデルが公開 17 市場動向、時事問題、社会課題、ビジネストレン ドなどの知識を問う問題を 50 題の正解率
18. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 18 大規模言語モデルの経済圏構築を支援 AWS Amazon Bedrock SageMaker JumpStart AWS Marketplace モデル 開発者 モデル 利用者 世界中の AWS の顧客にリーチ 顧客・ライセンス管理の簡素化 パートナーを介した間接販売 学習特化インスタンス 支払いを AWS に一元化 審査済みソフトウェアの利用 既存パートナーからの調達 推論特化インスタンス
19. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 品ぞろえ コスト効率 実装のしやすさ
20. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 20 Model Context Prompt ( 入力 ) Completion ( 出力 ) token per 1M token per 1M token GPT-3.5 4k $1.50 $2.00 GPT-4 8k $30.00 $60.00 GPT-3.5 16k $3 $4 GPT-4 32k $60.00 $120.00 Claude Instant 100k(*) $1.63 $5.51 Claude 100k(*) $11.02 $32.68 2023 年 10 月 12 日 時点の価格 OpenAI: https://openai.com/pricing Anthropic: https://aws.amazon.com/jp/bedrock/pricing Amazon Bedrock で使える Claude の特徴 緑色のモデルは AWS で利用可能。 (*) 東京リージョンでは Claude Instant (18k) のみ利用可能。 Claude Instant は、 GPT-3.5 の 2 倍程度だが100 k まで入る。 Claude は GPT-4 に次ぐ精度でより安価。
21. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. オープンソースのモデルの価格は ? 21 • 日本語クイズのデータセット JAQKET に対する精度を比較。 • Fine Tuning した OpenCALM では、 GPT-3.5 で JAQKET の評価データに対 し同等の精度が得られた。 • インフラの最適化により GPT 3.5 より 20 倍 ~ 37 倍コスト効率を改善できる。 詳細 : 日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦する Fine Tuning で同等精度が得られインスタンス費用のほうが安く済 むなら十分な選択肢 ※インスタンスを起動し続ける場合、推論回数が低いと インスタンスの固定費が高くつく点には注意。
22. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 22 カスタマーサポートの回答負荷を LLM でどれだけ軽減できたかを、 Expected Net Cost Savings (ENCS) = 期待節約効果で評価。 類似の検証を行った研究 (ACL2023 Industry Track) The economic trade-offs of large language models: A case study ※年効果は月 10 万件の対応で計算。 ChatGPT でなく GPT-3 のため単価が高めな点に注意 回答の採用率は Prompt Engineering した GPT-3 が最も高いが、 期待節約効果は Fine Tune + 蒸留し たモデルが最も高い
23. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 23 生成系AI のための AWS Trainium トレーニングコストを最大 50% 削減 同等 Amazon EC2 インスタンスと比較時 AWS Inferentia2 最大 40% 高いコストパフォーマンス 同等 Amazon EC2 インスタンスと比較時 ※ SageMaker JumpStart との連携は進行中です！
24. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. オープンソース大規模言語モデルの高速な推論を支援 24 https://pytorch.org/blog/high-performance-llama/ https://huggingface.co/blog/accelerate-transformers-with-inferentia2
25. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 25 コストの低減だけでなく、効果を上げるため継続的な追加 学習により価値が高まるユースケースを発見することも重要。 価値 データ 通常の機械学習モデル 生成系 AI をそのまま 使い続ける場合 生成系 AI を追加学習 していく場合
26. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ML Enablement Workshop 生成系 AI の お試し 生成系 AI に よるサービスの 継続的成長 参考 : プロダクトの成長をリードする生成系 AI の活用戦略 26 機械学習 / 生成系 AI によるプロダクトの成長を図るお客様に無償で提供する、 実現可能な計画をアウトプットできるワークショップ。 理解編 他社事例を参考に、ビジネス モデルキャンバスを作成 応用編 顧客体験の改善を確認する ための検証スコープの特定 開始編 1~3 カ月間の検証 (Dev)、 学習 (ML) の具体的な計画
27. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ML Enablement Workshop のコンテンツは すべて GitHub で公開中。 https://github.com/aws-samples/aws-ml-enablement-workshop AWS からの提供には条件がありますが、 開催者向けガイドを参照しお客様自身で実施 頂くこともできます 27
28. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 「プロダクトを成長させる生成系 AI のユースケースを考え るワークショップ」を開催しました。 プロダクト作りにかかわる方 のコミュニティ 「プロダクト筋トレ」に会場 とコンテンツを提供。 開発者向けだけでなく、 プロダクトマネージャー向け のイベントも開催。 28
29. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 品ぞろえ コスト効率 実装のしやすさ
30. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agents for Amazon Bedrock IN PREVIEW タスクを完了させる生成系 AI の ワークフローをクリックのみで作成 要求をタスクにばらし、 実行をオーケストレーション フルマネージドな インフラのサポート 企業内データにセキュア にアクセスし検索 API を通じタスクの実行を 代理
31. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 外部 API の呼び出しや知識データベースへのアクセスを オーケストレーションし、タスクを実行する Agent を画面 操作で作ることができる。 31
32. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. たとえば・・・ 32 XXX会社へ持っていく べき提案内容は ? 過去の提案内容を取得 XXX会社の有報等を取 得 過去提案と現在の経営課 題を要約 提案のドラフトを作成 ※まだプレビューなので本当にできるかは保証できません
33. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. おさらい 品ぞろえ コスト効率 実装のしやすさ
34. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. re:Invent 2023 は 11/27 ~ 12/1 開催 34 https://reinvent.awsevents.com/
35. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.