生成AIユースケースを考え倒すためのGenerative AI Use Cases JP (GenU)の魅力と使い方

© 2024, Amazon Web Services, Inc. or its affiliates. All
rights reserved. ⽣成 AI ユースケースを考え倒すための Generative AI Use Cases JP (GenU) の魅⼒と使い⽅岡本晋太朗アマゾンウェブサービスジャパン合同会社 Solutions Architect AWS Expert Online for JAWS-UG #33

rights reserved. ⾃⼰紹介名前︓岡本晋太朗 (おかもとしんたろう) 所属︓ アマゾンウェブサービスジャパン合同会社技術統括本部ソリューションアーキテクト経歴︓ プラント計装エンジニアおよび、⼯場向けのデジタルツインプラットフォーム構築を経て AWS ジャパンにて主に製造業のお客様のクラウド活⽤をご⽀援。最近は⽣成 AI 成分多め好きなAWSサービス︓ ノーコードで 200 以上の AWS サービスを連携できる AWS Step Functions

rights reserved. ⽣成 AI とは︖

rights reserved. BLOOM Generative AI (⽣成 AI) とは ? • 会話、ストーリー、画像、動画、⾳楽など、新しいコンテンツやアイデアを創造 • ⼀般に基盤モデル (FM: Foundation Model) と呼ばれる膨⼤なデータに基づいて事前にトレーニングされた⼤規模モデルを搭載

rights reserved. の転換点膨⼤なデータ拡散機械学習によるイノベーション計算能⼒の⾶躍的向上

rights reserved. ⽣成 AI の技術的位置づけ⼈⼯知能 (Artificial Intelligence, AI) ⼈間の知的判断をコンピュータ上で実現するための技術全般（ロジック、if-then ⽂、機械学習（深層学習を含む））機械学習 (Machine Learning, ML) AI の⼀種であり、知的モデルを構築するためにデータの中の傾向を学習する技術深層学習 (Deep Learning, DL) ML の⼀種であり、⾳声・画像認識などのタスクを深い複数レイヤー構造のニューラルネットワークで実現する技術⽣成 AI (Generative AI) テラバイト規模のデータで学習させた数⼗億以上のパラメーターを持つ”基盤モデル”により追加学習なしに⾼精度のコンテンツ⽣成を実現する技術

rights reserved. ⽣成 AI - 基盤モデル (Foundation Model) 「基盤モデル」は、従来の AI/ML モデルと何が異なるか? → 「⼀定の汎⽤さ」がありその範囲内ではゼロから学習させる必要性がないテキスト⽣成要約情報抽出 Q&A チャットボット利⽤タスクラベル付けされていないデータ (教師なしデータ) 基盤モデル (FM) テキスト⽣成要約情報抽出 Q&A チャットボット学習利⽤タスク MLモデル … … … … ラベル付きデータ … … … … 事前学習

rights reserved. ⽣成 AI - なぜ注⽬される? 基盤モデル (Foundation Model) と呼ばれる「膨⼤なデータに基づき事前にトレーニングされた⼤規模な機械学習モデル」によって実現会話・ストーリー・画像/動画など新しいコンテンツやアイデアを創造、あるいは⼈の能⼒拡張や作業⽀援を従来と異なる⼿軽さで実現追加学習を多くの場合で必要としない簡単な指⽰(プロンプト)で多様なタスクを解かせることができる

rights reserved. Amazon Bedrock とは︖

rights reserved. 3. 基盤モデルを活⽤するアプリケーション Amazon Q Amazon Q in Amazon QuickSight Amazon Q in Amazon Connect Amazon Q Developer - in-line code suggestions 2. 基盤モデルを活⽤してアプリケーションを構築するツール群 Amazon Bedrock ガードレールエージェントカスタマイズ機能 1. 基盤モデルの学習と推論のための基盤 GPUs Trainium Inferentia SageMaker Ultra Clusters EFA EC2 Capacity Blocks Nitro Neuron AWS の⽣成 AI スタック

rights reserved. 3. 基盤モデルを活⽤するアプリケーション Amazon Q Amazon Q in Amazon QuickSight Amazon Q in Amazon Connect Amazon Q Developer - in-line code suggestions 2. 基盤モデルを活⽤してアプリケーションを構築するツール群 Amazon Bedrock ガードレールエージェントカスタマイズ機能 1. 基盤モデルの学習と推論のための基盤 GPUs Tranium Inferencia SageMaker Ultra Clusters EFA EC2 Capacity Blocks Nitro Neuron AWS の⽣成 AI スタック

rights reserved. Amazon Bedrock サーバーレスの API サービスを介して、基盤モデルを活⽤した⽣成 AI アプリケーションの構構を⽀援東京リージョンで利⽤可能データセキュリティやコンプライアンスを実現 Agents 機能、RAG 機能、モデルカスタマイズなど基盤モデルの効果を⾼めるさまざまな機能を提供厳選された基盤モデルから業務に最適な基盤モデルを選択･活⽤ API を介してすぐに⽣成 AI を利⽤開始、インフラ管理は不要

rights reserved. 幅広い基盤モデルの選択肢をご提供 Amazon Bedrock ※ 2024 年に発表あるいは⼀般提供開始 COMMAND R & EMBED Command R+ Command R Command Command Light テキスト埋め込み Embed - Multilingual Embed - English LLAMA 3 テキスト Llama 3 70B Llama 3 8B Llama 2 70B Llama 2 13B Stable Diffusion 画像 SDXL 1.0 AMAZON TITAN Titan Multimodal Embeddings Titan Text Embeddings V2 Titan Text Embeddings テキスト Titan Text Premier Titan Text Express Titan Text Lite 埋め込み画像 Titan Image Generator JURASSIC Jurassic-2 Ultra Jurassic-2 Mid テキスト Mistral AI MISTRAL & MIXTRAL テキスト Mistral Large Mistral 7B Mixtral 8X7B CLAUDE 3 Claude 3 Opus Claude 3 Sonnet Claude 3 Haiku Claude 2.1 Claude 2.0 Claude Instant テキストテキスト & ビジョン

rights reserved. Amazon Bedrock における Claude 3 family ⽤途に合わせて、知能、スピード、コストの組み合わせを選択できる Claude 3 Opus Claude 3 Sonnet Claude 3 Haiku ユースケース最も知性が高く、最高のパフォーマンス知能、スピード、コストのバランスがとれたモデル最も低コストで最速のパフォーマンスコンテキスト長 200K 200K 200K ビジョン対応コスト (1000 Token あたり) $0.015 $0.075 $0.003 $0.015 $0.00025 $0.00125 Input: Output: マルチモーダル（画像⼊⼒）に対応 Anthropic によるベンチマーク結果 https://www.anthropic.com/ news/claude-3-family

rights reserved. Meta Llama 3 (70B および 8B) Llama 3 は、開発者、研究者、企業の⽅々が、⽣成 AI のアイデアを構築、実験、責任を持って拡張するために設計されています 1. 世代を重ねるごとに、Llama 3 は幅広い業界ベンチマークで最先端のパフォーマンスを発揮し、推論能⼒の向上など新しい機能を提供しています 2. Llama 3 70B: コンテンツ作成、会話型 AI、⾔語理解、研究開発、および企業アプリケーションに最適です 3. Llama 3 8B: コスト・レスポンス時間・⽣成精度のバランスをとりながらタスクを解く必要がある場合に最適です

rights reserved. Cohere Command R+ および Command R 1. Command R+: Cohere の最も強⼒な⽣成⾔語モデルです。 RAG やマルチステップツールなど、⻑いコンテキストのタスクに最適化されています。 2. Command R: RAG やツール、⼤規模な実稼働ワークロードなどの⻑⽂タスクに最適化された⽣成⾔語モデルです。 3. これらのモデルは、⾼い精度と効率性を両⽴し、企業が概念実証を超えて、⽇々の業務に AI を活⽤できるよう⽀援します。 Cohere を使って、エンタープライズ向けの⽣成 AI 製品や⾼度な多⾔語アプリケーションを構築しましょう

rights reserved. Titan Image Generator の⽣成例 Prompt: close up of a bird face with vivid rainbow feathers Amazon による⽣成 AI モデル

rights reserved. ⽣成 AI の企業利⽤を可能にする Amazon Bedrock のデータプライバシー • Amazon Bedrock への通信はすべて暗号化され、ご要件に応じて閉域接続経由で利⽤できます。 • Amazon Bedrock は、サービスログにユーザーデータを保存しません。 • Amazon Bedrock は、ユーザーの⼊⼒やそれに基づいたモデルの出⼒について、モデルの訓練への利⽤や第三者への配布を⾏いません。 • モデルプロバイダーは、ユーザーデータにアクセスできません。 • Amazon Bedrock は、複数の⾃動化された不正利⽤検出メカニズムを備えます。不正検出プロセスには⼈間が介在しません。また、AWS がユーザーデータを保存または第三者へ提供することはありません。

rights reserved. 実⾏ログの取得機能 (Model Invocation Logging) • Bedrock へのリクエスト原⽂、⽇時などを CloudWatch または S3 に⾃動記録可能 • マネジメントコンソールで Bedrock から機能を有効化するだけで使⽤開始

rights reserved. ⽣成 AI ユースケースを考え倒すための Generative AI Use Cases JP (GenU)

rights reserved. ⽣成 AI 活⽤を成功させるための 3 つのステップ Biz Dev ML ⽣成 AI による成⻑サイクルを設計するインパクトがあり実現・実装可能なユースケースを選ぶ迅速に顧客体験を検証するマネージドサービスを活⽤し⼩さく多く実験する顧客から得られたフィードバックで体験を改善するより良い体験をよりコスト効率よいモデルで提供する

rights reserved. ⽣成 AI 活⽤を成功させるための 3 つのステップ Biz Dev ML ⽣成 AI による成⻑サイクルを設計するインパクトがあり実現・実装可能なユースケースを選ぶ迅速に顧客体験を検証するマネージドサービスを活⽤し⼩さく多く実験する顧客から得られたフィードバックで体験を改善するより良い体験をよりコスト効率よいモデルで提供する各ステップを⾼速に進めていくには︖

rights reserved. ⽣成 AI を始めるにあたっての課題チャット以外のユースケースの検討・実装⽅法利⽤状況をモニタリングセキュリティ

rights reserved. AWS 知識不要ですぐに利⽤開始最短わずか 10 分でデプロイ完了 Generative AI Use Cases JP (略称︓GenU) すぐに業務活⽤できるビジネスユースケース集付きの安全な⽣成 AI アプリ実装 https://github.com/aws-samples/generative-ai-use-cases-jp OSS として無償提供中インフラは使った分だけの従量課⾦スモールスタートで⽣成 AI を活⽤エンタープライズユースも可能豊富なセキュリティ・統制機能最新の⽇本語対応⽣成 AI モデルに対応⽐較検証で最適なモデルを選定様々なビジネスユースケースを標準搭載触りながらアイディアを発⾒独⾃のアイディアをすぐに形に⾼いカスタマイズ性で⾼速に実証を完了

rights reserved. 開発の経緯お客様との机上の議論だけでは、⽣成 AI で何ができるのかなかなか伝わらない・・・⽣成 AI の代表的ユースケースを、お客様に簡単にお試しいただけるアセットを作ってみましょう︕ お客様担当プロトタイプエンジニアその後、様々な要望を取り⼊れ「すぐに業務活⽤できるユースケース集付き⽣成 AI アプリ実装」に進化

rights reserved. アーキテクチャ基本部分はフルサーバーレス + 様々なオプションをデプロイ可能

rights reserved. 継続的なアップデート 0 50 100 150 200 250 300 0 5 10 15 20 25 2023/08/20 2023/09/20 2023/10/20 2023/11/20 2023/12/20 2024/01/20 2024/02/20 2024/03/20 2024/04/20 GenU / PR 数推移 PR 数累計

rights reserved. 継続的なアップデート 0 50 100 150 200 250 300 0 5 10 15 20 25 2023/08/20 2023/09/20 2023/10/20 2023/11/20 2023/12/20 2024/01/20 2024/02/20 2024/03/20 2024/04/20 GenU / PR 数推移 PR 数累計 Claude 3 Sonnet (日本時間 3 月 5 日登場) のビジョン機能に 1 日で対応し、その後も迅速に機能拡充機能アップデート・モデル追加が相次ぐ AWS の生成 AI サービスに継続的に対応中

rights reserved. 料⾦試算例 - サーバーレスで⼩さく始めやすいサービス料⾦ (USD) Amazon Bedrock 8.25 Amazon CloudFront 0.15 Amazon S3 0 Amazon API Gateway 0.06 Amazon Cognito 0.28 AWS Lambda 0.64 Amazon DynamoDB 2.92 Amazon Transcribe 7.2 合計 19.5 前提条件︓Claude3 Haiku 利⽤ 50 名で 1 ⼈あたり 1 ⽇ 10 回 1 ⽉あたり 22 ⽇利⽤モデル以外はデフォルト設定 (RAGは無効化) でデプロイ参考資料: https://aws.amazon.com/jp/cdp/ai-chatapp/ 使ったぶんだけの従量課⾦それなりに使い倒しても 1 ⼈あたり⽉額 0.4ドル程度︕

rights reserved. 簡単なデプロイ npm ci npx –w packages/cdk cdk bootstrap npm run cdk:deploy 今始めれば、このセッションが終わる頃には利⽤開始できます︕ ぜひ話を聞きながらデプロイしてみてください︕ リポジトリをクローンして 3 ⾏最短 10 分程度で利⽤開始必要なもの: Node.js, AWS CLI, AWS アカウントだけ︕

rights reserved. マルチモデル対応内部でログを抽象化して DynamoDB Table に保持しており、モデル間のプロンプトの差異を吸収するため複数モデルを併⽤できる。たとえば会話途中でのモデルの切り替えもできる 2024 年 5 ⽉ 15 ⽇現在、テキスト⽣成は Amazon, Anthropic, Cohere, Meta, Mistral の計 16 モデルと TGI 対応の Sagemaker エンドポイント、画像⽣成は Amazon, Stability AI の計 2 モデルに対応 role: ‘user’ content: ‘フィボナッチ数を10個列挙して’ role: ‘assistant’ content: ‘0, 1, 1, 2, 3, 5, 8, 13, 21, 34’ role: ‘system’ content: ‘あなたはチャットボットです’ role: ‘user’ content: ‘その数を全て⾜し合わせると︖’ … DynamoDB Table あなたはチャットボットです\n\nHuman:フィボナッチ数を10個列挙して\n\nAssistant:0, 1, 1, 2, 3, 5, 8, 13, 21, 34\n\nHuman:全て⾜し合わせると︖\n\nAssistant: <s>[INST]あなたはチャットボットです[/INST]\nわかりました\n[INST]フィボナッチ数を10個列挙して [/INST]\n0, 1, 1, 2, 3, 5, 8, 13, 21, 34\n[INST]全て⾜し合わせると︖[/INST]</s> Amazon Bedrock モデル A ⽤プロンプトモデル B ⽤プロンプト Lambda Function モデル B モデル A

rights reserved. その他のサンプル実装との違い GenU Bedrock Claude Chat ライセンス OSS (MIT-0) OSS (MIT-0) 対応⾔語⽇本語 8 カ国語機能 12 ユースケース + 3 ツールチャット, RAG 対応モデルテキスト 16(&TGI) + 画像 2 Claude 3 または Mistral 特徴映像・画像・⾳声認識系など、組み込みユースケースが豊富。ユースケースの開発から本番利⽤まで幅広い⽤途で利⽤可能。ブラウザ拡張あり。チャットに特化したシンプルな UI。独⾃データによる RAG がアプリ内で構築できるボット機能。ボットは複数作成可能で他ユーザーとの共有も可能。 2024 年 5 ⽉ 15 ⽇現在豊富なセキュリティ機能や、カスタムベースとしての利⽤性はどちらも備えている利⽤⽬的に応じて使い分けることをおすすめ

rights reserved. GenU の収録ユースケースと各種機能

rights reserved. 収録ユースケースと機能 • テキスト系ユースケース • チャット • ⽂章⽣成 • 要約 • 校正 • 翻訳 • Web コンテンツ抽出 • 画像系ユースケース • 画像⽣成 • 映像分析 • ユースケース間連携 • ブログ記事作成 • 議事録作成 • ツール • ⾳声認識 • ファイルアップロード • Kendra 検索 • 外部ナレッジ連携ユースケース • RAG チャット • Agent チャット • Web 検索エージェント • セキュリティオプション • Cognito 認証 • サインアップ無効化 • 登録メールアドレス制限 • SAML 認証対応 • AWS WAF 連携 • IPv4/IPv6 範囲制限 • 地域制限 • その他機能 • システムコンテキスト保存 • URL による外部連携 • 会話履歴のシェア • 利⽤状況ダッシュボード • ブラウザ拡張 • カスタムドメイン • Sagemaker Endpoint 利⽤

rights reserved. テキスト系: チャット • まずはここから • 使い⽅に困ったらプロンプト例を⾒てひらめきを得る

rights reserved. テキスト系: チャット • Claude 3 では画像を使った⽣成も可能

rights reserved. テキスト系: ⽂章⽣成 • ⻑い⽂章を⼈間の指⽰通りに再構成

rights reserved. テキスト系: 要約 • 読む価値があるかを数秒で判断する

rights reserved. テキスト系: 校正 • 誤った⽂章を指摘してもらい、意図どおりの⽂章を作成する

rights reserved. テキスト系: 翻訳 • ⻑い⽂章も⼀度に正確な翻訳

rights reserved. テキスト系: Web コンテンツ抽出 • URL からコンテンツを取得して、本⽂を直接処理

rights reserved. 画像系: 画像⽣成 • テキスト⽣成モデルを使って⽇本語でプロンプトを⽣成し、⾼品質な画像を素早く⽣成

rights reserved. 画像系: 映像分析 • カメラ映像から質問に回答

rights reserved. 外部ナレッジ連携ユースケース (RAG/Agents) DB / Index Retrieval LLM App Generation Function Action RAG Agents

rights reserved. 外部ナレッジ連携: RAG (検索拡張⽣成) チャット • Kendra の検索結果を⽤いて回答⽣成

rights reserved. 外部ナレッジ連携: Agent チャット • Lambda を呼び出して回答⽣成。サンプルとして Web 検索エージェントを標準提供

rights reserved. ツール: ⾳声書き起こし • mp3, mp4, wav, flac, ogg, amr, webm, m4a からの⽂字起こしと、マイク⾳声認識。

rights reserved. ツール: ファイルアップロード • csv, doc, docx, md, pdf, ppt, pptx, tsv, xlsx から⽂字を抽出。そのまま他のユースケースに連携可能

rights reserved. ツール: Kendra 検索 • 通常の Kendra 検索を⾏える(RAG 有効化時のみ)。RAG とのアウトプット⽐較に。

rights reserved. ユースケース間連携 • 出⼒にはコピーボタンが付属しているため、出⼒結果をそのまま他のユースケースに持ち込める • ブログ記事作成と議事録作成のサンプルユースケースを連携例として収録 Copy

rights reserved. システムコンテキストの保存 • チャットユースケースではシステムコンテキストを変更可能 • よく使うシステムコンテキストは、保存して再利⽤ができる

rights reserved. 外部連携 (URL パラメータでプロンプト設定) • 各ユースケースのフォームは URL のクエリ⽂字列経由で⼊⼒できる • ブックマークや外部アプリ連携、社内でのプロンプト共有などに利⽤可能

rights reserved. 会話履歴のシェア機能 • 会話履歴を他ユーザーと共有するリンクを作成できる (同じアプリに登録しているユーザー限定)

rights reserved. CloudWatch モニタリング⽤ダッシュボード • トークン消費数・利⽤数・ユーザーログイン試⾏数・プロンプトログを⼀覧可能 • Amazon Bedrock の Model Invocation Logging 機能を使い、セキュアにログを収集・管理

rights reserved. セキュリティ関連機能 • Cognito 認証 (標準機能) • セルフサインアップの無効化 • 登録可能なメールアドレスの制限 • SAML 連携対応 (Google Workspace/Microsoft EntraID など) • AWS WAF 連携 (オプション) • IPv4/IPv6 範囲制限 • アクセス地域制限

rights reserved. ブラウザ拡張 • ブラウジング中に画⾯切り替えなく GenU の各ユースケースを使えるブラウザ拡張を提供 • 独⾃のユースケースを登録できる • 詳細は builders.flash 無茶振りは⽣成 AI に断ってもらおう ~ ブラウザに⽣成 AI を組み込んでみた~ もチェック︕

rights reserved. その他のカスタマイズ機能カスタムモデル利⽤ (上級者向け) • Sagemaker Endpoint にデプロイした独⾃モデル GenU で利⽤できる • Text Generation Inference (TGI) に対応したモデルをサポート • Rinna, Llama2 系はプロンプトテンプレートも標準で提供している • それ以外のモデルはプロンプトテンプレートを作成することで利⽤可能カスタムドメイン設定 • Route 53 Public Hosted Zone に A レコードを⾃動設定できる別 AWS アカウントの Amazon Bedrock 利⽤

rights reserved. カスタム⽣成 AI アプリのベースとして活⽤ • 標準的な技術スタック (React + AWS CDK) を採⽤しているため改造が容易 • セキュリティや⽣成結果の処理等、付加価値つながらない重労働をオフロードして、ユースケースの中⾝の開発に集中 • builders.flash Amazon Bedrock で Interpreter を開発 ! ~ ⽇本語だけで AWS Lambda のコード⽣成とデプロイとテストまで完結 ~ もチェック︕

rights reserved. まとめ • GenU はすぐに⽣成 AI 活⽤法を考え始めることができるビジネスユースケース集 • 本番利⽤も可能なセキュリティ機能付きで、創造的な作業に集中できる • チャットボット (も⽴派なユースケースですが) から⼀歩踏み出して、ビジネス課題を解決するための⽣成 AI 活⽤を始めてみませんか︖ • プロジェクトへの Contribution も⼤歓迎です︕お気軽に Issue / PR お待ちしています

rights reserved. AWS Summit Japan 2024 でブース出します︕ Developer Zone 深く楽しく最新のテクノロジーを学びたい⽅は「Developer Zone」へぜひお越しください。Deepなテクニカルセッションに出会えるライブステージ「Developers on Live」、実際に⾒て触って理解を深める展⽰エリア、コミュニティエリアなど、開発に携わる皆さまが快適に過ごせる空間がここにあります。数回コマンドを実⾏するだけで簡単にデプロイできる無料の⽣成 AI アセットを展⽰します。 LLM チャット、RAG チャット、⽂章⽣成、画像⽣成、映像分析などのユースケースを実際に触って体験することができます。簡単にデプロイできて業務活⽤もできる⽣成 AI アセット 2024 年 6 ⽉ 20, 21 ⽇ @ 幕張メッセで開発チームと GenU を語ろう︕ お待ちしています︕ https://aws.amazon.com/jp/summits/japan/

rights reserved. Thank you!

生成AIユースケースを考え倒すためのGenerative AI Use Cases JP (G...

生成AIユースケースを考え倒すためのGenerative AI Use Cases JP (GenU)の魅力と使い方

More Decks by okamotoaws

Other Decks in Business

Featured

Transcript