Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
今さら聞けない!? AWSの生成AIサービス Amazon Bedrock入門!
Search
みのるん
PRO
March 27, 2024
Technology
23
8k
今さら聞けない!? AWSの生成AIサービス Amazon Bedrock入門!
Bedrockの入門書、アマゾンのクラウド書籍でベストセラー1位です!
https://www.sbcr.jp/product/4815626440/
みのるん
PRO
March 27, 2024
Tweet
Share
More Decks by みのるん
See All by みのるん
密着! Bedrockerがre:Invent 2024で過ごした5日間を紹介
minorun365
PRO
3
280
re:Inventで発表された Bedrockの新機能を色々使って、マルチRAGエージェントにクラウド選定させてみた件
minorun365
PRO
2
110
AWS re:Invent 2024登壇資料(GBL206-JA: Unleashing the power of generative AI on AWS for your business)
minorun365
PRO
7
220
【AWS re:Invent 2024】Amazon Bedrock アップデート総まとめ
minorun365
PRO
7
510
12/4(水)のBedrockアプデ速報(re:Invent 2024 Daily re:Cap #3 with AWS Heroes)
minorun365
PRO
2
410
12/3(火)のBedrockアプデ速報(re:Invent 2024 Daily re:Cap #2 with AWS Heroes)
minorun365
PRO
4
140
12/2(月)のBedrockアプデ速報(re:Invent 2024 Daily re:Cap #1 with AWS Heroes)
minorun365
PRO
2
310
AWS re:Invent 2024 予選落ちのBedrockアプデをまとめて解説!
minorun365
PRO
2
270
2024年のAmazon Bedrockアップデート一挙おさらい 〜まだ間に合う! re:Invent直前までの重大ニュースを速習しよう〜
minorun365
PRO
3
170
Other Decks in Technology
See All in Technology
Classmethod_regrowth_2024_tokyo_security_identity_governance_summary
hiashisan
0
190
ONNX推論クレートの比較と実装奮闘記
emergent
0
290
GeminiとUnityで実現するインタラクティブアート
hokkey621
0
620
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
52k
検証と資産化を形にするプロダクト組織へ/tapple_pmconf2024
corin8823
1
9k
まだチケットを手動で書いてるの?!GitHub Actionsと生成AIでチケットの作成を自動化してみた話 / 20241207 Yoshinori Katayama
shift_evolve
1
760
241130紅白ぺぱ合戦LT「編集の技術」
toya524287
5
630
Explain EXPLAIN
keiko713
10
2.7k
高品質と高スピードを両立させるソフトウェアQA/Software QA that Supports Agility and Quality
goyoki
8
1.3k
ミスが許されない領域にAIを溶け込ませる プロダクトマネジメントの裏側
t01062sy
8
8.1k
深層学習のリペア技術の最新動向と実際 / DNN Repair Techniques for AI Performance Alignment for Safety Requirements
ishikawafyu
0
470
イベントをどう管理するか
mikanichinose
1
110
Featured
See All Featured
The Pragmatic Product Professional
lauravandoore
32
6.3k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
Making the Leap to Tech Lead
cromwellryan
133
9k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
How GitHub (no longer) Works
holman
310
140k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
StorybookのUI Testing Handbookを読んだ
zakiyama
27
5.3k
A Philosophy of Restraint
colly
203
16k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
0
22
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
45
2.2k
It's Worth the Effort
3n
183
27k
Transcript
今さら聞けない!? AWSの⽣成AIサービス Amazon Bedrock⼊⾨︕ KDDIアジャイル開発センター株式会社 テックエバンジェリスト 御⽥ 稔
1 KDDI Agile Development Center Corporation $ whoami 御⽥ 稔(みのるん)
@minorun365 テックエバンジェリスト KDDIアジャイル開発センター(KAG)& KDDI兼務 JAWS-UG運営 東京⽀部 / SRE⽀部 / NW-JAWS • AWS Samurai 2023 • AWS Community Builder • KDDI Cloud SAMURAI 2021
2 KDDI Agile Development Center Corporation ⽣成AIブーム、すごいですよね︕
3 KDDI Agile Development Center Corporation クラウド各社の⽣成AIサービス展開(開発者向け) マイクロソフト(Azure OpenAI Service)
グーグル(Google Cloud Vertex AI) オラクル(OCI Generative AI) アマゾン(Amazon Bedrock)
4 KDDI Agile Development Center Corporation AWSクラウド Amazon Bedrockとは︖ •
AWSが提供する開発者向けの⽣成AIサービス • ⽣成AIモデルをサーバーレスで、APIとして利⽤できる︕ アプリケーション サーバー Amazon Bedrock APIを叩くだけ アプリ利⽤者
5 KDDI Agile Development Center Corporation Bedrockの何がいいの︖ OpenAIとかあるやん︕ • 何よりAWSのいちサービスとして⽣成AIが使える
利⽤者多いのでエンジニアも⾒つけやすく、既存AWSシステムにも組み込みやすい。 コミュニティが超活発なので、最新機能の知⾒も爆速でインターネットに転がります • ⾊んなAI企業の有⼒モデルをいいとこ取りできる テキスト⽣成はClaude、RAG⽤のベクトル化ならCohere、 画像⽣成はStable Diffusion…など。 しかも使えるモデルが⽇に⽇に増えてます • エンプラReady。セキュリティ、ガバナンス、サポートの品質︕ ⼊⼒データが学習されない、閉域ネットワーク対応など。 AWSサポートも⾮常に評判よく、優先度低のチケットもそこそこ爆速で親切に返ってきます
6 KDDI Agile Development Center Corporation そんなBedrockの機能紹介︕
7 KDDI Agile Development Center Corporation Bedrockのメイン機能︓⽣成AIモデルを⼿軽に使える︕ 2024年3⽉時点で7社、25モデルが利⽤可能 Anthropic •
Claude 3 Opus • Claude 3 Sonnet • Claude 3 Haiku • Claude 2.1 / Instant Cohere • Command • Embed English • Embed Multilingual Stability AI • SDXL 1.0 • SDXL 0.8 Amazon • Titan Text Express / Lite • Titan Embeddings • Titan Multimodal Embeddings • Titan Image Generator Meta • Llama 2 Chat 70B • Llama 2 Chat 13B • Llama 2 70B • Llama 2 13B Mistral AI • Mistral Large • Mixtral 8x7B • Mistral 7B AI21 Labs • Jurrasic-2 Ultra • Jurrasic-2 Mid
8 KDDI Agile Development Center Corporation 多すぎる︕︕︕ ΞϚκϯͷ Ϟσϧ ଟ͗͢Δɻ
9 KDDI Agile Development Center Corporation 結局、おすすめモデルはどれなの︖ • テキスト⽣成︓Claude(Anthropic社) ◦
最新のClaude 3はGPT-4を超えた︖と評判 ◦ マルチモーダル(テキスト+画像)の読み込みにも対応 ◦ 最上位モデルのOpusもついに今週、利⽤可能となりました🎉 • 埋め込み︓Embedシリーズ(Cohere社) ◦ ⽇本語含め、多⾔語対応のMultilingualモデルもあり • 画像⽣成︓Stable Diffusion XL(Stability AI社) ◦ ただしAmazonのTitan Image Generatorもそこそこ良い (コスパ⾼く、写実系の画像⽣成が優秀)
10 KDDI Agile Development Center Corporation 実際に使ってみよう︕(GUI編) AWSマネコンから、 プレイグラウンドで簡単に試せます
11 KDDI Agile Development Center Corporation 実際に使ってみよう︕(API編) 実際のアプリケーション開発では、BedrockのモデルをAPIから利⽤します Python(AWS SDK)からテキスト⽣成
⽣成AIフレームワーク(LangChain)を利⽤
12 KDDI Agile Development Center Corporation なんとLangChainにAWS専⽤パッケージが登場︕(4/19 New)
13 KDDI Agile Development Center Corporation AWSクラウド よくある⽣成AIアプリのアーキテクチャ例 Amazon Bedrock
Amazon DynamoDB AWS Lambda Amazon Simple Storage Service (Amazon S3) Amazon API Gateway ブラウザから Webチャット フロントエンド バックエンド 会話履歴 社内チャットボット の例
14 KDDI Agile Development Center Corporation モデル以外にも、いろんな機能がある︕
15 KDDI Agile Development Center Corporation エンプラでも安⼼の付随機能 • メトリクス監視、ログ出⼒(CloudWatch) •
監査証跡保存(CloudTrail) • 閉域対応(PrivateLink) AWSクラウド Amazon Bedrock VPC AWS PrivateLink アプリケーション
16 KDDI Agile Development Center Corporation ⾊んな応⽤機能もあります • ナレッジベース&エージェント ⾼度なAIアプリを、複雑なコードを書かずとも簡単に作れる
• ファインチューニング&事前学習 ⾃分のデータを⼤量に⾷わせてモデルを学習させられる • ガードレール AIがヤバいこと⾔わないように制御できる • モデル評価 どのモデルを使えばいいの!? を点数評価してくれる
17 KDDI Agile Development Center Corporation AWSクラウド イチオシ機能① ナレッジベース ⽣成AIでみんなやる社内⽂書検索(いわゆるRAGアーキテクチャ)を簡単に作れる︕
社内⽂書 ナレッジベース for Bedrock Embed モデル Claude モデル OpenSearch Serverless ベクトル変換 結果参照 取り込み 質問 回答⽣成
18 KDDI Agile Development Center Corporation イチオシ機能① ナレッジベース ☝ 30分で試せる⼊⾨ハンズオンを公開してます︕
JAWS DAYS 2024 でも⼤好評でした︕
19 KDDI Agile Development Center Corporation AWSクラウド イチオシ機能② エージェント ⽣成AIに細かく指⽰出すの⾯倒ですよね︖
⼤きな⽬的を与えるとAI⾃ら⾏動計画を⽴てて、 • 必要あればLambda関数を実⾏したり… • 必要あればナレッジベースを⾒にいったり… そんな⾃律型AIエージェントを マネコンから簡単に作れる︕ ナレッジ ベース エージェント APIとして 呼び出せる 関数 基盤 モデル 外部 サービス など
20 KDDI Agile Development Center Corporation イチオシ機能② エージェント こっちも ⼊⾨ハンズオン
作りました👍 qiita.com/minorun365
21 KDDI Agile Development Center Corporation 他のAWSサービスと組み合わせると⾯⽩い 例︓Step Functionsと組み合わせてAIアプリをローコード開発︕ aws.amazon.com/jp/blogs
22 KDDI Agile Development Center Corporation 注意点︓対応リージョンはまだアメリカが中⼼ • 最新のモデルや機能は、東京に来るの待ってたら結構時間かかる ◦
Claude最新モデルの来⽇にはいつも1ヶ⽉〜程度かかる ◦ ナレッジベースやエージェントはまだアメリカのみ • ただ、ぶっちゃけここはそれほど障壁ではない。なぜなら… ◦ 海外のモデルだからレスポンスがめちゃ遅い︕みたいなことは全然ない ◦ リージョンまたいでも、AWSサービス間の通信はAWS設備内に閉じる ◦ Bedrock関係なく、もし個⼈情報を海外リージョン上に保管するような場合は データガバナンス⾯を社内相談しましょう ※社内ルールをちゃんと確認しましょう︕
23 KDDI Agile Development Center Corporation ⽣成AI領域、めっちゃ⾯⽩いんです︕
24 KDDI Agile Development Center Corporation ⽣成AI領域が⾯⽩いのはなぜ︖ • API叩くだけなので内製開発の⼊⾨にも持ってこい︕ •
AIが賢いので、⼯夫次第ですぐ実⽤的なアプリに活かせる • 毎⽇アプデがたくさんあるので コミュニティで楽しく学べる 今朝のアプデ⾒た!? これ熱くね??? xxさんのブログが 分かりやすかったよ!
25 KDDI Agile Development Center Corporation 週明け、Anthropic社の緊急来⽇イベントやります︕ jawsug-ai.connpass.com/event/313318 なんと申し込み 1,100名超え︕
26 KDDI Agile Development Center Corporation おまけ︓Bedrockの本を出します︕
大規模言語モデル 御田 稔/熊田 寛/森田 和明 Amazon Bedrock アプリ開発入門 [AWS 生成AIガイド]
作って学べる! [LLMアプリ開発]の基本とコツ 今知るべき最先端の知識!! ハンズオン 「社内文書検索RAGアプリ」 「便利なAIエージェント」 ・セキュアな生成AI活用 ・モデルの使い分け ・ローコード開発 ・活用事例 まで サンプル コード配布 ࠷ڧͷ#FESPDLೖॻ ॻ͖·ͨ͠ 🎉🎉 ,"(,%%* ΈͷΔΜ 3FMJD ۽ా ࢜ιϑτ ా ͢Ͱʹ"NB[POͰ༧Մೳʂ
2JJUBͷ#FESPDLΧςΰϦʔ ؒϥϯΫΠϯͷ໊͕ࣥචʂ
大規模言語モデル 御田 稔/熊田 寛/森田 和明 Amazon Bedrock アプリ開発入門 [AWS 生成AIガイド]
作って学べる! [LLMアプリ開発]の基本とコツ 今知るべき最先端の知識!! ハンズオン 「社内文書検索RAGアプリ」 「便利なAIエージェント」 ・セキュアな生成AI活用 ・モデルの使い分け ・ローコード開発 ・活用事例 まで サンプル コード配布 ஶऀਞհ ޚాູʢΈͷΔΜʣ ,%%*ΞδϟΠϧ։ൃηϯλʔגࣜձࣾ ςοΫΤόϯδΣϦετ "844BNVSBJ ۽ా גࣜձࣾ3FMJD ઌςΫϊϩδʔݚڀ։ൃϦʔυ +BQBO"84"MM$FSUT ా໌ ࢜ιϑτגࣜձࣾ ΤόϯδΣϦετɾΞʔΩςΫτ +BQBO"84"NCBTTBEPS
৽ػೳཏˍϋϯζΦϯେྔʂ
4#ΫϦΤΠςΟϒΑΓ ্݄०ץߦ༧ఆʂ ͢ͰʹΞϚκϯͰ ༧Մೳ👉
Be a Change Leader. アジャイルに⼒を与え 共に成⻑し続ける社会を創る