Amazon BedrockとAmazon QでAIを身近に

A 30 minute presentation I gave at the 10th AI Study Group in Ebetsu (on 2024/7/25) introducing Amazon Bedrock and Amazon Q, along with demonstrating the latest Claude 3.5 and Llama 3.1 models.

https://ebetsu-ai.connpass.com/event/325418/

(Note: This presentation is only in Japanese, sorry.)

Transcript

1. Amazon Bedrockと Amazon QでAIを身近に 江別AI勉強会 Vol.10 2024年7月25日 (木) 株式会社コールド・フュージョン テッダー　マイケル
2. $ whoami { "名前": "テッダー　マイケル", "住まい": "札幌", "仕事": "リアルタイム3Dゲームエンジン開発を専門とするゲームクリエイター", "コミュニティ活動": [ "JAWS-UG GameTech専門支部運営", "JAWS-UG札幌運営", "AWSコミュニティビルダー (5年目)" ], "趣味": [ "ゲーム (遊ぶ側)", "燻製作り", "スキューバ" ], "できること": [ "スマホ+Nintendo Switchのマルチプラットフォームゲーム開発", "サーバーレスアーキテクチャでバックエンドAPI開発", "コンテナー運用 (Docker)", "DevOps (CI/CD)" ], "好きな言語": [ "C++17", "GLSL", "PHP", "TypeScript", "ASM (x64/ARM/6502/MIPS)" ], "好きなAWSサービス": "Lambda" }
3. 今日お話しすること • Amazon Bedrockとは ◦ 対応モデル ◦ Playground ◦ RAGとナレッジベース • Amazon Qとは ◦ Amazon Q Business ◦ Amazon Q Developer • Q & A / ライブデモ
4. Amazon Bedrockとは
5. Amazon Bedrock • AWSが提供している生成AIサービス • 開発者向けでAPIとして利用
6. Amazon Bedrock • AWSが提供している生成AIサービス • 開発者向けでAPIとして利用 $ aws bedrock-runtime invoke-model --model-id meta.llama3-1-70b-instruct-v1:0 --body "{\"prompt\":\" [INST]Please simplify all responses and use Japanese for all conversation.[/INST] 富 士山とスカイツリーの高さを比較し、どっちの方が高いかを教えてください。 \",\"max_gen_len\":512,\"temperature\":0.5,\"top_p\":0.9}" --cli-binary-format raw-in-base64-out --region us-west-2 --profile mtedder out.txt { "contentType": "application/json" } $ cat out.txt {"generation":"[/INST]\n富士山の高さは3776メートルです。スカイツリーの高さは634メートルです。富 士山の方が高くなります。 [/INST]","prompt_token_count":42,"generation_token_count":44,"stop_reason":"stop"}
7. Amazon Bedrockの対応モデル AI21 Labs • Jamba-Instruct • Jurassic-2 Ultra • Jurassic-2 Mid Amazon • Titan Embeddings G1 - Text • Titan Text G1 - Premier • Titan Text G1 - Lite • Titan Text G1 - Express • Titan Image Generator G1 • Titan Multimodal Embeddings G1 • Titan Text Embeddings V2 Anthropic • Claude 3.5 Sonnet (6月20日 GA) • Claude 3 Opus • Claude 3 Sonnet • Claude 3 Haiku • Claude • Claude Instant Cohere • Command R+ • Command R • Embed English • Embed Multilingual • Command • Command Light Meta • Llama 3.1 8B / 70B / 405B Instruct (NEW! 7月24日 Preview) • Llama 3 8B / 70B Instruct • Llama 2 Chat 13B / 70B • Llama 2 13B / 70B Mistral • Mistral Large 2 (24.07) (NEW! 7月25日 GA) • Mistral Large 24.02 • Mistral 7B / Mixtral 8x7B Instruct • Mistral Small Stability AI • SDXL 1.0
8. Cohere • Command R+ • Command R • Embed English • Embed Multilingual • Command • Command Light Meta • Llama 3.1 8B / 70B / 405B Instruct (NEW! 7月24日 Preview) • Llama 3 8B / 70B Instruct • Llama 2 Chat 13B / 70B • Llama 2 13B / 70B Mistral • Mistral Large 2 (24.07) (NEW! 7月25日 GA) • Mistral Large 24.02 • Mistral 7B / Mixtral 8x7B Instruct • Mistral Small Stability AI • SDXL 1.0 Amazon Bedrockの対応モデル AI21 Labs • Jamba-Instruct • Jurassic-2 Ultra • Jurassic-2 Mid Amazon • Titan Embeddings G1 - Text • Titan Text G1 - Premier • Titan Text G1 - Lite • Titan Text G1 - Express • Titan Image Generator G1 • Titan Multimodal Embeddings G1 • Titan Text Embeddings V2 Anthropic • Claude 3.5 Sonnet (6月20日 GA) • Claude 3 Opus • Claude 3 Sonnet • Claude 3 Haiku • Claude • Claude Instant 凡例 • チャット・テキスト生成 • テキストとビジョン • 画像生成 • 埋め込み
9. Playground（チャット） • 会話式（ChatGPT風）のやりとり • コンテキストを継続的に持つ
10. Playground（チャット/ビジョン） • 画像認識しプロンプトに対して回答
11. Playground（テキスト） • 1回だけの長い文字生成 / 翻訳 / プロンプト制作に使う
12. Playground（テキスト） • 1回だけの長い文字生成 / 翻訳 / プロンプト制作に使う
13. 実際コンパイルしてみた... • warning: class内の変数を直接初期化かけていた →　static constexprに変更 • error: accumulateという関数が完全に抜けていた →　なんとなく意味はわかったので自分で追加
14. ちゃんと遊べた！
15. Playground（イメージ） • 1024x1024の高解像度の画像を生成
16. Playground（イメージ） • 1024x1024の高解像度の画像を生成
17. RAGとナレッジベース • Retrieval Augmented Generation (検索拡張生成) • AIモデルに無い情報を外部データに検索させる機能 • Bedrockでは「ナレッジベース」でサポート
18. Amazon Qとは
19. Amazon Q Business • 企業の自社データを学習させ、質問に対して回答 ◦ 社内のためのチャットボット • データは AWS (S3 / RDSなど)、Gmail、Google Drive、 JIRA、Teams、Slackなどと接続が可能 • 「〇〇商品の昨年と今年の売り上げを比較して」→ 「売り上げが5月に下がってるのはなぜですか」 という分析系な質問が可能 • 「10年以上の経験を必要とするシニアプロダクトマネー ジャーの求人広告を作成して」→ 「求人広告を宣伝するためSNS投稿の文章を作成して」 のも可能
20. Amazon Q Developer • AWSを利用した開発の手助け機能 • Visual Studio / Visual Studio Codeのプラグインでコー ド書いてる最中に推測する • ソースコードの言語変換・更新 ◦ Java 8・11からJava 17への自動アップグレード ◦ PythonのスクリプトをTypeScriptに変換 ◦ などなど • チャットの質問形式も可能
21. Amazon Q Developer
22. Amazon Q Developer
23. Q & A / ライブデモ
24. ご清聴ありがとうございます！