Bedrock Prompt FlowsでSlack Bot作ってみた

Bedrock Prompt Flowsで Slack Bot作ってみた NRIネットコム TECH AND DESIGN STUDY
#40 ユースケのユースケース Case2 転載、複製、改変等は禁止します #nncstudy

Bedrock Prompt FlowsでSlack Bot作ってみた WebシステムのPoC、アーキテクトがおしごと AWS Ambassadors(2023,24) 　AWS CDK/Bedrock/ChatGPT/カメラ/つけ麺先週手足口病で食事に2時間かかってました
Blog: 志水友輔 (しみずゆうすけ) NRIネットコム株式会社 / CLOUD ARCHITECT 転載、複製、改変等は禁止します #nncstudy

はじめに Bedrock Prompt FlowsでSlack Bot作ってみた生成AI・Amazon Bedrockについて、まだまだ知られていない部分が多い最新情報も多く、追いきれないことがある実際に触ってみることで、理解が深まる
コードにふれる機会が無くなってきた背景最新のBedrock Prompt Flowsの理解を深める Bedrockを触るきっかけをつくる応用例を通じて生成系AIの理解を深め、 Bedrockの適用先を見つけられるようにする目的転載、複製、改変等は禁止します #nncstudy

Amazon Bedrockとは強力な基盤モデルを用いたテキスト、画像生成を実現 AI21 Labs、Amazon、Anthropic、Cohere、 Meta、Mistral AI、Stability AIなどのトップAI 企業から提供されるモデルへ単一API経由で柔軟
に利用可能生成AIサービスサーバーレスアーキテクチャにより、セキュリティを確保しつつ迅速な開発とスケーリングをサポートユーザからのデータをモデルの学習に一切利用されないため、安全に利用可能開発効率 Bedrock Prompt FlowsでSlack Bot作ってみたやあ転載、複製、改変等は禁止します #nncstudy

Bedrockのモデル一覧 Bedrock Prompt FlowsでSlack Bot作ってみた Anthropic Claude 3.5 Sonnet Claude
3 Opus Claude 3 Sonnet Claude 3 Haiku Claude Claude Instant AI21 Labs Jurassic-2 Ultra Jurassic-2 Mid Cohere Command R+ Command R Embed English Embed Multilingual Command Command Light Meta Llama 3.1 405B Instruct Llama 3.1 70B Instruct Llama 3.1 8B Instruct Llama 3 8B Instruct Llama 3 70B Instruct Llama 2 Chat 13B Llama 2 Chat 70B Llama 2 13B Llama 2 70B Amazon Titan Embeddings G1 - Text Titan Text G1 - Lite Titan Text G1 - Express Titan Image Generator G1 Titan Multimodal Embeddings G1 Titan Text G1 - Premier Titan Text Embeddings V2 Stability AI SDXL 1.0 Mistral AI Mistral 7B Instruct Mixtral 8x7B Instruct Mistral Small (24.02) Mistral Large (24.02) Mistral Large 2 (24.07) 転載、複製、改変等は禁止します #nncstudy

Bedrockの機能ナレッジベース：企業のデータを用いて応答を強化（RAG）エージェント：複数のタスクをオーケストレーションし実行ガードレール：不適切なコンテンツ生成を防ぐセーフガードウォーターマーク検出：生成コンテンツの　　透かしを検出モデル評価：異なるモデルの出力を比較し最適
なモデルを選定 Prompt Management：プロンプトの作成、　評価、共有を簡素化（2024/07/10発表） Prompt Flows：生成AIワークフローの視覚的な作成とデプロイを支援（2024/07/10発表）機能一覧 Bedrock Prompt FlowsでSlack Bot作ってみたいろいろできんで転載、複製、改変等は禁止します #nncstudy

Bedrockの機能機能一覧 Bedrock Prompt FlowsでSlack Bot作ってみたいろいろできんでナレッジベース：企業のデータを用いて応答を強化（RAG）エージェント：複数のタスクをオーケストレー
ションし実行ガードレール：不適切なコンテンツ生成を防ぐセーフガードウォーターマーク検出：生成コンテンツの　　透かしを検出モデル評価：異なるモデルの出力を比較し最適なモデルを選定 Prompt Management：プロンプトの作成、　評価、共有を簡素化（2024/07/10発表） Prompt Flows：生成AIワークフローの視覚的な作成とデプロイを支援（2024/07/10発表）機能一覧転載、複製、改変等は禁止します #nncstudy

Amazon Bedrock Prompt Flowsとは Bedrock Prompt FlowsでSlack Bot作ってみたドラッグ＆ドロップでさまざまなコンポーネントをリンクしてワークフローを構築できる直感
的なビジュアルビルダー開発者は複雑な生成AIアプリケーションを迅速かつ効率的に構築可能現在（2024/08/21）プレビュー中概要迅速なテストとデプロイ：ワークフロー全体をテストし、その結果を即座に確認でき、スナップショットを作成してバージョン管理が可能 API統合：プログラムによるフローのテスト、デプロイもでき、Slack Botのような外部アプリケーションとの連携が容易主な機能転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成

Prompt Flowsのノード Bedrock Prompt FlowsでSlack Bot作ってみた Iteratorの入力収集条件分岐反復処理エージェント操作
テキスト生成コードの実行いろんな手段でRAG S3へデータ取得しRAG S3へデータ保存 AIサービス呼び出し転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成

Amazon Bedrock Prompt Flowsとは Bedrock Prompt FlowsでSlack Bot作ってみたドラッグ＆ドロップでさまざまなコンポーネントをリンクしてワークフローを構築できる直感
的なビジュアルビルダー開発者は複雑な生成AIアプリケーションを迅速かつ効率的に構築可能現在（2024/07/30）プレビュー中概要迅速なテストとデプロイ：ワークフロー全体をテストし、その結果を即座に確認でき、スナップショットを作成してバージョン管理が可能 API統合：プログラムによるフローのテスト、デプロイもでき、Slack Botのような外部アプリケーションとの連携が容易主な機能転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成

Slack Botの概要 Bedrock Prompt FlowsでSlack Bot作ってみた Slack Botは、Slackプラットフォーム上で動作する自動化されたプログラムユーザーとの対話を通じて情報を提供したり、
タスクを実行 Slack Botとは通知の自動化：重要なイベントやアラートを自動的にSlackチャンネルに通知。これにより、チーム全体がリアルタイムで情報を共有情報の取得と提供：ユーザーからの質問に対して、正規表現や外部APIを利用して即座に回答を提供。例えば、特定のデータを取得して表示レポート生成の自動化：定期的にS3に配置されるデータを読み取り、レポートを自動生成して Slackチャンネルに配信。定型業務や繰り返し作業を自動化し、効率を向上ユースケース転載、複製、改変等は禁止します #nncstudy

Slack Botの概要 Bedrock Prompt FlowsでSlack Bot作ってみた通知の自動化：視覚的なインターフェースで通知ワークフローを簡単に設計・管理。生成AIが自動でパーソナライズされた通知内容を生成し、質と効率を向上
情報の取得と提供：プロンプト設計とフロー管理を統合し、ユーザーからの質問に即座に回答するSlack Botの動作を自動化。開発サイクルが短縮され、迅速なプロトタイピングとデプロイが可能レポート生成の自動化：視覚的なインターフェースでレポート生成ワークフローを簡単に設計・管理。定期的にS3に配置されるデータを読み取り、生成AIが自動でパーソナライズされたレポート内容を生成し、質と効率を向上 Amazon Bedrock Prompt Flowsとの連携転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成

作成するSlack Botの概要 Bedrock Prompt FlowsでSlack Bot作ってみた Slack Botを通じて生成AIの実用性を体感する Bedrock Prompt
Flowsの実践的な利用方法を学ぶ生成AIを活用した効率的な業務自動化の可能性を探る作成する目的 Slackから会話ができるようにする一般的な知識に対しての質問や会話へ返事特定の知識に対してはその知識を蓄えているものから返事 NRIネットコムに関する最新のデータを利用 Botの機能転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成

作成したSlack Botの概要 Bedrock Prompt FlowsでSlack Bot作ってみた Amazon Bedrockってなに？ AWSにおける生成AIサービスで... NRIネットコムの社員数は？
517人です転載、複製、改変等は禁止します #nncstudy

517人です一般的な知識特定の知識転載、複製、改変等は禁止します #nncstudy

517人です一般的な知識特定の知識転載、複製、改変等は禁止します #nncstudy https://www.nri-net.com/recruit/company/data

アーキテクチャ Bedrock Prompt FlowsでSlack Bot作ってみた Knowledge bases API Gateway Lambda
Prompt Flows Bedrock Netcom Page Model Claude 3.5 Sonnet CDK 転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成 https://www.nri-net.com/recruit/company/data Amazon API Gateway: API Gateway AWS Lambda: Lambda AWS Cloud Development Kit: CDK

Prompt Flows Bedrock Netcom Page Model Claude 3.5 Sonnet CDK 転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成 https://www.nri-net.com/recruit/company/data

作ったフロー Bedrock Prompt FlowsでSlack Bot作ってみた転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成

作ったフロー Bedrock Prompt FlowsでSlack Bot作ってみた内容がNRIネットコムに関する質問かそれ以外かを出力 1. 2.
1の結果をもとに3か4 へ移動 3. ネットコムの情報を　もとに回答 4. ユーザ入力に対して　関西弁で返答転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成

作ったプロンプト Bedrock Prompt FlowsでSlack Bot作ってみた You are tasked with creating
a question classifier for a chatbot. Your goal is to determine whether a given conversation is about a specific company or if it's a general question. The company in question is: <company_name> NRIネットコム株式会社 </company_name> Here is the conversation to be classified: <conversation> {{CONVERSATION}} </conversation> Please analyze the conversation and determine if it is specifically about the company mentioned above or if it's a general question. To make your classification: Look for any mention of the company name or products/services closely associated with the company. Consider the context of the conversation and whether it seems to be inquiring about or discussing the specific company. If the conversation doesn't mention the company or its associated products/services, and doesn't seem to be about the company's industry or business area, it's likely a general question. Output your final classification as either "Company" or "General". Do not include any explanation or tags, only the final classification. 転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成

作ったプロンプト Bedrock Prompt FlowsでSlack Bot作ってみたあんたは今から、めっちゃポジティブでコテコテの関西弁を使うんや。相手の話を聞いて、超前向きで元気いっぱいな返事をせなアカンで。ここに相手の話があるさかい、よう読んでな： <conversation_content> {{CONVERSATION_CONTENT}}
</conversation_content> さて、こんな風に返事するんや： 1. めっちゃ元気で明るい感じで話すこと 2. 相手の言うてることに対して、ポジティブな反応をすること 3. 「〜やで」「〜やねん」「〜さかい」みたいな関西弁特有の言い回しを使うこと 4. 「めっちゃ」「すんごい」「あかん」みたいな関西弁らしい言葉もたくさん使うこと 5. 相手を励ましたり、応援したりする感じで話すこと返事は関西弁だけで書いて、それ以外のことは書かんでええで。準備はええか？せーので返事を書き始めてな！ <answer> 転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成

作ったナレッジベース Bedrock Prompt FlowsでSlack Bot作ってみた転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成

Lambdaコード Bedrock Prompt FlowsでSlack Bot作ってみた転載、複製、改変等は禁止します #nncstudy

Bedrock Prompt FlowsでSlack Bot作ってみた Bedrock Prompt Flows への入力データを作成 Lambdaコード出力内容をSlackへ通知
Bedrock Prompt Flows をキック転載、複製、改変等は禁止します #nncstudy

Bedrock Prompt FlowsでSlack Bot作ってみた Lambdaコード 100行以下！転載、複製、改変等は禁止します #nncstudy

CDKコード Bedrock Prompt FlowsでSlack Bot作ってみた転載、複製、改変等は禁止します #nncstudy

CDKコード Bedrock Prompt FlowsでSlack Bot作ってみた 100行以下！転載、複製、改変等は禁止します #nncstudy

出来たもの Bedrock Prompt FlowsでSlack Bot作ってみた転載、複製、改変等は禁止します #nncstudy

出来たものの動き Bedrock Prompt FlowsでSlack Bot作ってみた正解やで転載、複製、改変等は禁止します #nncstudy

問題発生 Bedrock Prompt FlowsでSlack Bot作ってみた転載、複製、改変等は禁止します #nncstudy

想定してる流れ Bedrock Prompt FlowsでSlack Bot作ってみた転載、複製、改変等は禁止します #nncstudy API Gateway Lambda
Bedrock Prompt Flows AWSコンソール画面をもとに作成 Bedrockってなに？

Bedrock Prompt Flows AWSコンソール画面をもとに作成考え中待機

Bedrock Prompt Flows AWSコンソール画面をもとに作成わかった！ OK

Bedrock Prompt Flows AWSコンソール画面をもとに作成返信

実際の流れ Bedrock Prompt FlowsでSlack Bot作ってみた転載、複製、改変等は禁止します #nncstudy API Gateway Lambda
Bedrock Prompt Flows AWSコンソール画面をもとに作成 Bedrockってなに？

Bedrock Prompt Flows AWSコンソール画面をもとに作成考え中待機

Bedrock Prompt Flows AWSコンソール画面をもとに作成考え中待機おそくね？？

Bedrock Prompt Flows AWSコンソール画面をもとに作成考え中待機もっかい送ろ〜3秒後〜

Bedrock Prompt Flows AWSコンソール画面をもとに作成わかった！考え中待機

Bedrock Prompt Flows AWSコンソール画面をもとに作成返信考え中待機

Bedrock Prompt Flows AWSコンソール画面をもとに作成 OK 考え中待機 OK

Bedrock Prompt Flows AWSコンソール画面をもとに作成わかった！

Bedrock Prompt Flows AWSコンソール画面をもとに作成返信

Bedrock Prompt Flows AWSコンソール画面をもとに作成 OK OK

対処法 Bedrock Prompt FlowsでSlack Bot作ってみたリトライヘッダーがあれば実行しないよう修正再送されたリクエストに専用のリトライヘッダーが存在するコード修正で簡単に変更可能無駄なLambdaが起動する
案1: ヘッダーをチェック時間のかかるBedrockリクエストの部分を非同期実行 Slackからのリクエストを受け取ったら即座に200 OKを返す実際の処理は別のLambda関数で非同期実行非同期実行により、処理の信頼性が向上アーキテクチャの変更が必要案2: Bedrockリクエストを分離転載、複製、改変等は禁止します #nncstudy ヘッダチェック非同期実行 AWSコンソール画面をもとに作成

対処法 Bedrock Prompt FlowsでSlack Bot作ってみたリトライヘッダーがあれば実行しないよう修正再送されたリクエストに専用のリトライヘッダーが存在するコード修正で簡単に変更可能無駄なLambdaが起動する
案1: ヘッダーをチェック時間のかかるBedrockリクエストの部分を非同期実行 Slackからのリクエストを受け取ったら即座に200 OKを返す実際の処理は別のLambda関数で非同期実行非同期実行により、処理の信頼性が向上アーキテクチャの変更が必要案2: Bedrockリクエストを分離転載、複製、改変等は禁止します #nncstudy ヘッダチェック非同期実行 AWSコンソール画面をもとに作成まかせてや

修正後のアーキテクチャ Bedrock Prompt FlowsでSlack Bot作ってみた API Gateway Lambda Bedrock Prompt
Flows 転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成 SQS Lambda SQS: Amazon Simple Queue Service

修正後のアーキテクチャ Bedrock Prompt FlowsでSlack Bot作ってみた API Gateway Lambda Bedrock Prompt
Flows 転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成 SQS Lambda SQS: Amazon Simple Queue Service リクエストの検査キュー入れる Bedrockの実行 Slackへ返事

リアーキしたけど。。 Bedrock Prompt FlowsでSlack Bot作ってみた転載、複製、改変等は禁止します #nncstudy

リアーキしたけど。。 Bedrock Prompt FlowsでSlack Bot作ってみた転載、複製、改変等は禁止します #nncstudy たまに複数来るメトリクス確認実行時間が3秒前後

時間かかってる部分 Bedrock Prompt FlowsでSlack Bot作ってみた API Gateway Lambda Bedrock Prompt
Flows 転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成 SQS Lambda SQS: Amazon Simple Queue Service リクエストの検査キュー入れる Bedrockの実行 Slackへ返事

Flows 転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成 SQS Lambda SQS: Amazon Simple Queue Service リクエストの検査キュー入れる Bedrockの実行 Slackへ返事 3秒かかる処理じゃない

Flows 転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成 SQS Lambda SQS: Amazon Simple Queue Service リクエストの検査キュー入れる Bedrockの実行 Slackへ返事 3秒かかる処理じゃないログ確認メモリ食ってない

Flows 転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成 SQS Lambda SQS: Amazon Simple Queue Service Bedrockの実行 Slackへ返事わからんけどとりあえずリソース上げよ

メモリ変更による時間変異 Bedrock Prompt FlowsでSlack Bot作ってみた転載、複製、改変等は禁止します #nncstudy 128 MB 1024
MB 256 MB

MB 256 MB 早くなった！

MB 256 MB 早くなった！一緒に上がったCPUが効いた

MB 256 MB メモリは256MBで良さそう

対策の振り返り Bedrock Prompt FlowsでSlack Bot作ってみたシンプルにコード修正でも良かった自分はアーキテクトなんだ！と謎の気負い分けたLambdaでテストやりやすくなった対策1: リアーキテクチャ
対処法としては初歩的なものだったただ、変にハマったこの程度の処理は最小Lambdaでいいでしょ、という思い込みログのメモリ使用量見て不要と判断脳内空っぽでリソース変えるのはアリ対策2: リソースアップ転載、複製、改変等は禁止します #nncstudy AWSコンソール画面をもとに作成おつかれ

まとめ最新のBedrock Prompt Flowsの理解: 最新のBedrock Prompt Flowsの機能と利点の理解生成系AIの理解と適用先の発見: 具体的な応用例を通じた生成系AIの理解とBedrockの適用先の発見
効率的な開発プロセスの体感: 生成AIを活用した環境の構築とAWSのビルディングブロックを活用した効率的な開発プロセスの体感課題解決: リアーキテクチャとリソース変更によりSlackへ複数返信する問題を解消今後の展望: S3/Lambda/画像生成などをPrompt Flowsから試す転載、複製、改変等は禁止します #nncstudy

転載、複製、改変等は禁止します #nncstudy

Bedrock Prompt FlowsでSlack Bot作ってみた

Bedrock Prompt FlowsでSlack Bot作ってみた

More Decks by Yusuke Shimizu

Other Decks in Technology

Featured

Transcript