アプリケーションにKnowledge Bases for Amazon Bedrock を組み込む

© NEC Solution Innovators, Ltd. 2023 NEC Solu9on Innovators Internal
Use Only アプリケーションに Knowledge Bases for Amazon Bedrock を組み込む NECソリューションイノベータ株式会社佐々木航太地方エンジニアのためのAWSハンズオン〜生成系AIを使った開発力強化のポイント〜

© NEC Solu9on Innovators, Ltd. 2023 NEC Solution Innovators Internal
Use Only 3 n 佐々木航太(Kota Sasaki) NECソリューションイノベータ株式会社北海道支社クラウド・地域ソリューショングループシニアプロフェッショナル・ビジネスプロデューサー #39歳 #稚内出⾝ #野球 #AWS歴9年 #ネットワーク #セキュリティ #新製品好き #Soracom 自己紹介

0. 前提学習 1. 初期作業 2. Knowledge Bases前確認 3. Knowledge Bases作成
4. アプリに組み込んでみる 5. 後片付け本日の流れ

0.前提学習

© NEC Solu9on Innovators, Ltd. 2023 NEC Solu9on Innovators Internal
Use Only 6 本ハンズオンで学習できること・ Knowledge Bases for Amazon Bedrockとはを学習する・ Amazon Bedrockと Knowledge Bases for Amazon Bedrockの違いを知る・ Knowledge Bases for Amazon Bedrockを構築できるようになる・ Knowledge Bases for Amazon Bedrockをアプリに組み込めるようになる

Use Only 7 最終的に出来上がるアーキテクチャ

Use Only 8 Knowledge Bases for Amazon Bedrockとは検索拡張（RAG）の仕組みを簡単に構築／導入できるサービスです。わかりやすくいうと、 Amazon Bedrockにオリジナデータル(企業独自データ) を生成（検索）対象にできる仕組み

1.初期作業

Use Only 10 1.初期作業 1-1. AWSにログインする 1-2. リージョンを「バージニア」に変更する ※2024年1月24日時点では、Knowledge Bases for Amazon Bedrockはバージニアとオレゴンしか利用できないため 1-3.検索にBedrockを入力し、 Amazon Bedrock を開く

© NEC Solution Innovators, Ltd. 2023 NEC Solution Innovators Internal
Use Only 11 1.初期作業 1-4. （本ハンズオンでは実施済みのためスキップしてください）Amazon Bedrock のModel Accessを開く。

Use Only 12 1.初期作業 1-5-1. （本ハンズオンでは実施済みのためスキップ）AnthropicのClaudeとClaude Instantを有効にする。下記内容で表示されてる場合はすでに利用可能な状態なので本操作は不要です。 2. Knowledge Bases 前確認までスキップしてください

© NEC Solution Innovators, Ltd. 2023 NEC Solution Innovators Internal
Use Only 13 1.初期作業 1-5-2. （本ハンズオンでは実施済みのためスキップ）AnthropicのClaudeとClaude Instantを有効にする。

Use Only 14 1.初期作業 1-5-3. （本ハンズオンでは実施済みのためスキップ）AnthropicのClaudeとClaude Instantを有効にする。会社名会社のURL 会社の業種利用するのは誰か？社内ユーザ外部ユーザどのような目的で使うか使い方の説明

2. Knowledge Bases前確認

Use Only 16 2. Knowledge Bases前確認 2-1. (前準備)他の参加者と被らない＜識別子＞を決めましょう ※後ほど作成するリソース名が被らないように使います。例：sasaki-know-test-20240127 注意! 識別子はS3のバケット名にも使うので、命名規則に気をつけてください。（半角ハイフンと英数字小文字で日付なんか入れると被らないかと）

Use Only 17 2. Knowledge Bases前確認 2-2. Amazon Bedrockに聞いても正しい回答とならないことを確認しよう。

Use Only 18 2. Knowledge Bases前確認 2-3-1. モデルを先ほど有効にしたClaudeを選択

Use Only 19 2. Knowledge Bases前確認 2-3-2. モデルを先ほど有効にしたClaudeを選択

Use Only 20 2. Knowledge Bases前確認 2-4-1. デフォルトのClaudeでは検索できないことを確認してみよう今回は「 VoiceGraphyについて教えてください」を検索してみてください。補足: VoiceGraphyはNECが2019 年に販売を停止した製品で、音声認識をして議事録の作成を支援してくれるソフトです。本来は社内規約などが良いですが、お題を共通化するために VoiceGraphyとさせてください

Use Only 21 2. Knowledge Bases前確認 2-4-2. 最もらしい答えが返ってきてますが、求めてる答えではなく、検索した限りは存在しないスタートアップ企業の内容が返却されます。

Use Only 22 2. Knowledge Bases前確認 2-4-3. 補足 ChatGPTはわからないと回答 Google検索の生成AIは求めてる回答（リアルにWebを検索してる）

3. Knowledge Bases作成

Use Only 24 3. Knowledge Bases作成 3-1-1. 最初に検索対象ドキュメントを格納するS3を作成

Use Only 25 3. Knowledge Bases作成 3-1-2. 最初に検索対象ドキュメントを格納するS3を作成

Use Only 26 3. Knowledge Bases作成 3-1-3. 最初に検索対象ドキュメントを格納するS3を作成識別子

Use Only 27 3. Knowledge Bases作成 3-2-1.検索対象データを事前格納 ※事前に渡された「VoiceGraphyユーザーズマニュアル.docx」を準備してください。

Use Only 28 3. Knowledge Bases作成 3-2-2.検索対象データを事前格納 ※事前に渡された「VoiceGraphyユーザーズマニュアル.docx」を準備してください。 VoiceGraphyユーザーズマニュアル.docx

Use Only 29 3. Knowledge Bases作成 3-2-3.検索対象データを事前格納 ※事前に渡された「VoiceGraphyユーザーズマニュアル.docx」を準備してください。

Use Only 30 3. Knowledge Bases作成 3-3-1. Knowledge Bases for Amazon Bedrockを作成する

Use Only 32 3. Knowledge Bases作成 3-3-3. Knowledge Bases for Amazon Bedrockを作成する識別子

Use Only 34 3. Knowledge Bases作成 3-3-4. Knowledge Bases for Amazon Bedrockを作成する作成した識別子のS3 を選択する

Use Only 38 3. Knowledge Bases作成 3-3-6. 補足検索対象となるVector データの格納先は、先が選択可能です。今回は手順を簡略化させるために左記での Vectorデータの格納先は作成しません。

Use Only 39 3. Knowledge Bases作成 3-3-7. Knowledge Bases for Amazon Bedrockを作成するボタンを押したあと OpenSearchServerlessが作成されるため数分時間がかかります。

Use Only 40 3. Knowledge Bases作成 3-4. S3に格納したデータをKnowledge Bases(OpenSearchSeverless)に同期するボタンを押したあとデータの構築に数分かかります。後ほど上記を使うので、メモしておいてください。・・・メモ１

Use Only 41 3. Knowledge Bases作成 3-5-1. 検索結果が改善されたか確認する Select Modelと表示されてる場合は、Claude v2.1を選択してください。

Use Only 42 3. Knowledge Bases作成 3-6. Knowledge Bases for Amazon Bedrockで同じキーワードを検索してみる「 VoiceGraphyについて教えてください」

Use Only 43 3. Knowledge Bases作成 3-7. 意図したデータが返却されたことが確認できましたここを押すことでどこの文章から参照してきたのかを確認できます。

4. アプリに組み込んでみる

Use Only 45 4.アプリに組み込んでみる 4-1-1. （本ハンズオンでは実施済みのためスキップ）事前準備としてIAMロールを作成します。

Use Only 48 4.アプリに組み込んでみる 4-1-4.（本ハンズオンでは実施済みのためスキップ）事前準備としてIAMロールを作成します。

Use Only 49 4.アプリに組み込んでみる 4-1-5.（本ハンズオンでは実施済みのためスキップ）事前準備としてIAMロールを作成します。識別子

Use Only 50 4.アプリに組み込んでみる 4-2. （本ハンズオンでは実施済みのためスキップ）現状のLambda標準のboto3にはKnowledge Bases for Amazon BedrockのrunYmeが含まれていないためLambda Layerを使って追加します。 mkdir python pip3 install boto3 -t ./python zip -r ./python.zip . aws lambda publish-layer-version --layer-name <識別子> --zip-file fileb://python.zip --compatible-runtimes python3.12

Use Only 51 4.アプリに組み込んでみる 4-3-1. Lambda関数を作成します

Use Only 52 4.アプリに組み込んでみる 4-3-2. Lambda関数を作成します

Use Only 53 4.アプリに組み込んでみる 4-3-3. Lambda関数を作成します識別子識別子今回のハンズオンではロールは前のセッションで作成した Lambdaのロールを指定してください今回はレイヤーがPython 3.9なので3.9を指定してください

Use Only 54 4.アプリに組み込んでみる 4-3-4. Lambda関数のタイムアウト値を3秒から30秒に変更します。 ※今回は応答に20秒ぐらいかかるため

Use Only 55 4.アプリに組み込んでみる 4-3-5. 作成したLambda Leyerを追加します

Use Only 56 4.アプリに組み込んでみる 4-3-5. 作成したLambda Leyerを追加します識別子今回のハンズオンではレイヤーは前のセッションで作成したレイヤーを指定してください

Use Only 57 4.アプリに組み込んでみる 4-6. ソースをコピーする import json import boto3 bedrock_agent = boto3.client('bedrock-agent-runtime') def lambda_handler(event, context): model_id = "anthropic.claude-v2:1" model_arn = f'arn:aws:bedrock:us-east-1::foundation-model/{model_id}' knowledgeBase_id = "XXXXXXXX" #メモ1を設定する # クエリパラメータを取得 query_params = event.get('queryStringParameters') # クエリパラメータが存在するか確認し、値を取得 param_value = "VoiceGraphyについて教えてください" if query_params: param_value = query_params.get('prompt', '') response = bedrock_agent.retrieve_and_generate( input={ 'text': param_value }, retrieveAndGenerateConfiguration={ 'type': 'KNOWLEDGE_BASE', 'knowledgeBaseConfiguration': { 'knowledgeBaseId': knowledgeBase_id, 'modelArn': model_arn } }) # 実行結果からテキストのみを変数に入れて、画面に出力する generated_text = response['output']['text'] print(generated_text) # 返却値 return { 'statusCode': 200, 'headers': { 'Access-Control-Allow-Origin': '*', 'Content-Type': 'application/json' }, 'body': json.dumps({ 'message': generated_text}, ensure_ascii=False) } ここに赤字部分を修正しコピーペーストする

Use Only 58 4.アプリに組み込んでみる 4-7-1. APIGatewayに作成したLambdaを紐づける

Use Only 59 4.アプリに組み込んでみる 4-7-2. APIGatewayに作成したLambdaを紐づける Cloud9で作成してSAMのアウトプットから自分のIDのものを探してください

Use Only 66 4.アプリに組み込んでみる 4-8. 画面から動作確認する。画面で動作確認するため、API GatewayのURL パスを変更します。・「ui.html」をダブルクリック・sendDataのurlのパスを「bedrock」から「knowledges」に変更 ※上記以外は変更しないでください。

5. 後片付け

Use Only 68 5.後片付け 5. (今回はAWSの問題により運営側で対応)下記リソースを削除する ※注意 OpenSearchServerlesは個別で削除が必要です。料金が高めなので注意してください・Knowledge baseを削除する・OpenSearchServerlessを削除する・Lambdaを削除する・LambdaLeyerを削除する・IAMロールを削除する・S3を削除する

Use Only

アプリケーションにKnowledge Bases for Amazon Bedrock を組み込む

アプリケーションにKnowledge Bases for Amazon Bedrock を組み込む

More Decks by Kota Sasaki

Other Decks in Technology

Featured

Transcript