Upgrade to Pro — share decks privately, control downloads, hide ads and more …

5分で分かる(かもしれない) Vector engine for OpenSearch Ser...

5分で分かる(かもしれない) Vector engine for OpenSearch Serverless

つくぼし

May 12, 2024
Tweet

More Decks by つくぼし

Other Decks in Technology

Transcript

  1. 3 自己紹介 ★ ハンドルネーム ◦ つくぼし ★ 所属 ◦ AWS事業本部コンサルティング部

    ◦ ソリューションアーキテクト ★ 最近ハマっているAWSサービス ◦ AWS Application Composer ★ SNS/ブログ ◦ Twitter(@tsukuboshi0755) ◦ DevelopersIO(つくぼし)
  2. 4 今日話す事・話さない事 • 話す事 ◦ Vector engine for OpenSearch Servelessの概念

    ◦ OpenSearch Serverlessを使う際の考慮点 • 話さない事 ◦ OpenSearchにおけるインデックス作成方法 ◦ ベクトルデータベースを用いた検索方法 ◦ その他OpenSearch Serverlessの詳細な仕組み
  3. • Amazon OpenSearch Serviceにおける インフラ管理モードの1つ ◦ Managed Clusters:クラスターという単位で作 成し、原則ユーザーがノード(インスタンス)を自 前管理する必要がある

    ◦ Serverless:コレクションという単位で作成し、 AWSが必要なノード(インスタンス)を自動ス ケーリングしてくれる 9 OpenSearch Serverlessとは? 参照:Amazon OpenSearch Serverless が一般利用可能になりました | Amazon Web Services ブログ
  4. 10 Vector engine for OpenSearch Serverlessとは? • OpenSearch Serverlessにおけるコレクションタイプの1つ ◦

    元々は検索または時系列のみだったが、後にベクトル検索が選択可能に ◦ ベクトル検索:数値ベクトルに変換された文字や画像、音声等のデータ(埋め込み) の類似度を比較、関連性の高いデータを見つけ出す検索方法 • 生成AIを用いたRAG構築におけるベクトルデータストアとして最適 参照:生成系 AI アプリケーションでベクトルデータストアが果たす役割とは | Amazon Web Services ブログ
  5. 13 データアクセスポリシー • 以下の権限を、特定の IAMエンティティに対して定 義 ◦ コレクション全体に対す るアクセス権限 ◦

    各インデックスに対する アクセス権限 • JSON形式で作成/変更可 能可能 # ポリシー例 [ { "Rules": [ { "Resource": [ "collection/<コレクション名>" ], "Permission": [ "aoss:DescribeCollectionItems", "aoss:CreateCollectionItems", "aoss:UpdateCollectionItems" ], "ResourceType": "collection" }, { "Resource": [ "index/<インデックス名>/*" ], "Permission": [ "aoss:UpdateIndex", "aoss:DescribeIndex", "aoss:ReadDocument", "aoss:WriteDocument", "aoss:CreateIndex" ], "ResourceType": "index" } ], "Principal": [ "<IAMロールARN>" ], "Description": "" } ]
  6. 19