Google Cloud で利用できるRDBのベクトル検索を徹底解剖！

2024年6月5日に開催されたGoogle Cloudの非公開イベントでの登壇資料です。

Google CloudではGoogle Cloud Next Las Vegas '24でほぼ全てのデータベースでベクトル検索が利用できるようになったことが発表されました。
このスライドではGoogle Cloudで利用することができるマネージドRDBの特徴を整理することで、どのようなベクトル検索のユースケースでどのデータベースを利用するべきかを紹介しています。

Transcript

1. Google Cloud で利用できる RDBのベクトル検索を徹底解剖！ 株式会社スリーシェイク 中楯 直希
2. \du 2 株式会社スリーシェイク Sreake事業部 業務内容 • DBRE兼SRE見習い ◦ データベースを中心にインフラ・アプリ領域もがんばってます ◦ DB <- わかる ◦ 機械学習 <- ちょっとわかる ◦ 生成AI <- 触った 最近あったGoogle Cloudのイチオシアップデート 中楯 直希 @nnaka2992 @nnaka2992.bsky.social
3. • 対象 ◦ データベースエンジニア ◦ アプリケーションエンジニア ◦ 生成AIで利用するベクトルデータの保存先に迷っている方 • 伝えたいこと ◦ Google Cloud のベクトル検索が行うことができる、 マネージドリレーショナルデータベースの選び方 この資料のコンセプト 3
4. この資料に記載されている内容は 2024 / 05 / 31 時点の内容です。 生成 AI やベクトル検索関連はリリースが頻繁に行われるので、 リリースノートで最新の情報を確認してください。 注意 4
5. • Google Cloud のベクトル検索をサポートするマネージド RDB • そもそもベクトル検索とは？ • それぞれにおけるベクトル検索の特色とユースケース • まとめ Agenda 5
6. Google Cloud のベクトル検索をサポートする マネージド RDB 01
7. Google Cloud で利用可能な RDB は全 5 種類 DB レイヤーがマネージドなサービスは全 4 種類 細分化すると 7 種類 Google Cloud のベクトル検索をサポートするマネージド RDB 7 Cloud Spanner AlloyDB BigQuery Cloud SQL PostgreSQL MySQL SQL Server PostgreSQL PostgreSQL Google SQL Google SQL ベクトルストアに どれを使えばいいかわからない！
8. そもそも全部のパターンでベクトル検索が使えるわけではない Cloud SQL for SQL Server はベクトル検索をサポートしていない Google Cloud のベクトル検索をサポートするマネージド RDB 8 Cloud Spanner AlloyDB BigQuery Cloud SQL PostgreSQL MySQL SQL Server PostgreSQL PostgreSQL Google SQL Google SQL
9. そもそもベクトル検索とは？ 02
10. そもそもベクトル検索とは？ 10 ベクトル検索は従来のキーによる検索ではなく、検索対象の情報と問い合わせの情報が どれぐらい似ているのかで検索する方法 • 例 どっちに 似ているか
11. そもそもベクトル検索とは？ 11 実際のアプリケーションでは次のように実装される 0. データベースにデータがベクトル検索を行いたい対象が存在する id 名前 説明 データベース
12. そもそもベクトル検索とは？ 12 実際のアプリケーションでは次のように実装される 1. 目的のデータをベクトル化してデータベースに保存する id 名前 説明 データベース Vertex AI Embedding for Text id ベクトル 説明データをでベクトル化 ベクトル化したデータを保存
13. そもそもベクトル検索とは？ 13 実際のアプリケーションでは次のように実装される 2. ユーザーからの問い合わせを受け取る id 名前 説明 データベース Vertex AI Embedding for Text id ベクトル Cloud Run 検索内容を入力
14. そもそもベクトル検索とは？ 14 実際のアプリケーションでは次のように実装される 3. ユーザーからの問い合わせをベクトル化する id 名前 説明 データベース Vertex AI Embedding for Text id ベクトル Cloud Run 検索内容を入力 検索内容をベクトル化する
15. そもそもベクトル検索とは？ 15 実際のアプリケーションでは次のように実装される 4. ベクトル化した問い合わせでデータベースを検索する id 名前 説明 データベース Vertex AI Embedding for Text id ベクトル Cloud Run 検索内容を入力 検索内容をベクトル化する データベースを検索
16. そもそもベクトル検索とは？ 16 実際のアプリケーションでは次のように実装される 5. 問い合わせ内容に似た結果をユーザーに返す id 名前 説明 データベース Vertex AI Embedding for Text id ベクトル Cloud Run 検索内容を入力 検索内容をベクトル化する データベースを検索 似た結果をユーザーに返す
17. そもそもベクトル検索とは？ 17 実際のアプリケーションでは次のように実装される 5. 問い合わせ内容に似た結果をユーザーに返す id 名前 説明 データベース Vertex AI Embedding for Text id ベクトル Cloud Run 検索内容を入力 検索内容をベクトル化する データベースを検索 似た結果をユーザーに返す 今回はこの部分がメイン
18. それぞれにおけるベクトル検索の特色とユースケース 03
19. それぞれにおけるベクトル検索の特色とユースケース 19 どのデータベースでベクトル検索を使うかは、データベースの特性が重要になる • CloudSQL for PostgreSQL • CloudSQL for MySQL • AlloyDB • Cloud Spanner • BigQuery
20. それぞれにおけるベクトル検索の特色とユースケース 20 どのデータベースでベクトル検索を使うかは、データベースの特性が重要になる • CloudSQL for PostgreSQL • CloudSQL for MySQL • AlloyDB • Cloud Spanner • BigQuery • PostgreSQL との完全な互換性 • pgvector 拡張機能によってベクトル検索を実装 ◦ 他クラウド・オンプレミスでも利用可能 ◦ 多様な計算方法をサポート • SQL から Vertex AI を呼び出す拡張機能が GA
21. それぞれにおけるベクトル検索の特色とユースケース 21 どのデータベースでベクトル検索を使うかは、データベースの特性が重要になる • CloudSQL for PostgreSQL • CloudSQL for MySQL • AlloyDB • Cloud Spanner • BigQuery • MySQL との完全な互換性 ◦ MySQL 互換では唯一の選択肢 • Google Cloud による独自のベクトル検索を実 装 ◦ オンプレミスや AWS では利用できない Google Cloud の強み ◦ Preview ステータス
22. それぞれにおけるベクトル検索の特色とユースケース 22 どのデータベースでベクトル検索を使うかは、データベースの特性が重要になる • CloudSQL for PostgreSQL • CloudSQL for MySQL • AlloyDB • Cloud Spanner • BigQuery • PostgreSQL との互換性 ◦ 他クラウド・オンプレミスでは AlloyDB Omni を利 用してセルフホストが可能 • pgvector 拡張機能によってベクトル検索を実装 ◦ 他クラウド・オンプレミスでも利用可能 ◦ 多様な計算方法をサポート • SQL から Vertex AI を呼び出す拡張機能が GA • カラム型エンジンをサポート ◦ 集計関数の実行に有利
23. それぞれにおけるベクトル検索の特色とユースケース 23 どのデータベースでベクトル検索を使うかは、データベースの特性が重要になる • CloudSQL for PostgreSQL • CloudSQL for MySQL • AlloyDB • Cloud Spanner • BigQuery • PostgreSQL 互換インターフェイスをサポート • Google Cloud による独自のベクトル検索を実 装 • SQL から Vertex AI を呼び出す拡張機能が GA • Write のスケールアウトが可能
24. それぞれにおけるベクトル検索の特色とユースケース 24 どのデータベースでベクトル検索を使うかは、データベースの特性が重要になる • CloudSQL for PostgreSQL • CloudSQL for MySQL • AlloyDB • Cloud Spanner • BigQuery • Google Cloud による独自のベクトル検索を実 装 • SQL から Vertex AI を呼び出す拡張機能が GA • 大規模データの集計が得意 • サーバメンテナンスが不要
25. それぞれにおけるベクトル検索の特色とユースケース 25 どのデータベースでベクトル検索を使うかは、データベースの特性が重要になる ※1 Query Per Record PostgreSQL Cloud SQL MySQL AlloyDB Google SQL Cloud Spanner PostgreSQL BigQuery レイテンシ ミリ秒 ミリ秒 ミリ秒 ミリ秒 ミリ秒 秒 QPR ※1 数レコード 数レコード 数レコード 数レコード 数レコード 大量レコード 互換性 pgvector互換 Google Cloud 独自実装 pgvector互換 - Google Cloud 独自実装 - サポート状態 GA プレビュー GA GA GA プレビュー Vertex AI 連携 GA 未サポート GA GA GA GA 列指向ストア 未サポート 未サポート サポート 未サポート 未サポート サポート 索引タイプ KNN, ANN ANN KNN, ANN KNN KNN KNN
26. それぞれにおけるベクトル検索の特色とユースケース 26 それぞれのデータベースにおけるベクトル検索のユースケース • CloudSQL for PostgreSQL • CloudSQL for MySQL • AlloyDB • Cloud Spanner • BigQuery
27. それぞれにおけるベクトル検索の特色とユースケース 27 それぞれのデータベースにおけるベクトル検索のユースケース • CloudSQL for PostgreSQL • CloudSQL for MySQL • AlloyDB • Cloud Spanner • BigQuery • ミリ秒単位のレイテンシが求められる システム や複数の環境でホストしたい 場合に最適 ◦ Google Cloud にプライマリ、AWS やオンプレミ スにレプリカを配置するなど • エンドユーザー向けに商品説明やイベント概要 のようなデータを曖昧検索する機能を提供した い場合 • 生成 AI を使用したアプリケーションのベクトル データを保存したい場合
28. それぞれにおけるベクトル検索の特色とユースケース 28 それぞれのデータベースにおけるベクトル検索のユースケース • CloudSQL for PostgreSQL • CloudSQL for MySQL • AlloyDB • Cloud Spanner • BigQuery • MySQL を利用する既存のアプリケーションで ベクトル検索を利用したい場合 ◦ ベクトル検索を目的に新規採用する場合は他の 選択肢に劣る • エンドユーザー向けに商品説明やイベント概要 のような文章を曖昧検索する機能を提供したい 場合
29. それぞれにおけるベクトル検索の特色とユースケース 29 それぞれのデータベースにおけるベクトル検索のユースケース • CloudSQL for PostgreSQL • CloudSQL for MySQL • AlloyDB • Cloud Spanner • BigQuery • Cloud SQL for PostgreSQL ではパフォーマン スが足りない場合 • ベクトル検索だけでなく、分析・トランザクション 処理すべてを実行したい場合
30. それぞれにおけるベクトル検索の特色とユースケース 30 それぞれのデータベースにおけるベクトル検索のユースケース • CloudSQL for PostgreSQL • CloudSQL for MySQL • AlloyDB • Cloud Spanner • BigQuery • 大量の書き込みが想定されるワークロードの データに対してリアルタイムでベクトル検索をし たい場合
31. それぞれにおけるベクトル検索の特色とユースケース 31 それぞれのデータベースにおけるベクトル検索のユースケース • CloudSQL for PostgreSQL • CloudSQL for MySQL • AlloyDB • Cloud Spanner • BigQuery • レイテンシが気にならないのであれば データ ベースメンテナンスのコストがないので 最適 • Google Cloud 上の様々なデータストアに統合 したインターフェースでベクトル検索を利用した い場合 • 画像や動画に対するベクトル検索をしたい場合 ◦ BigLake を利用して GCS と統合できるため • ログを解析したい場合 • テーブル同士を曖昧条件で結合して集計したい 場合
32. まとめ 04
33. まとめ 33 • Google Cloud では RDB でベクトル検索を利用する場合に多様な選択肢がある。 • ベクトル検索を利用すると曖昧・類似検索が簡単に実装できる • Google Cloud の RDB でベクトル検索を利用する場合、 レイテンシが短く高機能な Cloud SQL for PostgreSQL やメンテナンスが簡単でインターフェースを 統合出来る BigQuery を中心にワークロードの特性に応じてその他のデータベースを 選択するとよい
34. 34 参考資料 34 • Work with vector embeddings | Cloud SQL for MySQL | Google Cloud ◦ https://cloud.google.com/sql/docs/mysql/work-with-vectors • Work with vector embeddings | Cloud SQL for PostgreSQL | Google Cloud ◦ https://cloud.google.com/sql/docs/postgres/work-with-vectors • Work with vector embeddings | AlloyDB for PostgreSQL | Google Cloud ◦ https://cloud.google.com/alloydb/docs/ai/work-with-embeddings • Perform similarity vector search in Spanner by finding the K-nearest neighbors | Google Cloud ◦ https://cloud.google.com/spanner/docs/find-k-nearest-neighbors • Introduction to vector search | BigQuery | Google Cloud ◦ https://cloud.google.com/bigquery/docs/vector-search-intro • Manage vector indexes | BigQuery | Google Cloud ◦ https://cloud.google.com/bigquery/docs/vector-index
35. 35 参考資料 35 • BigQuery のベクトル検索のご紹介 | Google Cloud 公式ブログ ◦ https://cloud.google.com/blog/ja/products/data-analytics/introducing-new-vector-search-capabilities-in-bigquery • Find anything blazingly fast with Google's vector search technology | Google Cloud Blog ◦ https://cloud.google.com/blog/topics/developers-practitioners/find-anything-blazingly-fast-googles-vector-search-technol ogy • pgvector/pgvector: Open-source vector similarity search for Postgres ◦ https://github.com/pgvector/pgvector • ベクトルデータの容量を 96%削減するBinary Embedding ◦ https://zenn.dev/knowledgesense/articles/346183afdf750e