複数のベクターインデックスを触ってみての感想

複数のベクターインデックスを触ってみての感想 2024.01.18 # StudyCo

（C）PharmaX Inc. 2023 All Rights Reserve 2 自己紹介自己紹介上野彰大
PharmaX共同創業者・エンジニアリング責任者好きな料理はオムライスと白湯とコーラマイブームはLLMとRust Twitter：@ueeeeniki

（C）PharmaX Inc. 2023 All Rights Reserve 3 自社でもLLMの勉強会を複数開催自己紹介

（C）PharmaX Inc. 2023 All Rights Reserve 4 デブサミ登壇します！

5 （C）PharmaX Inc. 2023 All Rights Reserve はじめに

（C）PharmaX Inc. 2023 All Rights Reserve 6 本発表のスコープや注意事項についてはじめに Vector
IndexであるPineconeとMomento Vector Indexを使ってみた個人の感想を中心にお話します • あくまでPineconeとMomento Vector Index (MVI) を実際使ってみて、使いやすさなどをどう感じたかをお伝えするものであり、客観性、公平性には欠けます ◦ ベンチマーク指標などをきちんと取っているわけでもない • 特定のサービスを推す意図はありません • 実際のサービスの選定は、各社の状況を踏まえて各自ご判断いただければと思います

（C）PharmaX Inc. 2023 All Rights Reserve 7 前提とする知識はじめに •
LLMの基礎知識は説明しません • 少しでもLLMを使ってアプリケーション開発をされたことがあることが望ましい • 何かしらのVector Indexサービスを使って、RAGを実装したことがあるとイメージは付きやすいと思います LLMのアプリケーション開発の一定の事前知識を仮定します

（C）PharmaX Inc. 2023 All Rights Reserve 8 なぜVector Indexサービスが必要なのかはじめに
Vector Indexサービスは、ベクトル保存だけではなく、高速な検索アルゴリズムの実装等も提供している • 膨大なドキュメントを高次元ベクトル化して保存し、高速な検索も提供してくれるサービスが多数 • PineconeやMementoを始め、メタデータ検索などの追加機能も実装してくれるサービスもある ◦ ベクトルにメタデータを付与し、そのメタデータでも検索可能 • 今後はマネージド、サーバーレスな Vector Indexサービスも増えていくだろう ◦ 柔軟かつ高速なauto scale、ストレージ量、クエリの計算量に応じた従量課金 ◦ 例えば、キャッシュの実装など、さらなる高速化のための実装も提供してくれるサービスも今後増えていくだろう

（C）PharmaX Inc. 2023 All Rights Reserve 9 Vector Indexを選択する観点 Vector
Indexサービスは非常に多く、どれを選べばいいのかが悩ましい • セマンティック検索もサポートされているかどうか ◦ キーワード検索とのハイブリット検索を提供してくれているサービスもある • クラウドインフラまで提供してくれているか ◦ PineconeやMomentoのようなマネージドなサービスも出てきている • オープンソースかどうか ◦ 歴史的には、オープンソースのプロジェクトも多い • 企業としての勢い、資金調達をどの程度行っているか • どのようなベクトル近似度計算アルゴリズム（※後述）をサポートしているか https://note.com/pharmax/n/n0fc5176c3007 はじめに

（C）PharmaX Inc. 2023 All Rights Reserve 10 ベクトルの近似度計算アルゴリズム概要保存されている膨大なベクトル空間から、対象のベクトルと近いベクトルを探し出す必要がある •
近いベクトルを探し出すためのアルゴリズムには下記のようなものがあり、それぞれのアルゴリズムによって速度などの特性が異なる ◦ Flat ◦ IVF (Inverted File Index) ◦ Neighbourhood graph & tree ◦ DiskANN ◦ HNSW / RHNSW etc… • Vector Indexサービスによってもサポートしているアルゴリズムが異なるので注意が必要 https://note.com/pharmax/n/n0fc5176c3007

11 （C）PharmaX Inc. 2023 All Rights Reserve Pinecone触ってみた

（C）PharmaX Inc. 2023 All Rights Reserve 12 Pineconeとは Vector Indexの有名マネージドサービスの
1つで、特に多くの資金調達をしている

（C）PharmaX Inc. 2023 All Rights Reserve 13 Pinecone〜インデックス作成主要embedding modelのベクトルの次元数を教えてくれるなど、かゆいところに手が届く？

（C）PharmaX Inc. 2023 All Rights Reserve 14 Pinecone〜インデックス作成ベクトルの次元を作成し、 Pod
Typeを選ぶ必要がある

（C）PharmaX Inc. 2023 All Rights Reserve 15 Pinecone〜Pod選択 P1、P2はパフォーマンスに最適化されており、 S1はストレージに最適化されている
Table 2: QPS by pod type and top_k value* Table 1: Estimated number of pods per 1M vectors by dimensionality

（C）PharmaX Inc. 2023 All Rights Reserve 16 Pinecone〜index作成 Indexごとにリージョンを選ぶことができ、特に GCPでは、日本リージョンも選択可能

（C）PharmaX Inc. 2023 All Rights Reserve 17 Pinecone〜index作成一方で、AWSとAzureでは、us eastしか選択できないので注意が必要

（C）PharmaX Inc. 2023 All Rights Reserve 18 Pinecone〜indexの管理画面各indexの管理ページも充実しており、管理画面上からも queryを投げたりすることも可能

（C）PharmaX Inc. 2023 All Rights Reserve 19 Pinecone所感 • Vector
Indexでは、よく聞くサービスなだけあって、管理画面なども見やすく、細かいポイントでも気が効いているように感じる • 一方で、月額固定制、Pod選択制なのは、使い始めるハードルが少しだけあるように感じた ◦ 後ほど紹介するが、1/16にサーバーレス製品が登場したので、この問題は払拭されるかも • メタデータ検索、セマンティック検索とキーワード検索の Hybrid検索がサポートされるなど、 optionalな機能も充実している Vector Indexサービスは、ベクトル保存だけではなく、高速な検索アルゴリズムの実装等も提供している

（C）PharmaX Inc. 2023 All Rights Reserve 20 Pineconeにもサーバーレスなサービスが登場 Pineconeにもサーバーレスなサービスが public
reviewに

（C）PharmaX Inc. 2023 All Rights Reserve 21 Pineconeにもサーバーレスなサービスが登場これまでのようなPod選択などが不要になった •
読み取り（クエリ）に対する価格が分離されているため、使用していないときに計算リソースの料金を支払う必要がありません • ストレージを分離した価格設定にすることで、クエリの必要性に関係なく、レコード数に応じた料金を支払うことができます • 使用量ベースの価格設定により、変動するワークロードや予測不可能なワークロードのコストを削減します。ピーク時の容量ではなく、使用した分だけお支払いいただきます • 大幅に効率化されたインデックス作成と検索により、メモリとコンピューティングの消費量が大幅に削減されます。その節約分をお客様に還元します • そして最後に、インデックス 1つあたりの最低コストはありません。インデックスが 1つであろうと1万個であろうと、読み取り、書き込み、ストレージの合計に対してのみお支払いいただきます

（C）PharmaX Inc. 2023 All Rights Reserve 22 Pineconeにもサーバーレスなサービスが登場実際、Pod固定制だとかなり高額なので、多くのケースではサーバーレスが安くなるのではないか

（C）PharmaX Inc. 2023 All Rights Reserve 23 Pineconeにもサーバーレスなサービスが登場 Pod作成時にServerlessを選択できるが、現時点では、 AWSのus-westリージョンしか選べない

24 （C）PharmaX Inc. 2023 All Rights Reserve Momento Vector Index触ってみた

（C）PharmaX Inc. 2023 All Rights Reserve 25 MVI〜管理画面 Momentoの他のサービスも同じ管理画面上にあり、非常にシンプルで分かりやすい

（C）PharmaX Inc. 2023 All Rights Reserve 26 MVI〜index作成 MVIにはプロジェクトという概念はなく、インデックス作成から始まる

（C）PharmaX Inc. 2023 All Rights Reserve 27 MVI〜index作成 Pineconeのサーバーレス同様、 AWSでかつ1リージョンしか選べないので注意

（C）PharmaX Inc. 2023 All Rights Reserve 28 MVI所感 • momentoの他のサービスを使っている場合、アカウントや管理画面が同一なので、
momentoを使うと良さそう • サーバーレスなので、podサイズなどを選ばされないのがシンプル • 触ってみた感じ、PineconeのPod選択式で日本リージョンを選択した場合が多少速いように感じたが、単純な比較はできない ◦ Pineconeのサーバーレスはまだ試せていないので比較できていませんが、 Pineconeもコールドスタート問題、スループットだけ考えると pod選択式の方が大きいなどのサーバーレスなりの問題は抱えているようです ◦ 両者とも検索アルゴリズムがどの程度最適化されているのか？などは不明なので、一概にどちらがいいとは言えない momentoの他のサービス同様、 MVIはシンプルで使い始めやすい

（C）PharmaX Inc. 2023 All Rights Reserve 29 PineconeとMVIを触ってみての感想まとめ • 一度使い始めてもそこまでロックインされるわけではないので、
RAGを始めてみたいだけなら、個人的には最低でもマネージド、できればサーバーレスな製品を選びます ◦ サーバーレスでかつ日本リージョンを選べるようになったら、レイテンシーの観点と個人情報保存場所の観点で、多少高くてもそちらを選ぶと思います ◦ かなりのスループットを期待するのであれば、サーバーレスでなく、 Pod定額制のサービスも検討の余地がありますが、多くのケースではサーバーレスの方が安いのではないかと推測します • サーバーレスならPineconeとMVIにそこまで大きな違いはないので、好きな方を使っていただければいいかと思います ◦ 使い勝手、SDKの充実、LangChainとの連携、選択できるリージョン等、現時点でそこまで大きな差はないサクッと始めるだけならサーバーレスなサービスを使ってみるのがいいのではないでしょうか？

30 （C）PharmaX Inc. 2022 All Rights Reserve 今後の注目トレンド

（C）PharmaX Inc. 2023 All Rights Reserve 31 今後の注目トレンド • 高速・高精度な検索アルゴリズムの出現と各サービスによるサポート
◦ ベクトル類似度計算のアルゴリズムは新しいものがどんどん提案されると思うので、どの程度最適化されたアルゴリズムを実装できているか • サーバーレスなサービスの増加と低価格化 ◦ 高速かつ柔軟なオートスケール、シーンリソースを固定額で確保するのではなく、ストレージ量、クエリの計算量に応じた従量課金 ◦ 多くの利用者の獲得による低価格化にも期待 • 世界各地のリージョンに対応 ◦ 現在はまだUSのみ対応のサービスも多い印象なので、日本リージョンを選択できるサービスの増加に期待今後の展開 UXにインパクトを与えるような進化に注目している

（C）PharmaX Inc. 2023 All Rights Reserve 32 AIサービスとVector Indexサービスの関係今後の展開
AI VI AI VI AI VI Assistant APIのように高速化のためにもAIのAPIとVIがバインドされる事例も増える？？

33 （C）PharmaX Inc. 2023 All Rights Reserve まとめ

34 （C）PharmaX Inc. 2023 All Rights Reserve Apendix

（C）PharmaX Inc. 2023 All Rights Reserve 35 「薬局」は医療体験の中でも身近な存在日用品から処方薬まで。「薬局」は皆さまの日常の近くに存在しているドラックストア
調剤薬局実現したいこと

（C）PharmaX Inc. 2023 All Rights Reserve 36 医療体験を横断する2つの事業領域 PharmaXの事業 YOJO事業
（漢方メインのOTC医薬品）未病・予防治療薬局DX事業（医療用医薬品）オンライン薬局サービスを展開している処方せん不要処方せん必要

（C）PharmaX Inc. 2023 All Rights Reserve 37 LINEから利用できるバーチャルな薬局最短即日
※ お薬をもっと手軽に、もっと安心して受け取れる「 YOJO薬局」お薬はお家までお届け LINEで薬剤師にいつでも相談好きなときにお薬の説明 ※東京23区内のみ PharmaXのプロダクト

（C）PharmaX Inc. 2023 All Rights Reserve 38 ソフトウェアに閉じないプロダクト開発 PharmaXのプロダクト開発
独自の薬局オペレーションシステムを構築し、最適化されたオンライン薬局を実現 × 自社薬局をプロトタイプラボ化ソフトウェアオペレーションリモート薬剤師組織薬局業務を効率化するオペレーションシステム（薬局OS）質の高い患者さま対応のためのオンライン特化組織対人業務の質を高めるための対物業務効率化「ソフトウェア×オペレーション×薬剤師組織」をプロダクトとして開発

（C）PharmaX Inc. 2023 All Rights Reserve 39 その他 BI インフラストラクチャー
フロントエンドバックエンド技術スタック開発環境サービスに取り込むべき技術をプロダクト横断的に議論する場を設け、新しい技術も積極的に採用

（C）PharmaX Inc. 2023 All Rights Reserve 40 生成AI/LLMチームの立ち上げ生成AI/LLMチームを立ち上げ複数のPoCを並行して行っている

複数のベクターインデックスを触ってみての感想

複数のベクターインデックスを触ってみての感想

More Decks by PharmaX（旧YOJO Technologies）開発チーム

Other Decks in Technology

Featured

Transcript