Upgrade to Pro — share decks privately, control downloads, hide ads and more …

複数クラスタ運用と検索の高度化:ビズリーチにおけるElastic活用事例 / ElasticO...

複数クラスタ運用と検索の高度化:ビズリーチにおけるElastic活用事例 / ElasticON Tokyo2026

2026年3月10日に開催された「Elastic{ON} Tokyo」の登壇資料です。
https://www.elastic.co/events/elasticon/tokyo

▼関連資料
ビズリーチにおける検索・推薦の取り組み
https://speakerdeck.com/visional_engineering_and_design/deim2026

1人1アプリから標準化へ:Vertex AIを活用したMLOps推進
https://speakerdeck.com/visional_engineering_and_design/shibuya-ai-4

ビズリーチの 「企業向けレコメンド」機能について
https://speakerdeck.com/visional_engineering_and_design/shibuya-ai-3

HR領域の「言葉の壁」を越える。HRドメイン特化SPLADEモデル構築パイプラインの全貌
https://engineering.visional.inc/blog/728/hr-sparse-model-training-pipeline/

Two-Tower モデルで実現する 検索リランキング
https://speakerdeck.com/visional_engineering_and_design/shibuya-ai-2

ビズリーチ求職者検索におけるPLMとLLMの活用
https://speakerdeck.com/visional_engineering_and_design/search-engineering-meet-up-2-1

-----
Visionalのエンジニアリングに関する最新情報はX、ブログで発信しています!📣

▼Visional Engineering Blog
https://engineering.visional.inc/blog/

▼VISIONAL ENGINEERING / X
https://twitter.com/VISIONAL_ENG

▼ビズリーチAI 特設サイト
https://www.bizreach.co.jp/ai

More Decks by Visional Engineering & Design

Other Decks in Technology

Transcript

  1. 複数クラスタ運用と検索の高度化 〜ビズリーチにおけるElastic活用事例〜 2 自己紹介 株式会社ビズリーチ プロダクト本部 データプロダクト部 検索基盤1グループ 加藤 遼 Ryo

    Kato 2023 - 現在 株式会社ビズリーチ 検索エンジニアとして、企業向けレジュメ検索機能の API化、ランキ ング改善に取り組む。 Interleavingを用いたABテストの仕組みやベクトル検索導入などを 推進。
  2. 機能要件に応じたクラスタ設計 15 モノリスクラスタの課題の顕在化 ノイジーネイバー問題 キャパシティプランニング/監 視の困難さ バージョンアップの重荷 ある機能が利用するindexへの 負荷が、他機能が利用するindex のパフォーマンスへ影響

    最大公約数的なスペック・監視に せざるを得ず、最適化が困難 利用箇所が多くバージョンアップ に膨大なコストと時間がかかり、 バージョンアップの優先度が上が らない状況 サービス規模の増大により課題が顕在化 • 検索機能改善のためのベクトル検索のような新機能の導入が困難に
  3. Sparse Vectorによるベクトル検索の導入 20 Why SparseVector? サービス特性を踏まえ、低Latencyと解釈性を優先 • 低latency ◦ SparseVectorであれば転置インデックスが使える

    ◦ ドキュメント側のみ拡張して、クエリはキーワード検索方法(SPLADE-Doc)もとれる • 解釈性 ◦ サービス特性上なぜこの人が関連しているかの説明性も重要 ◦ SparseVectorならmodelの出力トークンをタグのように扱い、検索結果に表示するなどの 活用もできる
  4. Sparse Vectorによるベクトル検索の導入 • ESでのモデル推論を使用する ◦ 現状、ELSERのみ利用可能(英語のみ) ◦ プラチナプランのみ 21 Elasticsearchでのsparse

    vector Elasticsearchでは2種類の方法が提供されている • 事前計算されたベクトルを利用する ◦ どんなモデルも利用できる ◦ 全プラン利用可能 こちらを採用
  5. Sparse Vectorによるベクトル検索の導入 25 失敗事例:長文をそのままクエリにした 原因 • 長文をSparse vectorに変換すると、非ゼロ トークンが大幅に増加 •

    スコアリング対象のトークンが増えることで検 索負荷が著しく増大した 対策案 • Pruningオプションを使う • LLMで短いテキスト/キーワードに変換 • 入力文字数を制限 → こちらを採用 • etc … 長文クエリにより精度と検索速度の両方が悪化
  6. Sparse Vectorによるベクトル検索の導入 クエリパフォーマンス向上のため、クエリから重要でないトークンを省略するオプション 26 Pruning option 判断基準 • トークンの出現頻度 ◦

    検索対象フィールドで平均よりも一定以上多い 一般的なトークンは重要ではないと判断 ◦ パラメータ:tokens_freq_ratio_threshold • 重みが非常に小さい ◦ 入力とあまり関係がない可能性があるため重要 ではないと判断 ◦ パラメータ:tokens_weight_threshold
  7. Sparse Vectorによるベクトル検索の導入 構造に合わせたチャンキング戦略が重要 • レジュメは構造のある長い文章 ◦ 冒頭の文字数だけを使うと、特定の項目の抜け 落ちが発生 ◦ すべて含まれるようにtoken

    sizeを増やすと、 token数が増加し、検索性能が劣化 • 項目ごとにチャンキングを実施 ◦ レジュメ全体をカバー ◦ 1フィールドのトークン数も抑える 29 工夫① レジュメは構造単位でチャンク 職務要約 職歴 スキル ・株式会社ビズリーチ / 検索エンジニア 検索エンジニアとして、企業向けレジュメ検索機能の API化、ランキング改善に取り組 む Elasticsearch / Opensearch 職務要約 職歴 スキル
  8. Sparse Vectorによるベクトル検索の導入 精度コントロールのためハイブリッド検索導入 • キーワード検索とベクトル検索のハイブリッド検 索を採用 ◦ RRF(Reciprocal rank fusion)アルゴリズムを採用

    • retrieverクエリでハイブリッド検索可能 ◦ ただしEnterpriseプランのみ ◦ 利用できるならこちらがおすすめ • ビズリーチでは、アプリケーション側でRRFを実 装 30 工夫② ハイブリッド検索
  9. 今後の展望 • 精度とパフォーマンスのチューニング ◦ トークンの分布を加味した独自のPruning戦略の検討 ◦ Chunking戦略の改善 ◦ モデルの改善 •

    LLMを使ったクエリ調整 ◦ 長い文章や求人からでも適切な検索条件を作成できるようにする 32 パフォーマンスの改善とLLMの活用
  10. 34