Share
Embed
LLMを用いた多段階クエリ変換によるより具体的な商品レビューの検索
兵庫県立大学 山本研究室
July 13, 2025
Transcript
35 slides
-
2 具体的な商品レビューが意思決定に重要 背景 受信器をすぐ近くに置かないと 反応しません 失敗 抽象的なレビュー より具体的な レビューが欲しい 何との
距離? すぐって どれくらい? 故障したインターホンの代わりにワイヤレスインターホンを探す事例 送信器を玄関に、受信器をリビングに設置したい(玄関とリビングの距離は約8m) -
3 より具体的なレビューを探すのは難しい 問題点 人手で探すのが大変 検索クエリを考えるのが難しい 抽象的 受信器をすぐ近くに置かないと 反応しません 失敗 抽象的なレビュー
受信器と〇〇との距離 より具体的 1つ1つ内容を 確認 キーワード(送信器)の欠如 レビュー読者の知識が必要 -
4 抽象的なレビューからより具体的なレビューを検索 目的 入力 出力 レビュー集合 抽象的なレビュー(クエリ) クエリと比べてより具体的な レビューランキング 1
2 k 受信器をすぐ近くに置かないと 反応しません 失敗 抽象的なレビュー 受信器と送信器との距離を 5mまで近づけないと反応 しません 買わなければよかった 理想例 -
5 具体性=イメージのしやすさ 具体性の定義には知覚可能性[1]によるものとイメージのしやすさ[2] によるものがある 本研究における具体性 [1] J. Krug and X.
Xu. Imagery, context availability, contextual constraint, and abstractness. In Proceedings of the 23rd Annual Conference of the Cognitive Science Society, pages 1134–1139. Erlbaum, 2001. [2] J. T. and E. Richardson. Imagery, concreteness, and lexical complexity, volume 27 of 2, pages 211–223. Psychology Press, 1975. Amazon:画像付きのレビューを用いて状況説明 レビューはイメージのしやすさが大切 -
6 抽象的なレビューからより具体的なレビューを 検索することが難しい 研究の課題 疎検索(例: BM25) 密検索 抽象的なレビュー:「受信器をすぐ近くに置かないと反応しません 失敗」 検索意図:送受信可能、不可能な受信器と送信器との距離について具体的に知りたい
用語の一致でランキングを考える 文書の埋め込み表現(ベクトル)を利用 意味的な類似度でランキングを考える 受信器と送信器との距離を5m まで近づけないと反応しません 買わなければよかった 理想例 抽象的なレビューに含まれていない 用語を含むレビューを検索できない 抽象的 検索されたレビューが具体的である 保証はない -
7 HyDE: 仮想の回答をクエリ変換に利用[3] 関連研究 [3] L. Gao, X. Ma, J.
Lin, and J. Callan: Precise Zero-Shot Dense Retrieval Without Relevance Labels, ACL’23, 2023. 親知らずの抜歯には どれくらい時間がかかる? LLM 回答を生成して 検索クエリ 親知らずの抜歯には30分から 2時間ほどかかります。 … 検索 親知らずの抜歯は30分から1時間半程度 で終わります。… 回答に何が書かれているかを考える 検索精度向上 仮想の回答 仮想の回答 -
8 HyDEをより具体的なレビューの検索に利用 アイデア 受信器をすぐ近くに置か ないと反応しません 失敗 LLM より具体的にして 検索クエリ 受信器と送信器との距離が
1~2m以上離れると反応 しません。非常に残念。 検索 受信器と送信器との距離を5mまで近づ けないと反応しません 買わなければよかった より具体的なレビュー の特徴を反映 より具体的なレビューを検索できる 仮想のレビュー 仮想のレビュー -
9 生成内容によっては検索精度が低下する可能性がある HyDE利用上の問題点 HyDEの問題点 仮想の具体的な レビュー 実在する具体的な レビュー 検索精度の低下 受信器をすぐ近くに置かないと反応しないことが不便でした。例えば、家の壁
に設置した受信機からリビングのテーブルに置いた送信機の音声を流すという、 思った通りの使い方が出来ません。壁掛けの受信機から離れてしまうと音声が 途切れてしまうため、常に受信機を操作する必要があります。 実際に書かれていなそう -
11 LLMを用いた具体性を考慮した多段階クエリ変換 提案手法 抽象的なレビュー (クエリ) 具体的なレビューの 特徴を持つクエリ 1 2 k
抽象的なレビュー (クエリ) 具体的なレビューの 特徴を持つクエリ 実在する具体的なレビュー (参考レビュー) 1段階目のクエリ変換 2段階目のクエリ変換 1 2 k 検索 検索 LLM LLM -
12 LLM内部の知識を利用したクエリ変換 1段階目のクエリ変換 抽象的なレビュー (クエリ) LLM 具体的にして(プロンプト) 仮想の具体的な レビュー1 仮想の具体的な
レビューn 具体的なレビューの 特徴を持つクエリ -
13 Zero-shot(実レビューなし)クエリ変換 次の商品に対するレビューをより具体的にして 下さい。レビューにはレビュー本文のみ書いて ください。ここでの具体的とは、明確にイメージ できることを指します。 ###商品 <商品名> ###レビュー <クエリ>
###出力 1段階目のクエリ変換 受信器をすぐ近くに置かないと反応 しません 失敗 受信器と送信器との距離が1~2m 以上離れると反応しません。 非常に残念。 生成結果イメージ 入力 1段階 イメージしやすいように用語を補う -
14 検索対象の知識も利用したクエリ変換 2段階目のクエリ変換 抽象的なレビュー (クエリ) LLM 具体的にして(プロンプト) 仮想の具体的な レビュー1 仮想の具体的な
レビューn 具体的なレビューの 特徴を持つクエリ 実在する具体的なレビュー (参考レビュー) 1段階目のクエリ変換 を用いた検索結果 -
15 Few-shot(実レビューあり)クエリ変換 次の商品に対するレビューをより具体的にして 下さい。レビューにはレビュー本文のみ書いて ください。ここでの具体的とは、明確にイメージ できることを指します。必要であれば以下の レビューを参考にして下さい。 ###参考レビュー <1段階での1位のレビュー >
<1段階での2位のレビュー> ###商品 <商品名> ###レビュー <クエリ> ###出力 2段階目のクエリ変換 受信器をすぐ近くに置かないと反応 しません 失敗 2枚の壁を挟んでいるせいか、 受信器と送信器との距離を5mまで 近づけないと反応しません 買わなければよかった 生成結果イメージ 入力 2段階 参考レビュー 2枚の壁を挟んでいるせいか、 5mくらいまでしか電波が飛びません 実レビューの内容を踏まえて用語を補う -
16 密検索:平均ベクトル 疎検索:結合文書 検索クエリの算出 密検索 疎検索 𝒒 = 𝟏 𝒏
𝒓𝒊∈𝑹 𝒓𝒊 𝒓𝒊 は𝒓𝒊 の埋め込み表現 𝒒 = 𝒓𝟏 + 𝒓𝟐 + ⋯ + 𝒓𝒏 +演算子は文字列の結合を表す 𝒒 𝒒 𝑹:仮想レビュー集合 抽象的なレビュー (クエリ) 検索クエリ -
18 4商品で2つずつクエリと検索意図を設定 実験 クエリ ⚫ 使用データセット 楽天レビューデータセット(家電)[4] ⚫ クエリと検索意図 4商品
2(クエリ、検索意図)= 8(クエリ、検索意図) 同じ商品に対して同一のランキングを提示していないか検証 [4] 楽 天 グ ル ー プ 株 式 会 社. 楽 天 市 場 デ ー タ .国 立 情 報 学 研究 所 情 報 学 研 究 デ ー タ リ ポ ジ ト リ. (デ ー タ セ ッ ト), 2020. https://doi.org/10.32130/idr.2.1. -
19 ID クエリ 検索意図 除湿機 1 除湿能力は想像以上に低いです. もう少し予算を 高くして除湿能力が高いタイプをおすすめします. 除湿能力についてより具体的に
知りたい 除湿機 2 タンクがすぐに満水になって面倒です.デザインは 気に入ってますが,買って失敗しました どれくらいで満水になるのか より具体的に知りたい 電気ケトル 1 お値段以上の使い易さでデザインもオシャレ でした! デザインについてより具体的に 知りたい 電気ケトル2 デザインがとてもよく気分が上がる.注ぎ口の感じ が実に良い.ハンドドリップ用に購入.持った感じ 重みがあるけど取っ手の握り心地もいい. どんな感じの注ぎ口なのかより 具体的に知りたい 実験 クエリ -
20 抽象的なレビューからより具体的なレビューを検索 できているか ⚫ 評価指標 nDCG@10: 利得をより具体的 1 それ以外 0
に設定 実験 評価 除湿能力は想像以上に低いです. もう少し予算を 高くして除湿能力が高いタイプをおすすめします. クエリ 購入から届くまでが早く助かりました。 今まで 使っていたものより静かで、操作等も簡単で 使いやすいです。 ただ大きさの割に少し重いかな? でも全然気にならないです。 買って良かったです。 評価対象レビュー 観点が違うもので具体性を 比較するのは難しい 検索意図: 除湿能力についてより具体的に知りたい -
21 適合性判定→具体性判定 ⚫ アノテーション 評価人数: 3人 1. 検索意図との適合性 カッパ係数: 0.807(ほぼ完全な一致)
2. (適合レビューに対して)クエリよりイメージしやすいか カッパ係数: 0.415(適度な一致) 実験 評価 多数決で評価データを作成 -
22 ベースライン(LLMなし)提案手法(LLMあり) ベースライン ⚫ クエリ変換なし ⚫ 擬似適合性フィードバック 実験 手法 提案手法
⚫ 1段階のクエリ変換 ⚫ 2段階のクエリ変換 1 5 1 2 1 5 1 5 クエリ クエリ クエリ -
23 ⚫ 検索 ⚫ BM25(疎検索) ⚫ ruri-large(密検索): BERTベースの日本語特化埋め込みモデル ⚫ クエリ変換
⚫ elyza/Llama-3-ELYZA-JP-8B ⚫ Temperature : 0.8、Top_p:1(HyDEと同じ) 実験 設定 -
26 RQ1 疎検索 クエリID クエリ変換なし 擬似適合性 フィードバック 1段階のクエリ変換 2段階のクエリ変換 除湿機1
0.334 0.382 0.416 0.458 除湿機2 0.114 0.354 0.320 0.290 … 電気ケトル1 0.505 0.433 0.476 0.443 電気ケトル2 0.440 0.444 0.411 0.382 平均 0.323 0.358 0.414 0.402 一般にLLMによる具体性を考慮したクエリ変換は有効 nDCG@10 平均nDCGが向上 ベースライン 提案手法 -
27 RQ1 密検索 クエリID クエリ変換なし 擬似適合性 フィードバック 1段階のクエリ変換 2段階のクエリ変換 除湿機1
0.153 0.153 0.433 0.591 除湿機2 0.063 0.058 0.161 0.174 … 電気ケトル1 0.396 0.306 0.517 0.530 電気ケトル2 0.436 0.394 0.423 0.439 平均 0.248 0.236 0.366 0.386 LLMによる具体性を考慮したクエリ変換は有効 nDCG@10 全てのクエリでnDCGが向上 ベースライン 提案手法 -
28 LLMによる具体性を考慮したクエリ変換は有効 ⚫ 具体的なレビューの特徴をクエリに反映できたから RQ1 考察 使用目的、使用状況などに関する用語を補足 クエリ 除湿能力は想像以上に低いです. もう少し予算を
高くして除湿能力が高いタイプをおすすめします. 仮想の具体的な レビュー 除湿能力は想像以上に低く,部屋干しで洗濯物がなかなか乾かなかった. 除湿機が小型なため,風が弱く,湿度が高めの環境では効果が半減する 印象.梅雨時期の結露対策として使用するには,除湿能力が低く,不向き である. -
29 LLMによる具体性を考慮したクエリ変換は有効 RQ1 考察 コスパ最高です.少し重いですが, 操作も簡単で除湿力も凄いです! デザインも良く 静かで,価格が良く 乾かす能力が今まで買っ た除湿器の中でも
最低でした. 機械音がして,送風は出てい ます. しかし,タオル12枚バーガーに掛けて下に 除湿器を 置いて8時間かけて動作して,乾いていません.水はタンクに 少し貯まっています.故障でしょうか? ただ,除湿能力が 低いのでしょくか? 疑問です. クエリ変換なし 密検索 1位 1段階のクエリ変換 密検索 1位 使用目的、使用結果を含むレビューが1位にランキングされた -
31 RQ2 疎検索 クエリID クエリ変換なし 擬似適合性 フィードバック 1段階のクエリ変換 2段階のクエリ変換 除湿機1
0.334 0.382 0.416 0.458 除湿機2 0.114 0.354 0.320 0.290 … 電気ケトル1 0.505 0.433 0.476 0.443 電気ケトル2 0.440 0.444 0.411 0.382 平均 0.323 0.358 0.414 0.402 実レビューを与えるクエリ変換は有効ではない nDCG@10 平均nDCGが低下 ベースライン 提案手法 -
32 RQ2 密検索 クエリID クエリ変換なし 擬似適合性 フィードバック 1段階のクエリ変換 2段階のクエリ変換 除湿機1
0.153 0.153 0.433 0.591 除湿機2 0.063 0.058 0.161 0.174 … 電気ケトル1 0.396 0.306 0.517 0.530 電気ケトル2 0.436 0.394 0.423 0.439 平均 0.248 0.236 0.366 0.386 実レビューを与えるクエリ変換が有効 nDCG@10 平均nDCGが向上 ベースライン 提案手法 -
33 疎検索では実レビューを与えるクエリ変換は有効ではない 密検索では実レビューを与えるクエリ変換が有効 ⚫ 与えられた実レビューの内容に仮想の具体的なレビューの内容が 引っ張られたため ⚫ 疎検索:用語の一致で検索する 仮想の具体的なレビューの内容に大きな影響を受ける ⚫
密検索:意味の類似度で検索する 仮想の具体的なレビューの内容に直接大きな影響を受けにくい RQ2 考察 -
34 疎検索では実レビューを与えるクエリ変換は有効ではない RQ2 考察 デザインについてでも、参考レビューに含まれる 観点しか検索できない クエリ お値段以上の使い易さでデザインもオシャレでした! 検索意図:デザインについてより具体的に知りたい 参考レビュー
…プラスチック製に抵抗があったので、金属製であること!珈琲を入れる時のために、 口が細いこと!この2点に絞って購入しました。… 仮想レビュー …細口のデザインも珈琲を入れる際に問題なく入れられ、ドリップする時もスムーズ にできます。プラスチック製ではない金属製なので、安心して使用できます。… -
35 ⚫ 目的 ⚫ 抽象的なレビューからより具体的なレビュー集合を検索 ⚫ 提案 ⚫ LLMによる具体性を考慮した多段階クエリ変換 ⚫
結果 ⚫ LLMを用いた具体性を考慮したクエリ変換は有効 ⚫ 密検索の設定において実レビューを与えるクエリ変換は有効 ⚫ 今後の課題 ⚫ 評価データを増やして再度実験を行うこと ⚫ 検索意図における多様な観点を考慮したクエリ変換 まとめ