LLMを用いた多段階クエリ変換によるより具体的な商品レビューの検索

Transcript

1. LLMを用いた多段階クエリ変換による より具体的な商品レビューの検索 福井 智矢、山本 岳洋、湯本 高行（兵庫県立大学） 2025年 2月28日 第17回データ工学と情報マネジメントに関するフォーラム (DEIM2025) 5L-04
2. 2 具体的な商品レビューが意思決定に重要 背景 受信器をすぐ近くに置かないと 反応しません 失敗 抽象的なレビュー より具体的な レビューが欲しい 何との 距離？ すぐって どれくらい？ 故障したインターホンの代わりにワイヤレスインターホンを探す事例 送信器を玄関に、受信器をリビングに設置したい（玄関とリビングの距離は約8m）
3. 3 より具体的なレビューを探すのは難しい 問題点 人手で探すのが大変 検索クエリを考えるのが難しい 抽象的 受信器をすぐ近くに置かないと 反応しません 失敗 抽象的なレビュー 受信器と〇〇との距離 より具体的 1つ1つ内容を 確認 キーワード（送信器）の欠如 レビュー読者の知識が必要
4. 4 抽象的なレビューからより具体的なレビューを検索 目的 入力 出力 レビュー集合 抽象的なレビュー（クエリ） クエリと比べてより具体的な レビューランキング 1 2 k 受信器をすぐ近くに置かないと 反応しません 失敗 抽象的なレビュー 受信器と送信器との距離を 5mまで近づけないと反応 しません 買わなければよかった 理想例
5. 5 具体性＝イメージのしやすさ 具体性の定義には知覚可能性[1]によるものとイメージのしやすさ[2] によるものがある 本研究における具体性 [1] J. Krug and X. Xu. Imagery, context availability, contextual constraint, and abstractness. In Proceedings of the 23rd Annual Conference of the Cognitive Science Society, pages 1134–1139. Erlbaum, 2001. [2] J. T. and E. Richardson. Imagery, concreteness, and lexical complexity, volume 27 of 2, pages 211–223. Psychology Press, 1975. Amazon：画像付きのレビューを用いて状況説明 レビューはイメージのしやすさが大切
6. 6 抽象的なレビューからより具体的なレビューを 検索することが難しい 研究の課題 疎検索（例: BM25） 密検索 抽象的なレビュー:「受信器をすぐ近くに置かないと反応しません 失敗」 検索意図：送受信可能、不可能な受信器と送信器との距離について具体的に知りたい 用語の一致でランキングを考える 文書の埋め込み表現（ベクトル）を利用 意味的な類似度でランキングを考える 受信器と送信器との距離を5m まで近づけないと反応しません 買わなければよかった 理想例 抽象的なレビューに含まれていない 用語を含むレビューを検索できない 抽象的 検索されたレビューが具体的である 保証はない
7. 7 HyDE: 仮想の回答をクエリ変換に利用[3] 関連研究 [3] L. Gao, X. Ma, J. Lin, and J. Callan: Precise Zero-Shot Dense Retrieval Without Relevance Labels, ACL’23, 2023. 親知らずの抜歯には どれくらい時間がかかる？ LLM 回答を生成して 検索クエリ 親知らずの抜歯には30分から 2時間ほどかかります。 … 検索 親知らずの抜歯は30分から1時間半程度 で終わります。… 回答に何が書かれているかを考える 検索精度向上 仮想の回答 仮想の回答
8. 8 HyDEをより具体的なレビューの検索に利用 アイデア 受信器をすぐ近くに置か ないと反応しません 失敗 LLM より具体的にして 検索クエリ 受信器と送信器との距離が 1~2m以上離れると反応 しません。非常に残念。 検索 受信器と送信器との距離を5mまで近づ けないと反応しません 買わなければよかった より具体的なレビュー の特徴を反映 より具体的なレビューを検索できる 仮想のレビュー 仮想のレビュー
9. 9 生成内容によっては検索精度が低下する可能性がある HyDE利用上の問題点 HyDEの問題点 仮想の具体的な レビュー 実在する具体的な レビュー 検索精度の低下 受信器をすぐ近くに置かないと反応しないことが不便でした。例えば、家の壁 に設置した受信機からリビングのテーブルに置いた送信機の音声を流すという、 思った通りの使い方が出来ません。壁掛けの受信機から離れてしまうと音声が 途切れてしまうため、常に受信機を操作する必要があります。 実際に書かれていなそう
10. 10 実在する具体的なレビューを与える HyDEからの工夫 工夫 抽象的なレビュー LLM より具体的にして 実在する具体的な レビュー
11. 11 LLMを用いた具体性を考慮した多段階クエリ変換 提案手法 抽象的なレビュー （クエリ） 具体的なレビューの 特徴を持つクエリ 1 2 k 抽象的なレビュー （クエリ） 具体的なレビューの 特徴を持つクエリ 実在する具体的なレビュー （参考レビュー） 1段階目のクエリ変換 2段階目のクエリ変換 1 2 k 検索 検索 LLM LLM
12. 12 LLM内部の知識を利用したクエリ変換 1段階目のクエリ変換 抽象的なレビュー （クエリ） LLM 具体的にして（プロンプト） 仮想の具体的な レビュー1 仮想の具体的な レビューn 具体的なレビューの 特徴を持つクエリ
13. 13 Zero-shot（実レビューなし）クエリ変換 次の商品に対するレビューをより具体的にして 下さい。レビューにはレビュー本文のみ書いて ください。ここでの具体的とは、明確にイメージ できることを指します。 ###商品 <商品名＞ ###レビュー <クエリ＞ ###出力 1段階目のクエリ変換 受信器をすぐ近くに置かないと反応 しません 失敗 受信器と送信器との距離が1~2m 以上離れると反応しません。 非常に残念。 生成結果イメージ 入力 1段階 イメージしやすいように用語を補う
14. 14 検索対象の知識も利用したクエリ変換 2段階目のクエリ変換 抽象的なレビュー （クエリ） LLM 具体的にして（プロンプト） 仮想の具体的な レビュー1 仮想の具体的な レビューn 具体的なレビューの 特徴を持つクエリ 実在する具体的なレビュー （参考レビュー） 1段階目のクエリ変換 を用いた検索結果
15. 15 Few-shot（実レビューあり）クエリ変換 次の商品に対するレビューをより具体的にして 下さい。レビューにはレビュー本文のみ書いて ください。ここでの具体的とは、明確にイメージ できることを指します。必要であれば以下の レビューを参考にして下さい。 ###参考レビュー <1段階での1位のレビュー > <1段階での2位のレビュー> ###商品 <商品名＞ ###レビュー <クエリ＞ ###出力 2段階目のクエリ変換 受信器をすぐ近くに置かないと反応 しません 失敗 2枚の壁を挟んでいるせいか、 受信器と送信器との距離を5mまで 近づけないと反応しません 買わなければよかった 生成結果イメージ 入力 2段階 参考レビュー 2枚の壁を挟んでいるせいか、 5mくらいまでしか電波が飛びません 実レビューの内容を踏まえて用語を補う
16. 16 密検索：平均ベクトル 疎検索：結合文書 検索クエリの算出 密検索 疎検索 𝒒 = 𝟏 𝒏 ෍ 𝒓𝒊∈𝑹 𝒓𝒊 𝒓𝒊 は𝒓𝒊 の埋め込み表現 𝒒 = 𝒓𝟏 + 𝒓𝟐 + ⋯ + 𝒓𝒏 +演算子は文字列の結合を表す 𝒒 𝒒 𝑹:仮想レビュー集合 抽象的なレビュー （クエリ） 検索クエリ
17. 17 ⚫ RQ1：LLMによる具体性を考慮したクエリ変換はより具体的な レビューの検索において有効か ⚫ RQ2：クエリ変換の際に実レビューを与えることはより具体的な レビューの検索において有効か リサーチクエスション
18. 18 4商品で2つずつクエリと検索意図を設定 実験 クエリ ⚫ 使用データセット 楽天レビューデータセット（家電）[4] ⚫ クエリと検索意図 4商品 2（クエリ、検索意図）= 8（クエリ、検索意図） 同じ商品に対して同一のランキングを提示していないか検証 [4] 楽 天 グ ル ー プ 株 式 会 社. 楽 天 市 場 デ ー タ ．国 立 情 報 学 研究 所 情 報 学 研 究 デ ー タ リ ポ ジ ト リ. (デ ー タ セ ッ ト), 2020. https://doi.org/10.32130/idr.2.1.
19. 19 ID クエリ 検索意図 除湿機 1 除湿能力は想像以上に低いです． もう少し予算を 高くして除湿能力が高いタイプをおすすめします． 除湿能力についてより具体的に 知りたい 除湿機 2 タンクがすぐに満水になって面倒です．デザインは 気に入ってますが，買って失敗しました どれくらいで満水になるのか より具体的に知りたい 電気ケトル 1 お値段以上の使い易さでデザインもオシャレ でした！ デザインについてより具体的に 知りたい 電気ケトル2 デザインがとてもよく気分が上がる．注ぎ口の感じ が実に良い．ハンドドリップ用に購入．持った感じ 重みがあるけど取っ手の握り心地もいい． どんな感じの注ぎ口なのかより 具体的に知りたい 実験 クエリ
20. 20 抽象的なレビューからより具体的なレビューを検索 できているか ⚫ 評価指標 nDCG@10: 利得をより具体的 1 それ以外 0 に設定 実験 評価 除湿能力は想像以上に低いです． もう少し予算を 高くして除湿能力が高いタイプをおすすめします． クエリ 購入から届くまでが早く助かりました。 今まで 使っていたものより静かで、操作等も簡単で 使いやすいです。 ただ大きさの割に少し重いかな？ でも全然気にならないです。 買って良かったです。 評価対象レビュー 観点が違うもので具体性を 比較するのは難しい 検索意図： 除湿能力についてより具体的に知りたい
21. 21 適合性判定→具体性判定 ⚫ アノテーション 評価人数: 3人 1. 検索意図との適合性 カッパ係数: 0.807（ほぼ完全な一致） 2. （適合レビューに対して）クエリよりイメージしやすいか カッパ係数: 0.415（適度な一致） 実験 評価 多数決で評価データを作成
22. 22 ベースライン（LLMなし）提案手法（LLMあり) ベースライン ⚫ クエリ変換なし ⚫ 擬似適合性フィードバック 実験 手法 提案手法 ⚫ 1段階のクエリ変換 ⚫ 2段階のクエリ変換 1 5 1 2 1 5 1 5 クエリ クエリ クエリ
23. 23 ⚫ 検索 ⚫ BM25（疎検索） ⚫ ruri-large（密検索）: BERTベースの日本語特化埋め込みモデル ⚫ クエリ変換 ⚫ elyza/Llama-3-ELYZA-JP-8B ⚫ Temperature : 0.8、Top_p：1（HyDEと同じ） 実験 設定
24. 24 ⚫ RQ1：LLMによる具体性を考慮したクエリ変換はより具体的な レビューの検索において有効か 提案手法（LLMあり）とベースライン（LLMなし）を比較 ⚫ RQ2：クエリ変換の際に実レビューを与えることは有効か 2段階のクエリ変換とその他の手法を比較 リサーチクエスション
25. 25 ⚫ RQ1：LLMによる具体性を考慮したクエリ変換はより具体的な レビューの検索において有効か 提案手法（LLMあり）とベースライン（LLMなし）を比較 ⚫ RQ2：クエリ変換の際に実レビューを与えることは有効か 2段階のクエリ変換とその他の手法を比較 リサーチクエスション
26. 26 RQ1 疎検索 クエリID クエリ変換なし 擬似適合性 フィードバック 1段階のクエリ変換 2段階のクエリ変換 除湿機1 0.334 0.382 0.416 0.458 除湿機2 0.114 0.354 0.320 0.290 … 電気ケトル1 0.505 0.433 0.476 0.443 電気ケトル2 0.440 0.444 0.411 0.382 平均 0.323 0.358 0.414 0.402 一般にLLMによる具体性を考慮したクエリ変換は有効 nDCG@10 平均nDCGが向上 ベースライン 提案手法
27. 27 RQ1 密検索 クエリID クエリ変換なし 擬似適合性 フィードバック 1段階のクエリ変換 2段階のクエリ変換 除湿機1 0.153 0.153 0.433 0.591 除湿機2 0.063 0.058 0.161 0.174 … 電気ケトル1 0.396 0.306 0.517 0.530 電気ケトル2 0.436 0.394 0.423 0.439 平均 0.248 0.236 0.366 0.386 LLMによる具体性を考慮したクエリ変換は有効 nDCG@10 全てのクエリでnDCGが向上 ベースライン 提案手法
28. 28 LLMによる具体性を考慮したクエリ変換は有効 ⚫ 具体的なレビューの特徴をクエリに反映できたから RQ1 考察 使用目的、使用状況などに関する用語を補足 クエリ 除湿能力は想像以上に低いです． もう少し予算を 高くして除湿能力が高いタイプをおすすめします． 仮想の具体的な レビュー 除湿能力は想像以上に低く，部屋干しで洗濯物がなかなか乾かなかった． 除湿機が小型なため，風が弱く，湿度が高めの環境では効果が半減する 印象．梅雨時期の結露対策として使用するには，除湿能力が低く，不向き である．
29. 29 LLMによる具体性を考慮したクエリ変換は有効 RQ1 考察 コスパ最高です．少し重いですが， 操作も簡単で除湿力も凄いです！ デザインも良く 静かで，価格が良く 乾かす能力が今まで買っ た除湿器の中でも 最低でした． 機械音がして，送風は出てい ます． しかし，タオル12枚バーガーに掛けて下に 除湿器を 置いて8時間かけて動作して，乾いていません．水はタンクに 少し貯まっています．故障でしょうか？ ただ，除湿能力が 低いのでしょくか？ 疑問です． クエリ変換なし 密検索 1位 1段階のクエリ変換 密検索 1位 使用目的、使用結果を含むレビューが1位にランキングされた
30. 30 ⚫ RQ1：LLMによる具体性を考慮したクエリ変換はより具体的な レビューの検索において有効か 提案手法（LLMあり）とベースライン（LLMなし）を比較 ⚫ RQ2：クエリ変換の際に実レビューを与えることは有効か 2段階のクエリ変換とその他の手法を比較 リサーチクエスション
31. 31 RQ2 疎検索 クエリID クエリ変換なし 擬似適合性 フィードバック 1段階のクエリ変換 2段階のクエリ変換 除湿機1 0.334 0.382 0.416 0.458 除湿機2 0.114 0.354 0.320 0.290 … 電気ケトル1 0.505 0.433 0.476 0.443 電気ケトル2 0.440 0.444 0.411 0.382 平均 0.323 0.358 0.414 0.402 実レビューを与えるクエリ変換は有効ではない nDCG@10 平均nDCGが低下 ベースライン 提案手法
32. 32 RQ2 密検索 クエリID クエリ変換なし 擬似適合性 フィードバック 1段階のクエリ変換 2段階のクエリ変換 除湿機1 0.153 0.153 0.433 0.591 除湿機2 0.063 0.058 0.161 0.174 … 電気ケトル1 0.396 0.306 0.517 0.530 電気ケトル2 0.436 0.394 0.423 0.439 平均 0.248 0.236 0.366 0.386 実レビューを与えるクエリ変換が有効 nDCG@10 平均nDCGが向上 ベースライン 提案手法
33. 33 疎検索では実レビューを与えるクエリ変換は有効ではない 密検索では実レビューを与えるクエリ変換が有効 ⚫ 与えられた実レビューの内容に仮想の具体的なレビューの内容が 引っ張られたため ⚫ 疎検索：用語の一致で検索する 仮想の具体的なレビューの内容に大きな影響を受ける ⚫ 密検索：意味の類似度で検索する 仮想の具体的なレビューの内容に直接大きな影響を受けにくい RQ2 考察
34. 34 疎検索では実レビューを与えるクエリ変換は有効ではない RQ2 考察 デザインについてでも、参考レビューに含まれる 観点しか検索できない クエリ お値段以上の使い易さでデザインもオシャレでした！ 検索意図：デザインについてより具体的に知りたい 参考レビュー …プラスチック製に抵抗があったので、金属製であること！珈琲を入れる時のために、 口が細いこと！この2点に絞って購入しました。… 仮想レビュー …細口のデザインも珈琲を入れる際に問題なく入れられ、ドリップする時もスムーズ にできます。プラスチック製ではない金属製なので、安心して使用できます。…
35. 35 ⚫ 目的 ⚫ 抽象的なレビューからより具体的なレビュー集合を検索 ⚫ 提案 ⚫ LLMによる具体性を考慮した多段階クエリ変換 ⚫ 結果 ⚫ LLMを用いた具体性を考慮したクエリ変換は有効 ⚫ 密検索の設定において実レビューを与えるクエリ変換は有効 ⚫ 今後の課題 ⚫ 評価データを増やして再度実験を行うこと ⚫ 検索意図における多様な観点を考慮したクエリ変換 まとめ