minne での検索改善の歴史

minne での検索改善の歴史を紹介

- 構成のお話
- solr から Elasticsearch 移行前後
- Elasticsearch 移行後の構成変更
- 検索について
- 計測のはなし
- A/B テストの話
- suggester の話
- 辞書管理の話

Transcript

1. ޙ౻རത
   
   (.0
   1FQBCP
   *OD
   
   ୈճ&MBTUJDTFBSDIษڧձʮݕࡧฤʯ
   NJOOF
   Ͱͷݕࡧվળͷྺ࢙
2. νʔϑςΫχΧϧϦʔυ 5PTIJIJSP
   (PUP
   
   !@TIJSP NJOOF
   ࣄۀ෦!(.0
   ϖύϘ
3. ·ͣ͸
   NJOOF
   ͷ঺հ
4. NJOOF
5. NJOOF
   ͷ঺հ wࠃ಺࠷େͷϋϯυϝΠυϚʔέοτ
   wѻ͏ΧςΰϦʔ͸ΞΫηαϦʔ͔ΒՈ۩΍৯඼·Ͱ༷ʑ
   w
   αʔϏε։࢝
   wࠓ݄  ʹΞϓϦ
   %-
   ਺
   
   ສಥഁ
   wੈా୩ਆށ෱Ԭʹͯ
   NJOOF
   ͷΞτϦΤͱݺ͹ΕΔ࡞ՈࢧԉεϖʔεΛӡӦ
   wϦΞϧΠϕϯτ΋ଟ਺։࠵
6. ϦΞϧΠϕϯτͷ༷ࢠ
7. ࠓ೔ͷ಺༰ wߏ੒ͷ͓࿩
   wTPMS
   ͔Β
   &MBTUJDTFBSDI
   Ҡߦલޙ
   w&MBTUJDTFBSDI
   Ҡߦޙͷߏ੒มߋ
   wݕࡧʹ͍ͭͯ
   wܭଌͷ͸ͳ͠
   w"#
   ςετͷ࿩
   wTVHHFTUFS
   ͷ࿩
   wࣙॻ؅ཧͷ࿩
8. ·ͣ͸ߏ੒ͷ࿩
9. ˞࡞඼σʔλ͕ߋ৽͞Εͨࡍͷॲཧͷ؆қਤ 
   Ҏ߱ 
   ·Ͱ
10. wݕࡧΤϯδϯ͸
    4PMS
    wσʔλͷ൓ө͸ఆظ
    CBUDI
    w࡞඼ͷݕࡧͷΈ͕ଘࡏ wݕࡧΤϯδϯ͸
    &MBTUJDTFBSDI
    wσʔλͷ൓ө͸ߋ৽࣌ʹඇಉظ ॲཧ
    wҠߦ࣌͸࡞඼ݕࡧͷΈ͕ͩଓʑ ૿͑Δ 
    ·Ͱ 
    Ҏ߱
11. σʔλ൓өͷҧ͍͸ݕࡧΤϯδϯͷҧ͍Ͱ ͸ͳ͘ҠߦλΠϛϯάͰྑ͖ΞʔΩςΫνϟ Λબ୒͚ͨͩ͠
12. NJOOF
    Y
    &MBTUJDTFSDI
    ͷྺ࢙
13. NJOOF
    Y
    &MBTUJDTFBSDI
    ୈ
    
    ظ w
    ͷ
    4PMS
    ͔ΒҠߦͨ͠ࡍ͸
    'PVOE
    ݱ&MBTUJD
    $MPVE Λ࢖༻
    wࣾ಺Ͱӡ༻ͷϊ΢ϋ΢΋ͳ͔ͬͨ
    wͱΓ͋͑ͣҠߦεϐʔυΛ༏ઌ͔ͨͬͨ͠
    w࢖༻͍ͯ͘͠͏ͪʹ໰୊͕ൃੜͨ͠
    wεέʔϧΞοϓ͕େม
    wࣙॻ͕࢖͑ͳ͍ ಋೖ౰ॳ͔ΒΘ͔ͬͯ͸͍ͨ
    wQMVHJO
    ͷ௥Ճ ಋೖ౰ॳ͔ΒΘ͔ͬͯ͸͍ͨ
14. ౰࣌
    'PVOE
    Ͱ໰୊ʹͳ͍ͬͯͨ͜ͱ͸
 &MBTUJD
    $MPVE
    Ͱ͸ղফ͞Ε͍ͯΔ͸ͣʂʁ
15. NJOOF
    Y
    &MBTUJDTFBSDI
    ୈ
    
    ظ w"84
    &$
    ʹࣗલͰΫϥελΛߏங
    wͳͥ
    "NB[PO
    &MBTUJDTFBSDI
    4FSWJDF
    Λબ୒͠ͳ͔ͬͨʁ
    w౰࣌͸
    &MBTUJDTFBSDI
    ͷ
    WFSTJPO
    ͕ݹ͔ͬͨ ࠷৽͕
    
    ࣌୅ʹ
    
    
    wࣙॻΛ࢖͑ͳ͍໰୊͸ղܾ͠ͳ͔ͬͨ
    w
    ݱࡏͷ
    &MBTUJDTFBSDI
    ͷ
    WFSTJPO
    ͸
    Y
16. ͜͜·Ͱͷ·ͱΊ
17. ͜͜·Ͱͷ·ͱΊ wNJOOF
    ͸
    4PMS
    ͔Β
    &MBTUJDTFBSDI
    ʹҠߦ͠·ͨ͠
    wॳظ͸
    &MBTUJD
    $MPVE
    wޙʹ
    "84
    &$
    ʹΫϥελΛߏங
    w&MBTUJDTFBSDI
    ΛબΜͩཧ༝͸
18. ͔͜͜Βݕࡧͷ࿩
19. ݕࡧ݁Ռͷྑ͠ѱ͠
    ͱ͸
20. ݕࡧ݁Ռͷྑ͠ѱ͠ w࠶ݱ཰ ద߹཰͔Βܭࢉ͢Δ͜ͱ͸Մೳ
    wຊ౰ʹϢʔβ͕ٻΊΔݕࡧ͔ʁ͸දࣔ͢Δॱ൪΋Өڹ͢Δ
    wͳΜͱͳ͘ྑͦ͞͏Ͱݕࡧ݁ՌΛ͍͍ͬͯ͘͡ͱ
    w࣮͸Ϣʔβ͔ΒݟͨΒΰϛΈ͍ͨͳݕࡧ݁Ռʹ੒௕͍ͯ͠ΔՄೳੑ΋
    wϢʔβ͕ٻΊ͍ͯͨ΋ͷ͕࠷ޙͷϖʔδʹ͋Γશ͘ݟ͔ͭΒͳ͍౳ͷ໰୊͕
21. Ϣʔβ͕ٻΊ͍ͯͨ΋ͷΛݟ͚ͭΒΕ͔ͨʁ Λ஌Δʹ͸ʁ
22. ܭଌ͢Δ͔͠ͳ͍
23. NJOOF
    Ͱ͸ߦಈϩάΛ࢖ͬͯܭଌ
24. ϩάΛ஝ੵ͢Δਤ
25. ͜͜ʹݟग़͕͠ೖΓ·͢ wϢʔβͷߦಈϩάΛ
    5%
    ౳ʹ஝ੵ͢Δ
    wߦಈϩάʹ͸Ͳ͏͍͏৚݅Ͱݕࡧ͞Ε͔ͨʁͱ͍͏৘ใͳͲ΋ؚ·ΕΔ
    w஝ੵ͞ΕͨߦಈϩάΛूܭ͠
    $53
    ౳ͷࢦඪΛ
    SFEBTI
    ౳Ͱݟ͑ΔԽ
    wݕࡧ݁ՌΛม͑ͨ͜ͱʹΑͬͯ
    $53
    ͕Ͳ͏มԽ͔ͨ͠ʁΛ௥͏
26. ܭଌ४උ͕Ͱ͖ͨͷͰ
    "#
    ςετ
27. ݕࡧ݁Ռͷ
    "#
    ςετ wϢʔβΛ
    "#
    ʹ෼ྨ
    wϥϯμϜͰৼΓ෼͚ͯ
    DPPLJF
    ʹ৘ใΛ৯ΘͤΔ౳
    wϢʔβͷߦಈϩάʹࣗ෼͕
    "#
    ͲͪΒͳͷ͔ʁͱ͍͏৘ใΛ෇༩͢Δ
    w"#
    ͦΕͧΕͷࢦඪΛݟ͑ΔԽ͠ͲͪΒ͕ྑ͍͔ʁΛൺֱ͢Δ
    wࢦඪ͕ߴ͍ํΛ࠾༻࣍͠ͷ
    "#
    Λߦ͏
    w̋̋ԁҎ্ߪೖͰ̋̋ΩϟϯϖʔϯͳͲ͕͋Δͱࢦඪ͕ϒϨΔ͜ͱ͕͋ΔͷͰ ஫ҙ͕ඞཁ
28. ݕࡧͷߦಈϩάΛ஝ੵ͢Δͱ
    ଞʹ΋ྑ͍͜ͱ͕
29. ϩάΛ஝ੵ͢Δ͜ͱͷϝϦοτ wࡢ೥ͷϩάΛݟͯτϨϯυΛ஌Δ͜ͱ͕Ͱ͖Δ
    wNJOOF
    ͷΑ͏ͳ഑ૹʹ͕͔͔࣌ؒΔαʔϏεͩͱ࣮ࡍͷτϨϯυͱඍົʹͣ Ε͍ͯͨΓ͢Δ
    wޙड़ͷ
    ΦʔτίϯϓϦʔτར༻Մೳ
    wFUD
30. NJOOF
    Ͱ͸ͲΜͳ
    "#
    ςετΛ
    ͍ͯ͠Δ ͍ͯͨ͠ ͔ʁ
31. 'VODUJPO
    4DPSF
    2VFSZ
    Λ࢖͍είΞΛมߋ wߪೖ͞Εͨճ਺͕ଟ͍
    w͓ؾʹೖΓͷ਺͕ଟ͍
    wಛఆͷ୯ޠ قઅతͳ ؚ͕·Ε͍ͯͨΒείΞΛ্Լ
    wϢʔβͷଐੑ͝ͱʹείΞΛมߋ
    wΧςΰϦʔ͝ͱʹείΞ্͕ঢ͢Δ৚݅Λมߋ
    wFUD
32. GET /_search # likes ͷ஋ΛείΞʹ൓ө͢Δ { "query": { "function_score": { "field_value_factor": { "field": "likes", "factor": 1.2, "modifier": "sqrt" } } } }
33. "#
    ςετ͸͏·͍͔͘ͳ͍͜ͱ΋ଟ͍
34. ͏·͍͔͘ͳ͔ͬͨͱ͍͏
    ஌͕ࣝ஝ੵ͞ΕΕ͹ྑ͍
35. $PNQMFUJPO
    4VHHFTUFS
    ͷ͓࿩
37. $PNQMFUJPO
    4VHHFTUFS
    ͱ͸ʁ w(PPHMF
    Ͱݕࡧ͢Δ࣌ʹ్த·Ͱೖྗ͢Δͱީิ͕ग़ͯ͘ΔΞϨ Φʔτίϯϓ Ϧʔτͱݺ͹ΕΔ΋ͷ
    w&4
    
    ·Ͱ͸ઐ༻ͷ
    FOEQPJOU @TVHHFTU
    ͕ଘࡏ͍ͯͨ͠
    w&4
    
    ͔Β͸௨ৗͷݕࡧ @TFBSDI ʹ
    4VHHFTUFS
    ༻ͷΫΤϦΛ౤͛Δ
38. GET /_search { "suggest": { "minne-suggest": { "prefix": "minne", "completion": { "field": "suggest", "size": 10 } } } }
39. TVHHFTU
    ͱͯ͠ొ࿥͢Δ୯ޠʹ͍ͭͯ
40. TVHHFTU
    ͱͯ͠ొ࿥͢Δ୯ޠʹ͍ͭͯ wߦಈϩά͔Βաڈ
    O
    ೔ؒͷݕࡧ͞Εͨ୯ޠΛूܭ͢Δ
    wूܭͨ͠୯ޠΛ
    $PNQMFUJPO
    4VHHFTUFS
    ༻ͷ୯ޠͱͯ͠ొ࿥͢Δ
    wݕࡧճ਺Λج४ʹ
    XFJHIU
    Λઃఆ͢Δ
41. ྨٛޠ΍ࣙॻ؅ཧͷ͓࿩
42. ྨٛޠ w"84
    ͱ
    "NB[PO8FC4FSWJDFT
    ౳ͷจࣈͱͯ͠͸ҧ͏͕ҙຯ͕ಉ͡΋ͷΛҰ ॹʹѻͬͯ͘ΕΔΑ͏ʹͳΔΞϨ
    wྨٛޠΛࣗ෼Ͱఆٛ͢Δ͜ͱ͕Մೳ
    w4ZOPOZN
    5PLFO
    'JMUFS
    Λ࢖͏
43. ྨٛޠϦετΛͲ͏࡞͔ͬͨ wXJLJQFEJB
    ͔Β࡞੒
    wݕࡧ͞Εͨ୯ޠͷ্Ґ
    /
    ݅ΛோΊͯϦετʹ௥Ճ
    w࠷ऴతʹ͸ਓྗͰϦετΛνΣοΫ
44. ྨٛޠϦετͷ՝୊
45. ྨٛޠϦετͷ՝୊ wݱঢ়͸ਓྗͳͷͰେม
    wఆظతʹߋ৽͕Ͱ͖͍ͯΔΘ͚Ͱ͸ͳ͍
    w͋Δఔ౓ࣗಈԽΛ͍ͨ͠
    wϋϯυϝΠυϚʔέοτͱ͍͏ಛੑ্ҰൠతͰ͸ͳ͍୯ޠ͕ଟ਺ଘࡏ
46. ࣙॻ؅ཧ
47. ࣙॻ wܗଶૉղੳΛ௨ͨ͠ࡍʹ૝ఆ֎ͷ୯ޠʹ෼ׂ͞ΕΔ͜ͱ͕͋Δ
    wϋϯυϝΠυͱ͍͏୯ޠ͕
    ϋϯυ
    ͱ
    ϝΠυ
    ʹ෼ׂ͞ΕΔ ͋͘·Ͱྫ
    w͜ͷΑ͏ͳ໰୊Λղܾͯ͘͠ΕΔͷ͕ࣙॻ
48. ࣙॻΛͲ͏࡞͔ͬͨ wաڈʹݕࡧ͞Εͨ୯ޠͷ্Ґ
    /
    ݅Λऔಘ
    wऔಘͨ͠୯ޠΛ
    &MBTUJDTFBSDI
    ͷ
    "OBMZ[F
    ʹ͔͚Δ
    w݁Ռͱͯ͠ෳ਺ͷτʔΫϯʹ෼͔Εͨ৔߹ɺࣙॻʹొ࿥ͨ͠ํ͕ྑ͍͔΋͠Ε ͳ͍୯ޠͱݴ͑Δ
    w্هͷϦετΛ࡞੒͋͠ͱ͸ਓ͕൑அ
49. GET /_analyze { "analyzer": "standard", "text" : "this is a test" }
50. ΋͏গָ͍ͨ͠͠
51. ਏ͍ͷͰࣗಈԽ
52. ࣙॻ࡞੒ࣗಈԽ
    ୈ
    
    ظ wલ೔ʹݕࡧ͞Εͨ୯ޠΛूܭɺ্Ґ
    /
    ݅Λऔಘ
    wऔಘͨ͠୯ޠΛ
    "OBMZ[F
    ʹ͔͚Δ
    w"OBMZ[F
    ʹ͔͚ͨ݁Ռෳ਺ͷτʔΫϯʹ෼ׂ͞Εͨ୯ޠΛ
    TMBDL
    ʹ௨஌
    w্هΛखಈͰࣙॻʹ௥Ճ͢Δ
    wࣙॻ͸
    QVQQFU
    ͷϦϙδτϦͰ؅ཧ͍ͯ͠Δ
    w։ൃ؀ڥͳͲͰ΋ຊ൪ͱಉࣙ͡ॻ͕࢖͑ΔΑ͏ʹͳΔ
54. ΋͏গָ͍ͨ͠͠
56. ࣙॻ࡞੒ࣗಈԽ
    ୈ
    
    ظ wલ೔ʹݕࡧ͞Εͨ୯ޠΛूܭɺ্Ґ
    /
    ݅Λऔಘ
    wऔಘͨ͠୯ޠΛ
    &MBTUJDTFBSDI
    ͷ
    "OBMZ[F
    ʹ͔͚Δ
    w݁Ռͱͯ͠ෳ਺ͷτʔΫϯʹ෼͔Εͨ৔߹ɺ
    %#
    ʹอଘ
    wಡΈԾ໊ͳͲ͸खಈͰ؅ཧը໘͔Βొ࿥
    wCBUDI
    Ͱ
    %#
    ͔ΒࣙॻΛ࡞੒͠
    &MBTUJDTFBSDI
    ʹ
    EFQMPZ
    w্ه
    CBUDI
    Ͱ
    QVQQFU
    ͷϦϙδτϦʹ
    1VMM
    3FRVFTU
    Λ࡞੒
57. ࣙॻʹొ࿥͢Δจࣈͷ͜ͱ͚ͩ
    ߟ͑Δ͜ͱ͕Ͱ͖ΔΑ͏ʹͳͬͨ
58. ࠓճ঺հͨ͠ࣄྫҎ֎Ͱ΋
    
    &MBTUJDTFBSDI
    Λ࢖ͬͯ·͢
59. ͦͷଞͷࣄྫ w࡞Ոʹఏڙ͍ͯ͠ΔΞΫηεղੳػೳ
    w࡞Ոݕࡧ
    w
    ೥લͷͲͷΑ͏ͳ୯ޠͰݕࡧ͞Ε͔ͨʁΛूܭ͢Δ͜ͱʹΑͬͯτϨϯυΛ ஌Δ
    wΫϦεϚε޲͚ͷ࡞඼͕
    
    ೥લ͸Ͳͷ͘Β͍ͷ࣌ظ͔Β୳͞Ε࢝Ί͔ͨͳͲ
    wFUD
    
60. ·ͱΊ
61. ·ͱΊ
     wݕࡧͷΈͰ΋े෼ͳػೳ
    wϩάΛ૊Έ߹ΘͤΔ͜ͱͰߋʹڧྗ
    w"#
    ςετʹΑΓɺΑΓྑ͍ݕࡧ݁ՌΛ໨ࢦ͢
    w$PNQMFUJPO
    4VHHFTUFS
    Λ࢖༻ͨ͠ΦʔτίϯϓϦʔτ
    w
    ྨࣅޠ΍ࣙॻ؅ཧ͸େม
    w͋Δఔ౓ࣗಈԽ͢Δ͜ͱ͸ग़དྷΔ
    w͜͜Ͱ΋ϩά͕͍͖ͯ͘Δ
62. ͋Γ͕ͱ͏͍͟͝·ͨ͠