Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ランキングアルゴリズムにおける効率的なオンライン評価手法 ~インターリービング (Int...

Yuya Matsumura
February 19, 2019

ランキングアルゴリズムにおける効率的なオンライン評価手法 ~インターリービング (Interleaving) の利用~

2019/2/19 の s-dev talks 〜サービス開発勉強会〜「仮説の立て方」(https://s-dev-talks.connpass.com/event/118037/) での発表内容です.

ランキングアルゴリズムをリリースする過程でのオンライン評価について概要をお話させていただきました.

Yuya Matsumura

February 19, 2019
Tweet

More Decks by Yuya Matsumura

Other Decks in Science

Transcript

  1. ©2019 Wantedly, Inc. ✓ Yuya Matsumura (দଜ ༏໵) ✓ Software

    Engineer (ݕࡧɾਪનΤϯδχΞ) ✓ Wantedly, Inc. Recommendation Team (since April 2018) ✓ Interested in Information Retrieval, Machine Learning Self-Introduction @yu-ya4 @yu__ya4
  2. ©2019 Wantedly, Inc. ABςετͷ՝୊ 㾎༗ҙͳ͕ࠩग़Δ·Ͱʹେྔͷαϯϓϧ਺ JNQSFTTJPO਺ 17਺ ͕ඞཁ 㾎ۃ୺ͳϢʔβͷߦಈʹେ͖͘ӨڹΛड͚ΔՄೳੑ͕͋Δ Ex.

    *ݱࡏCVR 1%ͷ΋ͷΛ10%վળ(CVR 1.1%)͢Δʹ͸134,379΋ͷαϯϓϧ਺͕ඞཁ Ex. Ұํͷάϧʔϓʹɼ͢΂ͯͷίϯςϯπʹίϯόʔδϣϯ͢ΔϢʔβ͕͍ͨΒ…ʁ
  3. ©2019 Wantedly, Inc. 1 ਓͷϢʔβʹ҉໧తʹෳ਺ͷΞϧΰϦζϜΛධՁͯ͠΋Β͏͜ͱ͕Ͱ͖Δ ̍ ̎  ̍ ̎

     Ranking A Ranking B A/B Testing গͳ͍Ϣʔβ਺Ͱෳ਺ͷΞϧΰϦζϜΛൺֱධՁͰ͖Δ → Interleaving ̍ ̎ ̍ ̎
  4. ©2019 Wantedly, Inc. ಉ͡Α͏ͳੑೳͷΞΠςϜΛฒ΂ͯ௚઀ൺֱͰ͖Δ ̍ ̎  ̍ ̎ 

    Ranking A Ranking B A/B Testing ̍ ̍ ̍ ̍ ̍ ̍ Ranking A ͱ Ranking Bͷੑೳ͕ࣅ͍ͯΔ৔߹ ͕ࠩग़ʹ͍͘ →
  5. ©2019 Wantedly, Inc. ಉ͡Α͏ͳੑೳͷΞΠςϜΛฒ΂ͯ௚઀ൺֱͰ͖Δ Interleaving ̍ ̍ ̍ ̍ ̍

    ̍ ̎ ̍ ̎ ̍ Ranking A ͱ Ranking B͕҉ʹ௚઀ൺֱ͞ΕΔͷͰ ͕ࠩग़΍͍͢ʂʂ →
  6. ©2019 Wantedly, Inc. ಉ͡ΞΠςϜ͕͋ͬͯ΋ͲͪΒ͔ʹࢦ໊͞ΕΔͷͰ͕ࠩग़΍͍͢ ̍ ̎  ̍ ̎ 

    Ranking A Ranking B A/B Testing  ̍ ̍  ̎ ̍ ಉ͡ΞΠςϜ͸ಉ͘͡Β͍ͷ CVR ʹͳΔ(͸ͣ)ͷͰɼ 2 ͭͷϥϯΩϯάͰ͕ࠩग़ʹ͍͘ → ʹ
  7. ©2019 Wantedly, Inc. ಉ͡ΞΠςϜ͕͋ͬͯ΋ͲͪΒ͔ʹࢦ໊͞ΕΔͷͰ͕ࠩग़΍͍͢ Interleaving  ̍ ̍ ̍ ̍

    ̍ ̎ ̍  ̍ ಉ͡ΞΠςϜͰ΋ΑΓ্Ґʹ͍ͯͨ͠ϥϯΩϯά ΞϧΰϦζϜͷউͪʂʂ →
  8. ©2019 Wantedly, Inc. Summary 㾎 ैདྷͷΦϯϥΠϯϥϯΩϯάධՁख๏"#ςετͷ՝୊ w ༗ҙͳ͕ࠩग़Δ·Ͱʹେྔͷαϯϓϧ਺͕ඞཁ 㾎 ޮ཰తͳධՁख๏ΠϯλʔϦʔϏϯάͷ঺հ

    w ഒ͔Βഒैདྷͷ"#ςετΑΓ΋ޮ཰తͰ͋ΔͱݴΘΕΔ 㾎 ΠϯλʔϦʔϏϯάͷ՝୊ w ͋͘·Ͱ૬ରతͳධՁ͔͠Ͱ͖ͳ͍ 㾎 ͭͷख๏Λ͍͍ͱ͜औΓͨ͠ஈ֊ͷΦϯϥΠϯධՁϓϩηε w ΠϯλʔϦʔϏϯάͰީิΛߜΓɼ"#ςετͰ࠷ऴతͳධՁΛԼ͢