Share
Embed
Transcript
34 slides
-
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 2020年11⽉13⽇
ヤフー株式会社 村上 晃 実務(CTR予測)と機械学習コンペの⽐較 コンペで学んで役に⽴った/⽴たなかったこと -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 注意事項
2 • ຊͷ͜ͷൃදɼݱ৬ݱ෦ॺͰͷ ݸਓతܦݧʹجͮ͘ͷͰ͢ɽ • ओޠ͕େ͖ͦ͏ͳൃݴΛͯ͠͠·ͬͨ߹ɼ ͦΕݴ͍ؒҧ͍ͩͱࢥ͍͚ͬͯͨͩΔͱ ͍Ͱ͢ɽ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. TL;DR
3 • ࠂͷΫϦοΫ༧ଌਫ਼͕ऩӹʹ݁ͼͭ͘ ࣮λεΫɽ • ,BHHMFͰΑ͘ΘΕΔਫ਼վળํ๏ͱͯ͠ɼ ౷ܭྔલͷϩάΛ༻ͨ͠ಛྔͳͲ͕͋Δɽ • ࣮ͷࠂΫϦοΫ༧ଌͰͦ͏͍͏ಛྔΛ ༻͢Δͱɼਫ਼্͕ΔͷͷΦϯϥΠϯਪ ڥඋ͕େมͰɼԠ༻͠ਏ͍ɽ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ⾃⼰紹介
4 ࢯ໊ ଜ্ ߊ ʢUXJUUFS!NSLNBLS ,BHHMF!NSLNBLSʣ ग़ ژɽ ܦྺ ژେใֶݚڀՊͷੜدΓͷϥϘग़ ݱॴଐ Ϡϑʔגࣜձࣾ αΠΤϯε౷ׅຊ෦ʢ̎̌̍̕৽ଔೖࣾʣ ࠂؔͷ͜ͱΛ͍ͬͯΔ෦ॺͰɼػցֶशίϯϙʔωϯτͷ ։ൃɾݕূΛߦͳ͍ͬͯ·͢ɽ ࣾಉձ ࣾͷ,BHHMFಉձʹೖ͓ͬͯΓɼղ๏ڞ༗ձίϯϖΛߦͳ͍ͬͯ·͢ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. コンペ戦績
5 ,BHHMF DPNQFUJUJPONBTUFS /'-#JH%BUB#PXMͰιϩۚ BUNBDVQҐ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. agenda
6 :+Ͱͷࠂ৴ͷʢಛʹ$53༧ଌʣ ࣅͨσʔλʹରͯ͠,BHHMFͰΑ͘ΘΕΔख๏ ,BHHMFͰͷख๏$53༧ଌͷ࣮Ͱ༗ޮ͔ ,BHHMFͰֶΜཱͩͬͨ͜ͱཱͨͳ͔ͬͨ͜ͱ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. YJでの運⽤型広告配信
7 • ചΓ্͕͛େ͖͍ • ԯԁ EBZʢ*3ΑΓʣ • جຊతʹDMJDL՝ۚ • ظऩӹ͕ߴ͍ࠂ͕දࣔ͞ΕΔ 運用型広告 1 運用型広告 2 ظऩӹ ΫϦοΫ୯Ձ º $53ʢΫϦοΫ֬ʣ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. CTR予測のデータ形式とタスク
8 • 6TFSº *UFNº 5JNFΛݩʹɼ $MJDL͞ΕΔ͔Ͳ͏͔Λ༧ଌ͢Δ ೋྨʢ֬༧ଌʣ • $BSEJOBMJUZʢVOJRVFʣ ͔ͳΓେ͖͍ɼ • ݄ؒΞΫςΟϒϢʔβʔ ̍ԯऑ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. CTR予測精度が向上すると
9 • ਅʹظऩӹ͕ߴ͍ࠂΛग़͢͜ͱ͕Ͱ͖ΔΑ͏ʹͳΔɽ • ऩӹΞοϓ͕ظͰ͖Δ • ཧ্$53༧ଌ͕ᘳͳΒऩӹ࠷େԽ • ˋͷऩӹ্ͰֹۚͰݟΔͱ͔ͳΓେ͖͍ • վળͰ ສԁ EBZ 精度向上の追求に慣れているkagglerが 活躍しやすい実務タスクでは︖ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. agenda
10 :+Ͱͷࠂ৴ͷʢಛʹ$53༧ଌʣ ࣅͨσʔλʹରͯ͠,BHHMFͰΑ͘ΘΕΔख๏ ,BHHMFͰͷख๏$53༧ଌͷ࣮Ͱ༗ޮ͔ ,BHHMFͰֶΜཱͩͬͨ͜ͱཱͨͳ͔ͬͨ͜ͱ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ユーザー
× アイテム × 時系列 コンペ 11 • 5BMLJOHEBUB • Ϣʔβʔ͕ΞϓϦͷࠂΛΫϦοΫͨ͠ޙɼΞϓϦΛ ࣮ࡍʹμϯϩʔυ͢Δ͔Ͳ͏͔Λ༧ଌ͢Δίϯϖ • %4# • ΞϓϦͷϓϨΠཤྺΛݩʹɼͲΕ͙Β͍ͷείΞΛ औΔ͜ͱ͕Ͱ͖Δ͔Λ༧ଌ͢Δίϯϖ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量
12 • ΧςΰϦʔ͝ͱͷ౷ܭྔ • લʹϩάʹݱΕͨճʢDPVOUFODPEJOHʣ • λʔήοτͷ࣮ʢUBSHFUFODPEJOHʣ • ৭ΜͳBEΛΫϦοΫ͢ΔVTFS͔ʢVOJRVFDPVOUʣ • ಛఆͷࠂΛԿݟ͍ͯΔ͔ʢ݅Λ͚ͭͨDPVOU FODPEJOHʣ ू • ࢄදݱ • ڞىߦྻͷજࡏม • ࣌ܥྻΛจষͱ ݟཱͯͨXPSEWFD -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 直近のログを利⽤した特徴量
13 • Ұఆظؒͷ౷ܭྔʢલͷϩάΛؚΉूಛྔʣ • લ̍̌ͷؒͷΞΫηεճ • લ̑ؒͰݟͨࠂͷछྨ • TIJGUಛྔ • ۙͷΞΫηε͔Βܦաͨ࣌ؒ͠ • ۙʹΫϦοΫͨ͠ࠂͱಉ͡ࠂ͔Ͳ͏͔ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ⼿法まとめ
14 • ूಛྔ • ౷ܭྔ • ࢄදݱ • ۙͷϩάΛར༻ͨ͠ಛྔ • ۙͷϩάͱͷࠩ • ۙͷϩάͦͷͷ • ಛྔΛࣗͰ࡞ͤͣʹ3//ʹͤΔέʔε -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. agenda
15 :+Ͱͷࠂ৴ͷʢಛʹ$53༧ଌʣ ࣅͨσʔλʹରͯ͠,BHHMFͰΑ͘ΘΕΔख๏ ,BHHMFͰͷख๏$53༧ଌͷ࣮Ͱ༗ޮ͔ ,BHHMFͰֶΜཱͩͬͨ͜ͱཱͨͳ͔ͬͨ͜ͱ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleの解法はCTR予測の実務で使えるか
16 • ͜͜·ͰͰݟ͖ͯͨಛྔΛ ࠂ৴࣌ͷ$53༧ଌʹ͑Δ͔ߟ͑ͯΈΔ • ࠂ৴Ͱ࣮ࡍʹࠓ༻͍ͯ͠Δͷ͔ • ਫ਼ɾऩӹ͕ຊʹվળ͢Δͷ͔ • ࣮ࡍʹࠂ৴Ͱ༻͢Δ߹ͷίετͳͲ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量(1/2)
17 • ৴࣌ͷ$53༧ଌͰͷ༻ঢ়گ • গྔ͕ͩ༻͍ͯ͠Δ • FYʣ࣮$53UBSHFUFODPEJOH • ਫ਼ɾऩӹͷӨڹ • ࣮$53ͳ͠Ͱੜ͖͍͚ͯͳ͍͙Β͍ʹޮ͍͍ͯΔ • ଞͷ࣮ʢࠂͷఏࣔසͳͲʣͦͦ͜͜ޮ͍͍ͯΔ 精度・収益向上の役には⽴つ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量を使った場合の広告配信の流れ
18 Ϣʔβʔ ࠂબ༻αʔόʔ %# 6. ロギング 4. 広告 1. アクセス情報 3. 特徴量 2. ID 5. ロギング ಛྔఏڙ༻αʔόʔ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量を使った場合の広告配信の流れ
19 Ϣʔβʔ ࠂબ༻αʔόʔ %# ಛྔఏڙ༻αʔόʔ 6. ロギング 4. 広告 1. アクセス情報 3. 特徴量 2. ID 5. ロギング ूܭ༻αʔόʔ b. 集計結果読み込み a. 集計 -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 増強・改修が必要な箇所
20 Ϣʔβʔ ࠂબ༻αʔόʔ %# ಛྔఏڙ༻αʔόʔ 6. ロギング 4. 広告 1. アクセス情報 3. 特徴量 2. ID 5. ロギング ूܭ༻αʔόʔ b. 集計結果読み込み a. 集計 -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 増強・改修が必要な箇所
21 Ϣʔβʔ ࠂબ༻αʔόʔ %# ಛྔఏڙ༻αʔόʔ 6. ロギング 4. 広告 1. アクセス情報 3. 特徴量 2. ID 5. ロギング ूܭ༻αʔόʔ b. 集計結果読み込み a. 集計 -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量(2/2)
22 • ৽͍͠ूಛྔΛ৴Ͱ༻͢Δͷʹඞཁͳཁૉ • ूܭΫΤϦͷ࡞ͱอकɾӡ༻ • ֤छαʔόʔͷ૿ڧ • ಛʹಛྔఏڙ༻αʔόʔ • ΦϑϥΠϯͰ༗༻ੑ͕ࣔ͞Ε͔ͯΒ࣮ࡍͷࠂ৴Ͱࢼ͢·Ͱʹ͔͔Δظؒ • খنͳϥΠϒςετ·Ͱ ϲ݄ • શ৴Ͱ༻Ͱ͖ΔΑ͏ʹͳΔ·Ͱ΄Ͳ͔͔Δ༷ 精度は上がるが,オンライン推論環境構築がかなり⼤変で, 実際の広告配信で試すには時間がかかる -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 直近のログ利⽤した特徴量(1/2)
23 • ৴࣌ͷ$53༧ଌͰͷ༻ঢ়گ • ͔ᷮʹ༻͍ͯ͠Δ͕ಋೖͷқߴ͘ɼίετ͔͔Δɽ • ݟ߹͏ऩӹੑ্͕ඞཁ • ਫ਼ɾऩӹͷӨڹ • ͳͯ͘ͳΒͳ͍ͱ͍͏΄ͲͰͳ͍͕ͦͦ͜͜ޮ͍͍ͯΔ • ʢಋೖϋʔυϧߴ͍ͷ͋ͬͯ͋·Γ୳ࡧ͞Εͯͳ͍ҹʣ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 直近のログが必要な特徴量(2/2)
24 • ৽͍͠ಛྔΛՃ͍ͯͨ͘͠Ίʹඞཁͳཁૉ ʢूಛྔͰඞཁͳͷҎ֎ʣ • ϦΞϧλΠϜूܭ༻ͷαʔόʔͷ૿ڧ • ωοτϫʔΫͷ૿ڧ • ΦϑϥΠϯͰ༗༻ੑ͕ࣔ͞Ε͔ͯΒ࣮ࡍͷࠂ৴Ͱࢼ͢·Ͱʹ ͔͔Δظؒ • খنͳϥΠϒςετ·Ͱ ϲ݄ • શ৴Ͱ༻Ͱ͖ΔΑ͏ʹͳΔ·Ͱ̍΄Ͳ͔͔Δ༷ • খنͳϥΠϒςετͰऩӹ্͕͕̍ΔͱΘ͔͍ͬͯΔ͕ ϦιʔεͷͰϝΠϯԽ͞Εͯͳ͍ಛྔ͋Δ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 直近のログ
+ NN 25 • $53༧ଌͰ͍ͬͯΔ͔ʁ • ͍͑ͯͳ͍ • ਫ਼্͕Δͷ͔ • ΦϑϥΠϯධՁ͕վળ͢Δ͜ͱͷ֬ೝͰ͖͍ͯΔ͕ɼ ϥΠϒςετͰ͖͍ͯͳ͍ • $53༧ଌؔͷจͰɼਫ਼͕վળͯ͠ऩӹ্͕͕Δ͜ ͱใࠂ͞Ε͍ͯΔ • "MJCBCB࣮ࡍͷࠂ৴Ͱ3// BUUFOUJPOϞσ ϧΛ༻͓ͯ͠Γɼ.-1ͱൺͯऩӹ ʢ (VPSVJ ;IPVFUBMʣ • ৴Ͱ༻͢ΔʹԿ͕ඞཁ͔ • ۙͷಛྔ͕͑ΔΑ͏ʹ͢Δ • ਪαʔόʔͷ૿ڧ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ⼿法とハードル
26 手法 考えられる特徴量の例 配信で試すまでにかかる 期間 ハードル 集約特徴量 • クリックしやすいユーザー か? • 幅広い年齢層がクリックす る広告か? • あるユーザーが絶対クリック しない広告のカテゴリは? • 2ヶ月ぐらい • 全trafficで使うなら半年 • 事前に集計して 貯める必要あり • 推論時に素早く引 ける必要あり 直前のログを 使用した特徴量 • 直前に提示された広告は? • 直前にクリックした広告のカ テゴリは? • 3ヶ月ぐらい • 全trafficで使うなら1年 • ↑と同様 • 直前の行動を即 特徴量に反映で きるようにする必 要あり -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 何だったら気軽に試せるか
27 • طʹϩάʹམ͍ͪͯΔ͕$53༧ଌϞσϧʹ ͍ͬͯͳ͍Α͏ͳಛྔʢେ୳ࡧࡁΈʣ • Ϟσϧͷ܇࿅࣌ʹ͔ؔ͠Θͬͯ͜ͳ͍Α͏ͳͷ • TBNQMFXFJHIU • ֤छϋΠύϥ • ଛࣦؔ • ༻͢Δσʔλ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleコンペとの⽐較
28 • ϩʔΧϧͰܭࢉͰ͖ͳ͍ࢦඪʢऩӹʣ͕ QVCMJD QSJWBUFͷNFUSJDʹͳ͍ͬͯΔ • ूܭ͕ඞཁͳಛྔΛՃͨ͠ϞσϧΛͬͯ TVCNJUʢϥΠϒςετʣ͢Δʹ࠷̎ϲ݄͔͔Δ • 1VCMJD-#ʢখنϥΠϒςετʣͰείΞ্͕͕ͬͯ QSJWBUF-#ʢશ৴ͷөʣʹϦιʔεͷ߹্ɼ ୯ҐͷظؒөͰ͖ͳ͍͜ͱଟ͍ • ͦͦ-#ʹڝ૪૬ख͍ͳ͍ • 1SJWBUFͷείΞʢऩӹʣ্͕͕Δͱͪΐͬͱڅྉ্͕͕Δ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ここまでのまとめ
29 • ,BHHMFͰΘΕ͍ͯΔਫ਼վળख๏࣮ͷ$53༧ଌͰཱ͔ͭʁ • ਫ਼վળɾऩӹվળʹܨ͕Δ • ͨͩ͠ɼखܰʹΦϯϥΠϯਪ·Ͱ͍͚࣋ͬͯΔख๏গͳ͍ • ΦϯϥΠϯਪڥඋ͕ඇৗʹେม • ,BHHMFͰܭࢉ࣌ؒϝϞϦͷ੍ݶ͕؇͍͔Βͦ͜खܰʹ 1%$"ΛճͤΔ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. agenda
30 :+Ͱͷࠂ৴ͷʢಛʹ$53༧ଌʣ ࣅͨσʔλʹରͯ͠,BHHMFͰΑ͘ΘΕΔख๏ ,BHHMFͰͷख๏$53༧ଌͷ࣮Ͱ༗ޮ͔ ,BHHMFͰֶΜཱͩͬͨ͜ͱཱͨͳ͔ͬͨ͜ͱ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleで学んで成果に繋がったことは︖
31 • ݱ࣌Ͱਖ਼ࢥ͍͔ͭͳ͍ ʢ˞ݱ৬ݱ෦ॺݱ࣌ͰͷݸਓతܦݧͰ͢ʣ • ΦϑϥΠϯධՁૉૣ͘ߦ͑ͯɼ ৴ʹ͍ͮΒ͘ऩӹվળʹ݁ͼ͍͍ͭͯͳ͍ • తͳՌʹܨ͕Βͳ͍͕ʹཱ͍ͬͯΔͷ 1BOEBT NBUQMPUMJCͳͲͷϥΠϒϥϦͷ͍ํ • ϥΠϒςετ݁Ռ୳ࡧతσʔλղੳʢ&%"ʣ͕ ૉૣ͘Ͱ͖ΔͷHPPE -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleで学んで役に⽴ったことは︖
32 • ͦͷଞɼ,BHHMFͰֶΜͰۀͰʹཱͬͨ͜ͱͷ͋Δ͜ͱ • ,FSBTMJHIUHCNͰαΫοͱਫ਼ධՁ͕Ͱ͖Δ • GBTUUFYUXPSEWFDΛαΫοͱࢼͤΔ • εέʔϧ͕ؔ͢ΔϞσϧͷ߹ɼ4LFXͳͷಛྔʹMPHQΛ ద༻ͨ͠ํ͕ྑ͍͜ͱΛ͍ͬͯΔ • 1FSNVUBUJPOJNQPSUBODF OVMMJNQPSUBODFΛ͍ͬͯΔ • ಛྔؒͷ࢛ଇԋࢉΛͨ͠ಛྔͷՃͰUSFFͷਫ਼มΘΓ͏Δ͜ͱΛ ͍ͬͯΔ • %SPQPVUͷޙʹ#BUDI/PSNΛ͍͚ͯ͠ͳ͍͜ͱΛ͍ͬͯΔ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleでコーディングを学んだ悪影響
33 • มʹಛྔʹ߆ͬͨ݁Ռɼอकੑ͕͘ͳͬͯ ϦϑΝΫλϦϯά͢Δඞཁ͕ग़Δ • ઢܗϞσϧͷҙΛΕͯυπϘʹϋϚͬͨΓ͢Δ • (#%5Ͱϙϯʹ׳Εͨฐ • ΫιͰ͔OPUFCPPLʹ׳Ε͍͗ͯͯ͢ࣄͰՄಡੑͷͳ͍ίʔυΛ ੜΈग़ͯ͠͠·͏ • -#্Ͱͷڝ૪͕ͳ͘վળͷ1%$"͕͍.-Ϟσϧ࡞ʹָ͠ΈΛ ݟग़ͮ͠Β͍ ※ ࣗͷLBHHMFͷऔΓΈํͷ߹ͷͰ͢ -
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 雑感
34 • ੍ݶ͕͋Δ߹ͷख๏͋·Γ୳ࡧ͞Εͳ͍ͷ,BHHMFͷ೦ͳ ͱ͜ΖͰ͋Δ͕ɼ੍ݶΛແࢹͯ͠෯͍ख๏ΛࢼͤΔͷ ,BHHMFͷϝϦοτ • ,BHHMF͍ͬͯͯۀͰʹཱͬͨͷϥΠϒϥϦͷ͍ํʹ ׳Ε͍ͯΔ͜ͱ͕ओɽ • ಛఆͷίϯϖͰۚϝμϧऔΔͱ͜·ͰؤுΔΑΓ ৭ΜͳίϯϖͰιϩಔͱΔͱ͜Ζ·Ͱͬͨํ͕ ۀͷʹཱͪͦ͏ • ʢ˞ݱ৬ݱ෦ॺݱ࣌ͰͷݸਓతݟղͰ͢ʣ