一休.com を支えるデータ分析基盤

Transcript

1. ҰٳDPNΛࢧ͑Δ
   σʔλ෼ੳج൫
   ࡫ౡ
   ༞հ
   
   
   
2. σʔλ෼ੳج൫؀ڥͷ࠶ߏங
   
3. ࠶ߏஙલͷσʔλ෼ੳج൫ʢࣾ಺ͷωοτϫʔΫʹߏஙʣ
   基幹DB セッションログ (行動ログ) GA + BigQuery 統合データ (DWH) データ分析 様々なデータソース 統合されたデータ (社内NW) 抽出 CRM施策 (オフライン) データサイエンティスト、 マーケ、エンジニア メール配信 (ごぶさたクーポン) ETL メール配信 （Price down通知）
4. Ҡߦͷഎܠ
   •  ຊ൪؀ڥͱࣾ಺ͷ෼ੳ؀ڥͷωοτϫʔΫ෼அ͞Ε͍ͯΔ
   –  ݱߦͷ෼ੳ؀ڥʢ42-
   4FSWFSʣ͸ࣾ಺؀ڥʹߏங͞Ε͍ͯΔ
   –  ෼அ͞Ε͍ͯΔ͜ͱʹΑΔ͞·͟·ͳ੍໿͕ൃੜ͍ͯͨ͠
   •  ຊ൪؀ڥͷ%#͸͞·͟·ͳ౎߹ʹΑΓҰ೔Ұճ͔͠&5-Ͱ͖ͳ͍
   •  σΟεΫ༰ྔෆ଍
   –  ރׇ͢ΔՄೳੑ͕ৗʹ͋Δ
   •  ͜ͷαʔόʹෆ۩߹͕ى͖Δͱ೔ʑͷϚʔέςΟϯάࢪࡦ͕ࢭ·ͬͯ͠·͏ͱ͍ ͏ڪා
   
   h"p://localhost:3000/api/campaign/
5. σʔλ෼ੳج൫͸Ϋϥ΢υ؀ڥ΁
   基幹DB セッションログ (行動ログ) 統合データ (DWH) データ分析 様々なデータソース 統合されたデータ 抽出 CRM施策 (オフライン) データサイエンティスト、 マーケ、エンジニア ETL クラウド環境に移⾏ ログ基盤を内製 メール配信 (ごぶさたクーポン) メール配信 （Price down通知）
6. 3FETIJGU্ʹߏங࣮͠ࡍʹࢼͯ͠΋Βͬͨͱ͜Ζʜ
   基幹DB セッションログ (行動ログ) 統合データ (DWH) データ分析 様々なデータソース 統合されたデータ (クラウド) 抽出 CRM施策 (オフライン) データサイエンティスト、 マーケ、エンジニア ETL ・今の環境からの移行が大変そう ・移行するだけなら効果が出ない ・慣れた道具をわざわざ変えるのは… メール配信 (ごぶさたクーポン) メール配信 （Price down通知）
7. %BUB
   8BSFIPVTFͱͯ͠ར༻͢ΔαʔϏεͷํ޲స׵
   Redshift → Azure SQL Data Warehouse •  ར༻͢Δ΂͖αʔϏεΛ࠶౓બఆ
   –  ෼ੳ؀ڥ͔ΒͷҠߦίετ͕ߴ͍
   •  3FETIJGU͸1PTUHSF42-͕ϕʔε
   •  "[VSF
   42-
   %BUB
   8BSFIPVTF͸42-
   4FSWFS͕ϕʔε
   –  3FETIJGUʹҠߦ͢Δ৔߹ɺݱߦͷ42-
   4FSWFSϕʔεͰͷσʔλ෼ੳ༻εΫϦϓτͷ΄ͱΜͲ શͯΛॻ͖௚͢ඞཁ͕͋Δʢ"[VSF
   42-
   %BUB
   8BSFIPVTFͰ΋Ұ෦ॻ͖௚͢ඞཁ͸͋Δʣ
   –  ͔͠͠ɺطଘࢿ࢈ͷ΄ͱΜͲ͢΂͕ͯྲྀ༻Մೳ
   •  Ҡߦίετ΋ؑΈͨ൑அ͕ඞཁͩͬͨ
   –  Ұٳͷຊ൪؀ڥ͸શ໘తʹ"84΁ͷҠߦΛਐΊ͓ͯΓɺͦͷจ຺͔Β ΋3FETIJGUʹҠߦ͢΂͖ͱ൑அͯ͠͠·ͬͨ
   
8. ৽σʔλ෼ੳج൫͸
   "[VSF
   42-
   %BUB
   8BSFIPVTFΛத৺ͱͨ͠ ΋ͷʹ
   基幹DB セッションログ (行動ログ) 統合データ (DWH) データ分析 様々なデータソース 統合されたデータ (クラウド) 抽出 CRM施策 (オフライン) データサイエンティスト、 マーケ、エンジニア ETL メール配信 (ごぶさたクーポン) メール配信 （Price down通知）
9. ҰٳDPNͷϩάج൫ɺσʔλ෼ੳج൫
   
10. ϩάج൫
    
11. ϩάج൫ʹΑͬͯηογϣϯϩάʢߦಈϩάʣΛ஝ੵ
    基幹DB セッションログ (行動ログ) 統合データ (DWH) データ分析 様々なデータソース 統合されたデータ (クラウド) 抽出 CRM施策 (オフライン) データサイエンティスト、 マーケ、エンジニア ETL メール配信 (ごぶさたクーポン) メール配信 （Price down通知）
12. ϩάج൫ͷશମ૾
    
13. ϩάૹ৴ઌͱͳΔ"1*ͷΞʔΩςΫνϟ
    AjaxでH"pRequest
14. ੑೳΛݕূͨ݁͠Ռ(PͰ࣮૷ΛਐΊ·ͨ͠
    当初は API Gateway + Lambda の想定
15. ୆ߏ੒ UTNBMM ʹͯ҆ఆՔಇத
16. ϩάू໿ΞʔΩςΫνϟ
    Kinesis Stream を利⽤
17. ,JOFTJTͱ-BNCEBͷ૬ੑ͸ൈ܈ •  ૬ੑ͕ྑ͍ཧ༝
    –  σʔλར༻ઌ͕૿͑ͨ৔߹͸-BNCEBଆͰΠϕϯτΛొ࿥͢Δ͚ͩ
    –  Τϥʔ͕ൃੜͨ͠৔߹ʹ͸σʔλͷ༗ޮظݶ·ͰϦτϥΠ͢Δ
    
18. σʔλ෼ੳج൫
    
19. σʔλ෼ੳج൫ͷશମ૾
    
20. ౰ॳͷϓϥϯ
    
21. "[VSFͷ؀ڥʹΑΔ੍໿͕ݪҼ
    •  "[VSF
    42-
    %BUB
    8BSFIPVTFͰ͸ඞཁͳσʔλՃ޻ॲཧ͕୯ମͰ ͸࣮ࢪͰ͖ͳ͍
    –  +40/Λύʔε͢Δॲཧ͕ॻ͚ͳ͍ɺਖ਼نදݱΛར༻ͨ͠ॲཧ͕ॻ͚ͳ ͍
    •  ͭ·Γɺੜσʔλͦͷ··Ͱ͸ར༻ෆՄ
    –  "[VSF
    42-
    %BUB
    8BSFIPVTFʹσʔλΛ౤ೖ͢ΔલʹՃ޻͢Δॲཧ͕ ඞཁʹͳΔ
    •  େྔϑΝΠϧͷσʔλϩʔυੑೳ
    –  ͞·͟·ͳߏ੒Λࢼͨ݁͠Ռɺݱঢ়ͷߏ੒͕࠷ద
    •  $MPVE4UPSBHF্ͷࡉ෼Խ͞Εͨϩά৘ใΛ#JH2VFSZʹҰ୴ू໿͢Δ
    –  $MPVE
    4UPSBHF͔Β
    "[VSF
    42-
    %BUB
    8BSFIPVTF·Ͱ෼
    
22. #JH2VFSZ͸ϩάΛՃ޻ͱू໿͢Δ໾ׂΛ࣋ͭ
    
23. σʔλ෼ੳج൫ͷ׆༻ࣄྫ
    
24. ۩ମతͳ׆༻ࣄྫ
    •  ,1*ूܭ
    –  ࣄۀͷ,1*ͱͳ͍ͬͯΔࢦඪͷࢉग़
    •  ๚໰਺ɺ$73
    •  ৽نձһొ࿥਺΍Ϧϐʔτ཰ɺϦϐʔλʔຖͷച্
    •  νϟωϧຖͷച্
    
    •  $3.ࢪࡦ
    –  ϝʔϧΛར༻ͨ͠
    UP
    ϚʔέςΟϯά
    
25. ,1*ूܭ
    
26. ϝʔϧΛར༻ͨ͠
    UPϚʔέςΟϯάʢ͝Ϳͨ͞Ϋʔϙϯʣ
    
27. ϝʔϧΛར༻ͨ͠
    UPϚʔέςΟϯάʢ1SJDF
    EPXO௨஌ʣ
    
28. σʔλ෼ੳج൫ɾϩάج൫ͷࠓޙͷ׆༻
    
29. ηογϣϯϕʔεͰͷސ٬ͱͷίϛϡχέʔγϣϯྫ 前回のセッションの行動か ら予約の再検討を提案
30. ϩάج൫Λ಺੡Խͨ͠ཧ༝ •  ϢʔβʔͷߦಈϩάΛՄೳͳݶΓૣ͘ऩू͢Δҝ
    –  ηογϣϯى఺ͰͷϢʔβʔߦಈΛิ଍ͯ͠ϦΞϧλΠϜͳࢪࡦΛଧ ͍ͪͨ
    –  Google Analytics + BigQueryの構成では解決できない問題があった •  σʔλ஝ੵͷλΠϜϥάʢ࠷୹Ͱ΋࣌ؒޙʣ
    •  ͦ΋ͦ΋ΞϓϦέʔγϣϯαʔό͔Β͸஝ੵ͞Εͨσʔλ͕ӾཡͰ͖ͳ͍
    自分たちでコントロールできる Google Analy>cs + BigQueryのようなものが必要
31. ϦΞϧλΠϜߦಈϩάͷऩू
    
32. ΧελϚʔδϟʔχʔ૬౰ͷσʔλ͕ϦΞϧλΠϜʹར༻Մೳ
    Ϣʔβʔͷηογϣϯ୯ҐͰͷߦಈϩά͕ϦΞϧλΠϜʹ஝ੵɾߋ৽͞ΕΔ
    初回と最終の 訪問日時と訪 問URLを保持 ユーザーが対 象の画面を通っ たかどうかをフ ラグで管理 サイトに滞在し た時間
33. ·ͱΊ
    •  Ұٳʹ͓͚Δσʔλ෼ੳج൫ͷ࠶ߏஙʹ͓͚Δϩάج൫ɺσʔλ෼ ੳج൫ʹؔͯ͠࿩͍͖ͤͯͨͩ͞·ͨ͠
    •  ࠶ߏங࣌͸ݱߦۀ຿΍σʔλྔ౳ɺσʔλ෼ੳج൫ʹؔΘΔཁૉΛ ͖ͪΜͱ෼ੳͯ͠ਐΊΔ΂͖ͩͱ࠶ೝࣝ͠·ͨ͠
    •  ࠓޙ͸ϚʔέςΟϯάࢪࡦͷى఺Λશͯ৽͍͠σʔλ෼ੳج൫ ʢ"[VSF
    42-
    %BUB
    8BSFIPVTFʣ
    ʹҠߦ͍͖ͯ͠·͢