Upgrade to Pro — share decks privately, control downloads, hide ads and more …

一休.com を支えるデータ分析基盤

一休.com を支えるデータ分析基盤

yusuke sasajima

August 17, 2017
Tweet

More Decks by yusuke sasajima

Other Decks in Science

Transcript

  1. ࠶ߏஙલͷσʔλ෼ੳج൫ʢࣾ಺ͷωοτϫʔΫʹߏஙʣ 基幹DB セッションログ (行動ログ) GA + BigQuery 統合データ (DWH) データ分析

    様々なデータソース 統合されたデータ (社内NW) 抽出 CRM施策 (オフライン) データサイエンティスト、 マーケ、エンジニア メール配信 (ごぶさたクーポン) ETL メール配信 (Price down通知)
  2. σʔλ෼ੳج൫͸Ϋϥ΢υ؀ڥ΁ 基幹DB セッションログ (行動ログ) 統合データ (DWH) データ分析 様々なデータソース 統合されたデータ 抽出

    CRM施策 (オフライン) データサイエンティスト、 マーケ、エンジニア ETL クラウド環境に移⾏ ログ基盤を内製 メール配信 (ごぶさたクーポン) メール配信 (Price down通知)
  3. 3FETIJGU্ʹߏங࣮͠ࡍʹࢼͯ͠΋Βͬͨͱ͜Ζʜ 基幹DB セッションログ (行動ログ) 統合データ (DWH) データ分析 様々なデータソース 統合されたデータ (クラウド)

    抽出 CRM施策 (オフライン) データサイエンティスト、 マーケ、エンジニア ETL ・今の環境からの移行が大変そう ・移行するだけなら効果が出ない ・慣れた道具をわざわざ変えるのは… メール配信 (ごぶさたクーポン) メール配信 (Price down通知)
  4. %BUB8BSFIPVTFͱͯ͠ར༻͢ΔαʔϏεͷํ޲స׵ Redshift → Azure SQL Data Warehouse •  ར༻͢Δ΂͖αʔϏεΛ࠶౓બఆ – 

    ෼ੳ؀ڥ͔ΒͷҠߦίετ͕ߴ͍ •  3FETIJGU͸1PTUHSF42-͕ϕʔε •  "[VSF42-%BUB8BSFIPVTF͸42-4FSWFS͕ϕʔε –  3FETIJGUʹҠߦ͢Δ৔߹ɺݱߦͷ42-4FSWFSϕʔεͰͷσʔλ෼ੳ༻εΫϦϓτͷ΄ͱΜͲ શͯΛॻ͖௚͢ඞཁ͕͋Δʢ"[VSF42-%BUB8BSFIPVTFͰ΋Ұ෦ॻ͖௚͢ඞཁ͸͋Δʣ –  ͔͠͠ɺطଘࢿ࢈ͷ΄ͱΜͲ͢΂͕ͯྲྀ༻Մೳ •  Ҡߦίετ΋ؑΈͨ൑அ͕ඞཁͩͬͨ –  Ұٳͷຊ൪؀ڥ͸શ໘తʹ"84΁ͷҠߦΛਐΊ͓ͯΓɺͦͷจ຺͔Β ΋3FETIJGUʹҠߦ͢΂͖ͱ൑அͯ͠͠·ͬͨ
  5. ৽σʔλ෼ੳج൫͸"[VSF42-%BUB8BSFIPVTFΛத৺ͱͨ͠ ΋ͷʹ 基幹DB セッションログ (行動ログ) 統合データ (DWH) データ分析 様々なデータソース 統合されたデータ

    (クラウド) 抽出 CRM施策 (オフライン) データサイエンティスト、 マーケ、エンジニア ETL メール配信 (ごぶさたクーポン) メール配信 (Price down通知)
  6. ϩάج൫ʹΑͬͯηογϣϯϩάʢߦಈϩάʣΛ஝ੵ 基幹DB セッションログ (行動ログ) 統合データ (DWH) データ分析 様々なデータソース 統合されたデータ (クラウド)

    抽出 CRM施策 (オフライン) データサイエンティスト、 マーケ、エンジニア ETL メール配信 (ごぶさたクーポン) メール配信 (Price down通知)
  7. "[VSFͷ؀ڥʹΑΔ੍໿͕ݪҼ •  "[VSF42-%BUB8BSFIPVTFͰ͸ඞཁͳσʔλՃ޻ॲཧ͕୯ମͰ ͸࣮ࢪͰ͖ͳ͍ –  +40/Λύʔε͢Δॲཧ͕ॻ͚ͳ͍ɺਖ਼نදݱΛར༻ͨ͠ॲཧ͕ॻ͚ͳ ͍ •  ͭ·Γɺੜσʔλͦͷ··Ͱ͸ར༻ෆՄ – 

    "[VSF42-%BUB8BSFIPVTFʹσʔλΛ౤ೖ͢ΔલʹՃ޻͢Δॲཧ͕ ඞཁʹͳΔ •  େྔϑΝΠϧͷσʔλϩʔυੑೳ –  ͞·͟·ͳߏ੒Λࢼͨ݁͠Ռɺݱঢ়ͷߏ੒͕࠷ద •  $MPVE4UPSBHF্ͷࡉ෼Խ͞Εͨϩά৘ใΛ#JH2VFSZʹҰ୴ू໿͢Δ –  $MPVE4UPSBHF͔Β"[VSF42-%BUB8BSFIPVTF·Ͱ෼
  8. ϩάج൫Λ಺੡Խͨ͠ཧ༝ •  ϢʔβʔͷߦಈϩάΛՄೳͳݶΓૣ͘ऩू͢Δҝ –  ηογϣϯى఺ͰͷϢʔβʔߦಈΛิ଍ͯ͠ϦΞϧλΠϜͳࢪࡦΛଧ ͍ͪͨ –  Google Analytics +

    BigQueryの構成では解決できない問題があった •  σʔλ஝ੵͷλΠϜϥάʢ࠷୹Ͱ΋࣌ؒޙʣ •  ͦ΋ͦ΋ΞϓϦέʔγϣϯαʔό͔Β͸஝ੵ͞Εͨσʔλ͕ӾཡͰ͖ͳ͍ 自分たちでコントロールできる Google Analy>cs + BigQueryのようなものが必要