Upgrade to Pro — share decks privately, control downloads, hide ads and more …

kiba ETLで小さく始めるデータ分析基盤構築

Hiroto Fukui
November 28, 2018

kiba ETLで小さく始めるデータ分析基盤構築

Hiroto Fukui

November 28, 2018
Tweet

More Decks by Hiroto Fukui

Other Decks in Programming

Transcript

  1. self self.name => Hiroto Fukui self.sns => @bary822 self.titles =>

    [‘app engineer’, ‘data engineer’] self.companies => [‘rakuten’, ‘grooves’] self.likes => [‘dog’, ‘camping’, ‘ruby]
  2. Actionlog • ユーザーの行動ログ • url, http method, referrer, ip address

    … • Rackレベルで取れる系のやつ • 35k行/h 位の量
  3. Actionlog + 独自拡張フィールド • ユーザーの行動ログ • url, http method, referrer,

    ip address … • Rackレベルで取れる系のやつ • 35k行/h 位の量 • ユーザーID • bot(スクレイピングなど)によるアクセスかどうか
  4. EOF