Upgrade to Pro — share decks privately, control downloads, hide ads and more …

マゾいログ回収の話と未来

 マゾいログ回収の話と未来

Fluentd Meetup 新しい応用事例とv1に関する発表
http://eventdots.jp/event/49560

s_wool

May 13, 2014
Tweet

More Decks by s_wool

Other Decks in Programming

Transcript

  1. Norikazu Kato (@s_wool or s-wool) ログ @ フリークアウト fluentd, Hadoop,

    elasticsearch … 経歴 2011.04 グリー株式会社 とあるソーシャルゲームを運営 Treasure Dataの導入時にちょっと手伝ったり 2013.01 株式会社フリークアウト 5月くらいからログ担当 趣味:サバゲー
  2. 現構成までのタイムライン 時期 トピック 2011.1  FreakOut RTB開始  rsyncによるログ回収 +

    MySQLへ格納 2012.11  fluentdの利用開始  一部のログをTDへ転送 2013.1  fluentdによる本格的なログ回収の開始  転送先はs3 + ログサーバー  Hadoop運用開始(CDH3) 2013.5  データセンター移行 2013.7  CDH4へアップグレード 2014.01  elasticsearch使い始める