Fluentdでアクセスログをゴニョった話 / Aggregating Access Logs and Visualizing with Fluentd

2012/05/18 Fluentd Casual Talks #1 LT資料

Transcript

1. Fluentdでアクセスログを ゴニョった話 導入のTipsとか分かったこととか Fluentd Casual Talks LT Shinya Tsunematsu @tnmt
2. Fluentdがキテるらしい • けど使ったことない • 使い道とか何が嬉しいのか分からない • 今度Fluentd Casual Talksというのをやるらしい
3. お酒って怖いですね
4. というわけで • 初めて触ってみた俺ですが • 導入するまでと • やってみた感想を • それこそもうカジュアルにザーッとお話します • これから始める方の参考になれば幸いです
5. 何をしようか
6. 30days Album 画像APIサーバのアクセスログ • 画像ストレージは複数のサービスから参照され ている • アクセスログの「分析」みたいなことは特にやっ てきていなかった • 必要に応じて手でログをゴニョる程度
7. やってみよう • 画像ストレージのサービスごとの利用内訳をグ ラフ化
8. こんな感じ ログ集約 サーバ ストレージAPI (lighttpd Catalyst) Fluentd Fluentd Growth Forecast
9. インストールする
10. rbenv + bunder が 便利 • rbenv: 複数バージョンRubyの管理ツール • システム全体に影響与えずに個人ユーザ権限 で気軽に始められる • 古いディストリでも新しいRuby使える • plugin追加もGemfileに追加してbundle install すればOK の後に画像API側はtd-agentとか fluent-agent-liteとかでも良かったなと…
11. rbenv入ってたらこれだけ # mkdir -p $HOME/work/fluentd # cd $HOME/work/fluentd # cat << EOF > Gemfile source "http://rubygems.org" gem 'fluentd' EOF # bundle install --path vendor/bundle
12. GrowthForecast # cd $HOME/work # git clone git://github.com/kazeburo/GrowthForecast.git # cd GrowthForecast # sudo yum -y install cairo-devel pango-devel libxml2-devel # cpanm -l extlib Alien::RRDtool
13. 実際の設定
14. 送り元サーバ設定（1） # アクセスログをフォーマットでバラして <source> type tail format /^(?<host>[^ ]*) (?<vhost>[^ ]*) (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$/ pos_file ./pos.txt path /var/log/lighttpd/access.log tag api.access </source>
15. 送り元サーバ設定（2） # 集約サーバに送る <match api.access> type forward flush_interval 10 <server> name delegate host 192.168.XXX.XXX </server> </match>
16. 集約サーバ設定（１） # ストリームを受け取って <source> type forward </source> # 適度にサンプリングして <match api.**> type sampling_filter interval 10 remove_prefix api add_prefix sampled
17. 集約サーバ設定（２） # サンプリングしたデータを集計して <match sampled.**> type datacounter unit minute count_key vhost pattern1 aaa ^aaa.jp$ pattern2 bbb ^img.bbb.jp$ pattern3 ccc ^img.ccc.jp$ tag access </match>
18. 集約サーバ設定（3） # 集計結果をGrowthForecastに投げる <match access> type growthforecast gfapi_url http://localhost:5125/api/ service aaa section access_count name_keys sampled.access_unmatched_count,sampled.access_aaa_c ount,sampled.access_bbb_count,sampled.access_ccc_cou nt </match>
19. グラフ出来た
20. あっさり出来たすごい • 設定ファイルの行数少ない ◦ 送り元: 18 ◦ delegate: 28 • MongoDBにつっこんだりすることなく、グラフ描 画まで終わる • pluginは tagomoris さんのものをふんだんに利 用した • というかブログに書いてあることをかいつまんで そのままやっただけ
21. 負荷は？ • 送り元サーバ ◦ ログはdaily約100万行 1台あたり 15 req/s くらい • 集約サーバ ◦ 送り元8台に対して1台 →今のところ全く問題無し
22. やってみた感想
23. 手頃なログのグラフ化から始めると吉 • 既にあるログからスタート • グラフが出るとテンションが上がる（取り方が分 かる） • テンションが上がると他にも色々データが取りた くなる ◦ 画像ストレージノードのレスポンスタイムにばらつきばあ るっぽいので突き止めたい
24. まとめ • rbenvを使うと導入お手軽（プラグイン追加とか 特に） • 簡単なデータ集計は既にあるプラグインを使う だけで色々出来る (tagomoris++) • GrowthForecastがグラフ化するのが楽すぎて しびれる (kazeburo++) • 目に見える形でデータが出るとテンションが上 がる • グラフ化から始めて徐々に使い道を探っていく と吉ではないかと
25. というLTでしたがSoftware Designに もっと詳しく載ってました!