2020/01/31 ログ勉強会「WindowsのWEBサーバログをリアルタイム監視・可視化してみた」

Copyright © 2019 QUICK Corp. All Rights Reserved. WindowsのWEBサーバログをリアルタイム監視・可視化してみた
2020/1/31 株式会社QUICK 小出淳二

2 Copyright © 2019 QUICK Corp. All Rights Reserved. 小出
淳二 Junji Koide ・株式会社QUICK ・コンサルティング営業本部 SREチームリーダーリードエキスパート・Fin-JAWS運営・AWS認定資格10冠情報安全確保支援士・好きな音楽 EDM（ZEDD、Kruwella）・趣味：海外旅行行った国60カ国、毎年海外で年越し 2012年末障害対応ｗ 2013年末リオデジャネイロ 2014年末バルセロナ 2015年末ダナン 2016年末ルアンパバーン 2017年末ジャカルタ 2018年末スリランカのアーユルヴェーダ 2019年末ガパリビーチ自己紹介

3 Copyright © 2019 QUICK Corp. All Rights Reserved. アジェンダ
・はじめに・Windows Webサーバ関連のログって？・そのログで何がしたいの？・オンプレ時代の課題は？・AWSではどうしたの？・現状のWEBサーバログ分析基盤・現状の課題って何？・今後の対応は？

4 Copyright © 2019 QUICK Corp. All Rights Reserved. ・はじめに
・Windows Webサーバ関連のログって？・そのログで何がしたいの？・オンプレ時代の課題は？・AWSではどうしたの？・現状のWEBサーバログ分析基盤・現状の課題って何？・今後の対応は？

5 Copyright © 2019 QUICK Corp. All Rights Reserved. 1000台規模のWindowsサーバベースの
システムをAWSに移行しました。（昨年末完了） SREチームとして実施してきたログに関しての取り組みをご紹介します。未だ試行錯誤の段階なので、是非皆さんといろいろ考えながら改善していき、その結果を共有できればと思ってます。

7 Copyright © 2019 QUICK Corp. All Rights Reserved. 全体構成図
Corporate data center Direct Connect （TY2） Direct Connect (CC1) AWS Cloud Availability Zone Public subnet Private subnet Public subnet Instances(web) Private subnet Instances(db) Private subnet Instances(web) Private subnet Instances(db) VPC

9 Copyright © 2019 QUICK Corp. All Rights Reserved. ・Cloudfrontログ
・ALBログ・WAFログ（BIG-IP ASM、AWS WAF）・IISログ・Windowsイベントログ等

10 Copyright © 2019 QUICK Corp. All Rights Reserved. ・Cloudfrontログ
・ALBログ・WAFログ（BIG-IP ASM、AWS WAF）・IISログ・Windowsイベントログ等今日はここのお話をします

12 Copyright © 2019 QUICK Corp. All Rights Reserved. ・諸々のトラブルシューティング
（AWSの障害、リリース時の諸々のミス、システム外部接続系のトラブルなど）・システムの異常やDDoS攻撃などを早期（リアルタイムに近い形）に検知したい・ユーザのアクセス分析、ユーザへのアクセス分析情報提供サービス

14 Copyright © 2019 QUICK Corp. All Rights Reserved. ・1日1回、0時過ぎから数時間掛けて数百
台のIISログを収集。集計サーバにて数時間掛けて日次バッチ処理。 0:30ログ収集開始→11～12時台に完了・障害や何らかのインシデント発生時に、リアルタイムに集計、検索ができない。都度インフラ担当がWEBサーバからログを収集・集計し調査（時間と工数かかる）

15 Copyright © 2019 QUICK Corp. All Rights Reserved. ・深夜のログ収集時に監視ネットワークの
トラフィックが大量発生し、末端L2SWの Uplinkが詰まって監視のポーリングをこぼして誤検知多発・UplinkをGiga化したりFE 2本でリンクアグリゲーションしたり、監視強化したり、ログ担当に流量押さえて送信するよう改造させたり、インフラ担当（当時私）大変

17 Copyright © 2019 QUICK Corp. All Rights Reserved. レガシーなログ集計・分析システムは、
そのままリフトw →担当者にAWSの知見ゼロ協力会社にも AWS詳しい人いない移行開始まで時間が無い、などなど、、

18 Copyright © 2019 QUICK Corp. All Rights Reserved. 一応処理時間は短縮されたけど、、
オンプレ 0:30ログ収集開始→11～12時台に完了 AWS 0:30ログ収集開始→8時頃には完了

19 Copyright © 2019 QUICK Corp. All Rights Reserved. でもせっかくクラウドのサービスあるんだ
から今の課題を解決したい SREチーム、よろ！

20 Copyright © 2019 QUICK Corp. All Rights Reserved. いろいろ悩ましい点
目的、予算、体制、要件は・・

21 Copyright © 2019 QUICK Corp. All Rights Reserved. エンドユーザはこれを求めています
お気軽にスモールスタート出来て、スケールが可能大規模になっても費用がリーズナブルで手間いらず

23 Copyright © 2019 QUICK Corp. All Rights Reserved. Datadog
Log Management ・お手軽に利用可能（使っただけ課金）・でもWEBサーバ全台にDatadog Agent入れると・Fluentd Aggregatorからプラグインで送れそう・一旦全ログ送りつけてExclusion Filterで課金対象をフィルタリングできる・Alert condition 設定してログ監視も出来そうでも結局ログ量が多くなると高くね？

24 Copyright © 2019 QUICK Corp. All Rights Reserved. SumoLogic
・SaaS楽だし、Datadogよりログに特化してていいかもえ、契約が年間契約？？・結局ログ量が多くなると高くね？

25 Copyright © 2019 QUICK Corp. All Rights Reserved. Amazon
ES + Kibana ・良さそうだけど、一からお勉強するの大変そうかな・サイジングではまってる人も見かけるしな・何か構築はそれなりに気合いがいりそうだな、どうしようかな・・・

26 Copyright © 2019 QUICK Corp. All Rights Reserved. Athena＋QuickSight
・何かAWS最近この構成推してるな・ログ監視もとりあえずFluentdの filterでなんとか出来そうだしお気軽に出来そうなので一旦これでやってみようかな

29 Copyright © 2019 QUICK Corp. All Rights Reserved. 設計のポイント
・ログ分析用のアカウントを分離いろんな人がAthena、Quicksightを使うので、本番サービス用と分離した。

30 Copyright © 2019 QUICK Corp. All Rights Reserved. ・Fluentd
Aggregatorを設置 Aggregatorはボトルネックや障害ポイントになるので、WEBサーバ側でフィルターやパース処理させて直接Firehoseに送信したかったが、 WindowsでのFluentd事例が少なく、ナレッジがないので、WEBサーバ側で複雑な処理はあきらめてAggregatorへのログ送信に専念させた。 WEBサーバCPU使用率40％時にFluentdはだいたい1～2％を消費。

31 Copyright © 2019 QUICK Corp. All Rights Reserved. ・Aggregatorでログ監視
あるフィールド（TimeTaken）の値をFluentdの filterを使って正規表現で引っかけて、ローカルログに出力。そのログファイルをZabbixエージェントがログ監視しZabbixアラーム通知。

32 Copyright © 2019 QUICK Corp. All Rights Reserved. Aggregator
td-agent.conf例（パース処理） IISのアクセスログをパース処理 <filter prod.iis.log> @type parser key_name message <parse> @type regexp keep_time_key true time_key time time_format %Y-%m-%d %H:%M:%S expression /^(?<time>[^ ]* [^ ]*) (?<ssitename>[^ ]*) (?<scomputername>[^ ]*) (?<sip>[^ ]*) (?<csmethod>[^ ]*) (?<csuristem>[^ ]*) (?<csuriquery>[^ ]*) (?<sport>[0-9]*) (?<csusername>[^ ]*) (?<cip>[^ ]*) (?<csversion>[^ ]*) (?<csua>[^ ]*) (?<cscokie>[^ ]*) (?<csreferer>[^ ]*) (?<cshost>[^ ]*) (?<scstatus>[^ ]*) (?<scsubstatus>[^ ]*) (?<scwin32status>[^ ]*) (?<scbytes>[^ ]*) (?<csbytes>[^ ]*) (?<timetaken>[^ ]*) (?<xfowardedfor>[^ ]*)$$/ </parse> </filter>

td-agent.conf例（ヘルスチェックログ除外） # ヘルスチェックログを除外 <filter prod.iis.log> @type grep exclude1 csuristem ^(?=.*healthchk).*$ </filter>

td-agent.conf例（特定URLに関してTimeTaken値3000以上） # 条件フィルタ設定 <filter prod.iis.log> @type grep regexp1 csuristem ^/xxxx/xxxx/xxxx.asp$|^/xxxx/xxxx/xxxx.asp$|^/xxxx/xxxx/xxxx.asp$|^/xxxx/xxxx/xxxx.asp$|^/xxxx/xxxx/xxxx.asp$ </filter> # TimeTaken監視設定 <filter prod.iis.log> @type grep exclude1 timetaken ^0 </filter> <filter prod.iis.log> @type grep exclude1 timetaken ^[0-9]$ </filter> <filter prod.iis.log> @type grep exclude1 timetaken ^[0-9][0-9]$ </filter> <filter prod.iis.log> @type grep exclude1 timetaken ^[0-9][0-9][0-9]$ </filter> <filter prod.iis.log> @type grep exclude1 timetaken ^[1-2][0-9][0-9][0-9]$ </filter>

td-agent.conf例（ログファイル名固定） # ファイル出力 <store> @type file buffer_path /var/log/td-agent/buffer/prod.timetaken.log.buf symlink_path /var/log/td-agent/logs_current/prod.timetaken.log path /var/log/td-agent/logs/prod.timetaken.log </store> /var/log/td-agent/logs_current/prod.timetaken.logを zabbixでログ監視

td-agent.conf例（別アカウントのFirehose出力） <store> @type kinesis_firehose region ap-northeast-1 delivery_stream_name xxxxxxxxxxxxxxxxxx endpoint https://xxxxxxxxxxxx.firehose.ap-northeast-1.vpce.amazonaws.com <assume_role_credentials> role_arn arn:aws:iam::xxxxxxxxxx:role/xxxxxxxxxxxxxxxxxxxxxx role_session_name xxxxxxxxx external_id xxxxxxxxxxx sts_http_proxy http://xxxxxxxxxxxxxxxxxxx </assume_role_credentials> </store>

39 Copyright © 2019 QUICK Corp. All Rights Reserved. CloudwatchでLambdaを定時起動(ALTER
TABLE) from datetime import datetime import boto3 import os def lambda_handler(event, context): dt = datetime.now().strftime("%Y-%m-%d") hour = datetime.now().strftime("%H") s3bucket = os.environ['s3bucket'] s3key = os.environ['s3key'] gluedb = os.environ['gluedb'] gluetable = os.environ['gluetable'] athena = boto3.client('athena') sql = "ALTER TABLE " + gluetable + " ADD IF NOT EXISTS PARTITION (dt='" + dt + "',hour='" + hour + "') location 's3://xxxxxx/firehose/IIS_logs_2/dt=" + dt + "/hour=" + hour + "'" print('sql:' + sql) athena.start_query_execution( QueryString= sql , QueryExecutionContext={ 'Database': gluedb }, ResultConfiguration={ 'OutputLocation': 's3://' + s3bucket + '/athena-output' } )

43 Copyright © 2019 QUICK Corp. All Rights Reserved. ・複雑なログ監視要件への対応
背景）インターネット経由の株価データ提供など、顧客とのシステム外部接続案件が多く、トラブルが多いので細かい監視が必要現在）顧客Aのこの文字列が含まれるURLにて Timetaken値が3000以上の場合にSlack通知今後）今まで出来なかった監視が出来るといろいろ追加で要件が来ている。・何分間の間にxx件検知したら通知・Timetaken値3000～5000、5000～10000、 10000以上でSlack通知を分けたいなど

46 Copyright © 2019 QUICK Corp. All Rights Reserved. ・Amazon
Elasticsearch Service検証・導入複雑なログ監視要件に頭を抱えていたところ、リクルートテクノロジーズ日比野さんが「もうこの要件はESっしょ！」と。 Messangerでのやり取りが続く・・「Logstash、Filebeat軽そうで良さそうなんだけど、Windowsでさくさく動く？」「 Logstash、Filebeat から直接ESに送って Aggregatorみたいな中間サーバなくせない？」

2020/01/31 ログ勉強会 「WindowsのWEBサーバログをリアルタイム監視・可視化...

2020/01/31 ログ勉強会 「WindowsのWEBサーバログをリアルタイム監視・可視化してみた」

More Decks by JunjiKoide

Other Decks in Technology

Featured

Transcript

2020/01/31 ログ勉強会「WindowsのWEBサーバログをリアルタイム監視・可視化...

2020/01/31 ログ勉強会「WindowsのWEBサーバログをリアルタイム監視・可視化してみた」