JAWS-UG京王線 #2 「CloudTrailとの賢い付き合い方」

JAWS-UG京王線 #2 セッション資料です。

Transcript

1. CloudTrailとの 賢い付き合い方 Tatsuro Handa
2. 自己紹介 • 半田 達郎（はんだ たつろう） • サポートエンジニア • 好きなAWSサービス: CloudSearch •Twitter: @t2hnd ※本資料は個人的な意見に基づくものであり、所属企業とは関係ありません。
3. 突然ですが… こんなとき、どうしますか？ •気がついたら RDS インスタンスがなくなっている •知らぬ間にセキュリティグループの設定が変わった •スクリプト中の AWS CLI コマンドがエラー
4. CloudTrailの出番です！
5. CloudTrailとは •AWSアカウントで起きたイベントを記録する サービス •記録されるイベント •ほとんどの(*)AWSサービスのAPI コール •コンソールログインなどその他の操作
6. CloudTrailとは •ログファイルは S3 バケットに配信される • API 実行後15分以内に記録 •約 5 分ごとにログファイルを送信 •JSON形式でログを記録
7. ※対応サービス(2015/5/30 時点)
8. 気がついたら RDS インスタンスがなくなっている 実行ユーザ 実行環境 実行日時(UTC) イベント名 RDS インスタンス名
9. 知らぬ間にセキュリティグループの設定が変わった 実行ユーザ等 リクエスト レスポンス
10. スクリプト中の AWS CLI コマンドがエラー エラー情報 実行環境 実行日時
11. CloudTrailを有効にしておけば • 気がついたら RDS インスタンスがなくなっている • 知らぬ間にセキュリティグループの設定が変わった • スクリプト中の AWS CLI コマンドがエラー 後から追跡が可能に!!
12. ON!
13. めでたし めでたし？
14. ＿人人人人人人人人人人人人人人人人人人＿ ＞ 約 5 分ごとにログファイルを送信！ ＜ ￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y￣
15. ＿人人人人人人人人人人人人人＿ ＞ JSON形式でログを記録！ ＜ ￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y￣
16. •ログは残っていても、必要なものを見つけ 出すのが難しい •いざというときのために、すぐに調べられ るツールを用意しよう
17. CloudTrail ログの検索に使えるツール •標準提供されるツールを使う •CloudTrail look up •検索エンジンを活用する •CloudSearch •Elasticsearch + Kibana
18. CloudTrail look up
19. CloudTrail look up •いいところ • 標準で使える • Attribute（Event名、User名、Resource名など）から検索できる • Time rangeで絞り込める •いまいちなところ • 直近1週間以内のデータしか検索できない • 検索できる項目が限られる
20. 検索エンジンを活用する •CloudSearch •AWS のフルマネージド検索エンジン •スキーマを定義すればすぐに使える •Elasticsearch •オープンソースの検索エンジン •分析プラグインの kibana が便利！ 検索エンジンを使う場合、 データロードの方法を考える必要がある
21. Lambda を利用する •Lambda とは •イベントをトリガーとしてプログラムを実行するサー ビス •S3 からのイベント通知をトリガーとして設定できる •CloudTrailログファイルが配信されたらプログラムを動 かす •Lambdaで検索エンジンにログをロードする
22. Lambda ＋ CloudSearch 1. CloudTrail がログファイルを put する 2. S3 からファイル put 通知 3. 通知を受けて Lambda function が起動 4. ログファイルを展開してCloudSearchに投入 ① ② ③ ④
23. Lambda + Elasticsearch + Kibana 1. CloudTrail がログファイルを put する 2. S3 からファイル put 通知 3. 通知を受けて Lambda function が起動 4. ログファイルを展開してElasticsearchに投入 5. Kibanaを使ってログファイルの検索・集計 ① ② ③ ④ ⑤
24. を使う •embulk とは •TreasureData 社の提供しているオープンソースのバルク データ ローダ •プラグインでインプットとアウトプットを拡張できる • S3インプット、Elasticsearch アウトプットにも対応済み
25. + Elasticsearch + Kibana • CloudTrail バケット配下の S3 プリフィックスを指定し、 まとめて Elasticsearch にログをロード • 必要な時に必要な期間のログだけ読み込ませて調査で きる
26. まとめ •まずは CloudTrail を ON に！ • いざというときのために、普段からログを調 査するツールを用意しよう
27. 参考 • Lambdaを使って、CloudTrailログをCloudSearchに入れて検索する http://c9katayama.hatenablog.com/entry/20141124/1416789876 • AWS - Lambdaを使ってCloudtrailログをElasticsearchに投下する http://qiita.com/handa/items/2839e5b3ad008ff6d06f • EmbulkでCloudtrailログをelasticsearchに放り込む http://qiita.com/handa/items/6ba0bc0678b0be95a1be
28. ありがとうございました