CPUクレジット使われた話

Transcript

1. CPUの クレジット使われた話
2. とある日のダッシュボード
3. とある日のダッシュボード 平均CPU使用率が24.2%で t3.smallのベースライン（20%）を常時超過
4. 前日にメンテナンスやったかな？ まず考えたこと やってない
5. 単純にアクセス数が増加して CPU負荷が上がっている？ 次に考えたこと ダッシュボード確認する
6. CloudWatchダッシュボード 16日を境にアクセス数が1.5倍になっている
7. 誰が？ WAFログを調査すると「216.73.216.179」から 大量アクセス（7万アクセス/日）がきていることが判明
8. WAFでブロックされないのか？ ①Countモードにしておりブロックしない設定となっている ②SignalNonBrowserUserAgentをブロックしたときの 　正当なリクエストへの影響が不明である
9. 対処法 robot.txtでクローラーに対して パスへのアクセスを制御する ◆robots.txt ルートディレクトリに置くテキストファイル どのパスにアクセスしてよいか・してはいけないか を伝える あくまでも「お願いベース」の仕組みであり、 悪意のあるクローラーは無視するため強制力はない
10. # 全クローラーに /page/ へのアクセスを禁止 User-agent: * Disallow: /page/ # 特定クローラーのみ禁止 User-agent: meta-webindexer Disallow: /page/ # クロール間隔を指定 User-agent: Claude-SearchBot Disallow: /page/ Crawl-delay: 1 /fsx/document_root/robots.txt
11. 効果
12. 本日学んだこと T系インスタンスは、CPUクレジットを監視しよう 大量アクセスをしてくるクローラーにはrobot.txtで制御しよう