Amazon CloudFrontにおけるAIボットアクセス制御のポイント

Amazon CloudFrontにおける AIボットアクセス制御のポイント【 NW-JAWS #21 ～改めて振り返るCloudFrontとELB(LV200) ～】
2026年5月26日 Tomotaka Kizawa ( kizawa2020 )

▪ 名前：木澤朋隆（きざわともたか) 所属：某システムインテグレーター
主な表彰： AWS Ambassador (2021～) Japan AWS Top Engineer (2022～) Japan All AWS Certifications Engineer (2022～) AWS Community Builder (2023～) 自己紹介 Page.2 第4740号 Network & Content Delivery カテゴリ

▪ 私が初めてAWSに携わった2013年の某新聞社サイト構築案件で利用した経緯もあり、 Amazon CloudFrontは現在でも非常に思い入れのあるサービスです。 Page.3 Amazon CloudFrontは好きなサービス https://aws.amazon.com/jp/blogs/psa/aws-ambassadors-2025/

▪ Page.4 そんな経緯から、Amazon CloudFrontに関するブログ記事を多く発信しています。私が発信したCloudFrontに関するブログ記事 https://blog.usize-tech.com/tag/cloudfront/

Page.5 AIボットのアクセス急増

▪ Web管理者においては、以前からボットによるアクセス急増が悩みの種特に最近はAIボットのアクセスが急増している Webサイト管理者を悩ませるボットアクセス Page.6 なかには「お行儀の悪い」ボットもあり、 WAFが一般的でなかった頃は制御が困難でした。 The 2026 State
of AI Traffic & Cyberthreat Benchmark Report https://www.humansecurity.com/learn/resources/2026-state-of-ai-traffic-cyberthreat-benchmarks/ 【2025年トラフィック分析】 AIカテゴリのボットトラフィック 3.6倍 ① トレーニング 67.5% +136% ② 要約型クローラー 31.9% +597% ③ エージェント ---- +７８５１％

▪ AIボットによるアクセス急増の実態 Page.7 私の管理する某サイトでの計測例（2025年夏頃）全アクセスの64%が Claude/GPT によるもの CloudFrontのキャッシュをすり抜け、動的ページへのアクセスが急増し、レスポンスが劣化。バーストパフォーマンス(t系)インスタンスを採用したWeb/AP EC2にてクレジットが枯渇、
CPU余剰クレジット(CPUSurplusCredit)にて課金が発生。

▪ ボットの種類 Page.8 ボットはなんでも遮断すれば良いという訳ではない

▪ AIボットの種類 Page.9 モデル学習型クローラー（AIモデルの教育用） AIに知識を仕込むため、Web上の膨大なテキストやデータを「事前の学習素材」として回収していくボット。ここにデータを読ませると、将来のAIモデルの回答精度が上がりますが、サイトのアクセス数（トラフィック）には還元されにくい。例) GPTBot (OpenAI)、ClaudeBot (Anthropic)など
リアルタイム検索・要約型クローラー（AI検索エンジン用）ユーザーがAIチャットやAI検索エンジンに「今のニュースは？」「おすすめの製品は？」と質問した際、その場で最新情報を Webから検索・要約してユーザーに提示するために動くボットです。ユーザーの質問（プロンプト）に応じてリアルタイムに動き、回答内にサイトへのリンクが掲載されるため、新しい流入源（トラフィック）として注目されています。例) OAI-SearchBot (OpenAI)、PerplexityBot (Perplexity)などエージェントAI 自動化を自ら実行するAIシステム。ページのナビゲート、フォーム入力や製品を比較などを行う。エージェント型ブラウザ（ChatGPT AtlasやPerplexity Comet等）や、汎用AIエージェント（ChatGPT AgentやOpenClaw）の方式がある。

Page.10 AIボットのアクセス制御

▪ ボットアクセス制御の概要 Page.11 AWSブログの記事内容を参考に、私が対応した実践内容も加えてお話しします。説明の流れまずは状況を知る制御する緩和する https://aws.amazon.com/jp/blogs/news/how-to-manage-ai-bots-with-aws-waf-and-enhance-security/

▪ 1-1. まずは「状況を知る」～WAFルールの適用～ Page.12 まずは Amazon CloudFrontにAWS WAFをアタッチし AWSマネージドルールグループの「AWS-AWSManagedRulesBotControlRuleSet」を
適用する。(50WCU , $10/月)

▪ 1-2. まずは「状況を知る」～AIトラフィック分析～ Page.13 しばらくすると、AIトラフィック分析の画面に分析結果が表示される

▪ 2-1. 制御する～robots.txtによる制御～ Page.14 robots.txt に、ボット毎のアクセスポリシーを定義する。と書けば遮断。「お行儀の良い」ボットは制御できる。 User-agent:
* Allow: / User-agent: ClaudeBot Disallow: /page/ User-agent: Claude-SearchBot Disallow: /contents/ User-agent: Googlebot Disallow: /contents/ 例 Disallow: /

▪ 2-2. 制御する～AWS WAFでの制御～ Page.15 マネージドルールにて付与されるラベルを用いて、後続のカスタムルールでルール設定が可能検証済ボットのアクセスには「awswaf:managed:aws:bot-control:bot:verified」が付与される。判定ロジックの例
検証済ラベルが付与されたボットアクセスのみ明示的に許可未検証のボットをBlockもしくはChallenge 特定ボットに限り動作を変更することも可能選択できるアクション Block ：直ちに遮断 Challenge ：ブラウザ側に計算処理をさせてコスト増大させる CAPTCHA ：パズルを解かせる AIトラフィック分析の画面からも設定可能

▪ 3-1. 緩和する～キャッシュポリシーの見直し～ Page.16 AIクローラーは最新のコンテンツ（リアルタイムのデータ）を学習・取得しようとするため、オリジンサーバーに直接最新のデータを生成させるようクエリ文字列にランダムな文字列やタイムスタンプを意図的につけることがある。そのため、キャッシュポリシーの見直しが必至（アプリ動作影響の検証が必要）

▪ 3-2. 緩和する～クロールタイミングの制御～ Page.17 robots.txt で、Crawl-Delayパラメータを指定することでクローラーがアクセスする頻度を制御できる User-agent: *
Allow: / User-agent: ClaudeBot Crawl-delay: 10 User-agent: Claude-SearchBot Crawl-delay: 10 例

▪ 3-3. 緩和する～大量アクセスに対する緊急措置～ Page.18 AWS WAF設定にて、特定のIPアドレス、かつ特定のユーザーエージェントから大量アクセスがあった際に遮断する設定例の記載あり。 https://docs.aws.amazon.com/ja_jp/waf/latest/developerguide/waf-rate-based-example-limit-login-page-keys.html

Page.19 まとめ / おまけ

▪ まとめ Page.20 AIボットアクセスの可視化・制御・緩和という観点で実践内容をお話ししました。
皆様のお役に立てば幸いです。ボットアクセスの制御は「いたちごっこ」どんどん新種のボットが登場します。日頃の運用が大事です。将来的には・・・ CloudFront/ALB(オリジン) のログから分析してWAF設定に反映する自動化を検討したいなと・・・

▪ 【PR】 AWS Summit Japan 2026出展します Page.21 6/25(木)～26(金) AWS Summit
Japan 2026が幕張メッセで開催されます。私は今年も自社ブースにいますので、見かけたらお気軽にお声がけください。 https://blog.usize-tech.com/aws-summit-2026/

Amazon CloudFrontにおけるAIボットアクセス制御のポイント

Amazon CloudFrontにおけるAIボットアクセス制御のポイント

t.kizawa

More Decks by t.kizawa

Other Decks in Technology

Featured

Transcript