【ClickHouseMeetup】ClickHouseを活用したセキュリティログ解析AIエージェント『LogEater』とは

ClickHouse Meetup AI Night 2025/06

Transcript

1. Hisashi Hibino/日比野 恒 ログスペクト株式会社 ClickHouse を活用したセキュリティログ解析 AI エージェント『LogEater』とは
2. 本日のテーマ ClickHouse MCP Server を使ったサービス開発の中で 遭遇した技術的なハードルとその向き合い方についてお話します ×
3. 日比野 恒 - Hisashi Hibino ログスペクト株式会社 Security Architect CISSP, CCSP, CySA+, CISA, PMP, 情報処理安全確保支援士（000999） [書籍] ➢ Elastic Stack 実践ガイド [Logstash/Beats 編]（インプレス刊） ➢ AWS 継続的セキュリティ実践ガイド （翔泳社刊） [略歴] ⚫ 2018 年まで 10 年間 フューチャーアーキテクト株式会社に在籍 ⚫ 2019 年より株式会社リクルートのセキュリティ組織に所属 ログ基盤やクラウドセキュリティに関するプロジェクトを推進 ⚫ 2024 年にログスペクト株式会社を設立し、現在に至る 自己紹介
4. MISSION 誰でもログから価値を得られる世界の実現 （ログの民主化） 2024 年 2 月 14 日 設立 100 万円 資本金 IT コンサルティング、ログ活用支援など 事業内容 東京都渋谷区道玄坂1-10-8 渋谷道玄坂東急ビル2F-C 所在地 ログススペクト株式会社 社名 会社概要
5. 3 2 LogEater とは 1 Contents 開発における課題 総括
6. LogEater とは 01
7. LogEater とは ログを取り込むことで成長するセキュリティログ解析 AI エージェントです S3 バケット （エサ箱） システム A システム B 成長 ログ取り込み （食事） 利用者 相談 （飼育） ✓ 日本語チャットで相談するとログ（ファクト）に基づいて答えを提示してくれます ✓ 4 つの要素で LogEater は成長し、より多くの相談に答えてくるようになります 1. 食べたログの量 2. 食べたログの種類 3. 相談した内容 4. 相談した回数 3. 総括 2. 開発 におけ る課題 1. LogEater とは
8. サービスアーキテクチャ 調査 依頼 利用者 データウェアハウス オブジェクト ストレージ ログモニタリング CloudTrail VPC Flow Logs CloudFront 標準ログ AWS WAF ログ etc... Cloud Audit Log CloudSQL クエリログ アプリケーションログ Cloud Armor ログ etc... EntraID 監査ログ VM イベントログ NSG フローログ Azure Activity Log etc... AWS Google Cloud Azure LogEater Chat UI （AI Agent） オンプレ/SaaS ファイアウォールログ PC 操作ログ プロキシ/SWG ログ SaaS 監査ログ etc... S3 GCS Blob Storage データストア （ClickHouse Cloud） BigQuery Snowflake CloudWatch Logs CloudLogging Log Analytics IoC お客様環境 解析 結果 MCP Connector LLM 閉域接続 ログ取り込み 脅威 情報イ ンポー ト ログ 検索 ログ 検索 （オ プショ ン） ログ 検索 （オ プショ ン） 回答 問い 合わせ コン テキス ト取得 LogEater は AWS 東京リージョンで稼働しています。 ログ 検索 （オ プショ ン） AWS 東京リージョンの S3 バケットに ログを配置すると日次バッチでログを取 り込みます。 Internet 3. 総括 2. 開発 におけ る課題 1. LogEater とは
9. サービスの特徴 誰でも簡単にログから価値を引き出せるようにするための機能を提供します クエリ言語不要 BI ツール不要 大量ログ解析が容易 もうクエリ言語（SPL や SQL など） の習得に悩む必要はありません。 LogEater は日本語での雑な依頼や相 談で誰でもログから価値を得られます。 BI ツールを導入しても意思決定者への 報告を Excel で加工し尽くしたデータ を用いて PowerPoint でプレゼンテー ションしていませんか？その作業は LogEaster にお願いしましょう。 LogEater は高圧縮技術を採用したデー タストアにログを取り込むため、ログ保 管コストを大幅削減します。またスケー リング技術により、解析に必要なリソー スをオンデマンドに割り当てます。 3. 総括 2. 開発 におけ る課題 1. LogEater とは
10. LogEater で解決できる課題 LogEater を活用することで多くの課題解決のお手伝いができます 01 02 03 04 経験者の採用を前提にしません 少子高齢化が進むと人の採用自体が難しくなるこ とが予想されます。知識のある人を業務にアサイ ンできないことを前提にしたツールになります。 人の成長に合わせて進化します 経験や知識のない人に高機能なツールだけを提供 してもツールは使いこなせません。人に合わせて 必要最低限の優先的な機能のみを提供し、人の成 長に合わせて Log Eater も成長します。 ログ基盤の運用コストを削減します LogEater は SaaS のため、ログ基盤の運用体 制は不要です。また ClickHouse Cloud を採用 しており、ログ保管コストを極限まで抑えます。 クエリ言語の学習は不要です もうクエリを書けなくても大丈夫です。 LogEater には日本語でやりたいことを伝えるだ けで必要な情報を提供してくれます。ログ解析に 必要な情報をチャット応答してくれます。 3. 総括 2. 開発 におけ る課題 1. LogEater とは
11. 圧倒的なコストメリットを実現 LogEater のデータストアには ClickHouse Cloud を採用しています x2 クエリ性能 クエリコスト ストレージ最適化 ClickHouse の列指向で高圧縮なスト レージ技術と高度なパーティショニン グにより S3 保管しているログに対す る Amazon Athena でのクエリと比 較し、約 2 倍のクエリ応答速度を実現。 デフォルトのログファイル形式で出力 された AWS VPC Flow Logs に対し て、Amazon Athena でクエリした 場合と比較し、約 11 分の 1 のクエリ コストという圧倒な結果を得ています。 ClickHouse の高効率なストレージ圧縮 技術（zstandard）の採用により、ログ 容量が大きくなればなるほど、ストレー ジ容量の圧縮が効くため、低コストな サービスが提供可能。 1/11 60％ 3. 総括 2. 開発 におけ る課題 1. LogEater とは
12. 概要 金融庁/警察庁より「他組織で発生したインシデントにおいて、サイバー攻 撃に利用された IP アドレスやドメイン名と同様の痕跡がないか」を調査す るよう突発的な調査依頼があります。 監査ログと WAF ログは SIEM に取り込んでいるため、比較的容易に調査 できますが、通信ログは容量が膨大になりがちなため、SIEM には取り込 めず、フォレンジック調査に苦労していました。 期待する効果 これまではシステム部のアナリストが調査用 SQL 文を作成してクエリを 実施していましたが、LogEater の導入により、ビジネス部門の担当者が 直接日本語ですぐに調査できるようになりました。またクエリにかかった コストは 10 分の 1 以下と大幅なコスト削減を実現しました。 ユースケース 1 金融機関におけるフォレンジック調査 CloudTrail AWS WAF Flow logs S3 Bucket Athena OpenSearch Service （SIEM） セキュリティ アナリスト ログ収集 クエリ 調査 ビジネス部門 担当者 LogEater ログ取り込み 調査 【Before】 【After】 依頼 回答 ログ取り込み 3. 総括 2. 開発 におけ る課題 1. LogEater とは
13. 概要 従業員による不正な情報持ち出しについて、退職意思を示してから最終出 社日までの間が最も漏洩リスクが高まるため、PC 操作ログ、SASE（プ ロキシログなど）、Slack/M365 などのメールやチャットの監査ログを 使ったチェック対応を監査部門で実施します。 しかし、ログは SOC チームで管理している SIEM の中に格納されている ため、監査部門ではログを気軽にチェックすることができません。 期待する効果 LogEater の導入により、監査部門の担当者が直接日本語ですぐに調査で きるようになったことで、最終出社日の当日でも不正者の操作を検出でき るようになり、持ち出しを未然に防止できるようになりました。 ユースケース 2 内部不正対策としての退職者モニタリング PC 操作ログ SASE 通信ログ SaaS 監査ログ （Slack/M365） S3 Bucket セキュリティ アナリスト ログ収集 調査 監査部門 担当者 ログ取り込み 調査 【Before】 【After】 依頼 回答 SIEM LogEater 3. 総括 2. 開発 におけ る課題 1. LogEater とは
14. 開発における課題 02
15. Amazon Bedrock における課題 # モデル名 クロスリージョン 推論対応 1 Claude Sonnet 4 • 2 Claude 3.7 Sonnet • 3 Claude 3.5 Sonnet v2 • 4 Claude 3.5 Sonnet × 5 Claude 3 Sonnet • 6 Claude 3 Haiku × 7 Claude 2.1 × 8 Claude Instant × モダリティ テキスト、ビジョン テキスト、ビジョン テキスト、ビジョン テキスト、ビジョン テキスト、ビジョン テキスト、ビジョン テキスト テキスト リクエスト数/分 トークン数/分 200 200,000 6 20,000 2 16,000 （※）1 （※）4,000 （※）2 （※）4,000 （※） 20 （※） 4,000 - - （※） 400 （※） 300,000 サービスクォータ 拡張思考 • • • × × × × × 東京リージョンで利用できる Anthropic のLLM モデル ※ On-demand InvokeModel のクォータ値になります。 1. クロスリージョン推論対応しているモデルは日本国内の通信に制限ができない 2. 東京リージョンのサービスクォータが厳しすぎる（挨拶で終わる） 3. サービスクォータの緩和申請に時間がかかりすぎる（最低でも数週間はかかる） 3. 総括 2. 開発 におけ る課題 1. LogEater とは
16. 参考: List Tables で消費するトークン数 8 つのテーブルのスキーマ定義をコンテキストとして LLM に食わせただけで 8,920 Token を消費した CloudWatch Logs のログ抜粋 プロンプトの内容 3. 総括 2. 開発 におけ る課題 1. LogEater とは
17. JSON 型における課題 調査依頼 利用者 Chat UI 解析結果 MCP Server LLM 回答 問い合わせ コンテキスト取得 ログ （JSON） ClickHouse Cloud SaaS 監査ログ取得 ClickHouse の JSON 型で格納されたデータは、そのカラムが JSON 型であることしか分からず オブジェクトのフィールド構造を取得することができないため、API 経由で取得する JSON 型のログデータは MCP Server 経由でのログ解析に利用できない 【改善要望】 ・JSON 型のカラムの中身からオブジェクトのスキーマ情報を読み取りできるように機能追加してほしい 3. 総括 2. 開発 におけ る課題 1. LogEater とは
18. 参考: JSON 型のテーブルのスキーマ定義 { "database": "default", "name": "cloudtrail_poc_unnest", "comment": "", "columns": [ { "name": "Records", "type": "JSON", "default_type": "", "default_expression": "", "comment": "", "codec_expression": "", "ttl_expression": "" } ], "create_table_query": "CREATE TABLE default.cloudtrail_poc_unnest¥¥n(¥¥n `Records` JSON¥¥n)¥¥nENGINE = SharedMergeTree(¥¥'/clickhouse/tables/{uuid}/{shard}¥¥', ¥¥'{replica}¥¥')¥¥nORDER BY tuple()¥¥nSETTINGS index_granularity = 8192", "row_count": 12888926, "column_count": 1 } JSON 型のカラム List Tables の中身 これぐらい しかわからない JSON 型の場合、テーブルのカラム名と格納されているレコード数ぐらいしか分からない 3. 総括 2. 開発 におけ る課題 1. LogEater とは
19. 認可制御における課題 AI エージェントを利用しているユーザーの権限でしかコンテキストを参照できないように 厳格な認可制御を実装する必要があるため、コンテキストに利用するデータの持ち方にも考慮が必要になる MCP Server 1 MCP Server 2 User 1 User 2 User 3 User 4 Group A Group B Group C Tenant A Role A Role B Role C Data Source 1 Data Source 2 Column 1 Column 2 Column 3 Table 1 Credential A Credential B AI Agent Profile A Profile B Profile C Credential A Credential C 3. 総括 2. 開発 におけ る課題 1. LogEater とは
20. 総括 03
21. 本日のまとめ ✓ Amazon Bedrock に関する課題 ✓ 東京リージョンの VPC 内に限定した通信が求められると選択肢は Claude 3.5 Sonnet V1 となる ✓ しかし、東京リージョンにおける Bedrock のサービスクォータの制約が厳しすぎる ✓ 緩和申請には数週間以上かかるため、先に米国バージニア北部などのリージョンで検証しておく ✓ リクエスト数とトークン数の確認は CloudWatch（Metrics と Logs）で実施する ✓ JSON 型に関する課題 ✓ JSON 型のカラムにオブジェクトデータを格納してもコンテキストとして利用できない ✓ 現状では、前処理で JSON を ETL でフィールド抽出処理してテーブルに格納する必要がある ✓ JSON 型に格納したオブジェクトのフィールド構造をメタデータとして参照できるようにしてほしい ✓ 認可制御に関する課題 ✓ AI エージェントごとではなく、AI エージェントを利用しているユーザーごとに認可制御が必要となる ✓ クエリ文は LLM が生成するため、WHERE 句などの条件文での制御は不確実性が高く実装できない ✓ AI エージェントを利用するユーザーごとに ClickHouse のクレデンシャルを発行し、MCP Server の認 証情報に対して動的にマッピングする ✓ 列や行レベルの参照制御が必要な場合、ビューを作成しての参照制御となると管理が難しそう ✓ Guardrails for Amazon Bedrock によるコンテンツフィルタリングも組み合わせて制御する 3. 総括 2. 開発 におけ る課題 1. LogEater とは
22. ご清聴ありがとうございました