Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Webサービス事業会社におけるEDRの検討と導入の事例 /falconday201812
Search
Masayoshi Mizutani
December 11, 2018
Technology
3
2.3k
Webサービス事業会社におけるEDRの検討と導入の事例 /falconday201812
Masayoshi Mizutani
December 11, 2018
Tweet
Share
More Decks by Masayoshi Mizutani
See All by Masayoshi Mizutani
汎用ポリシー言語Rego + OPAと認可・検証事例の紹介 / Introduction Rego & OPA for authorization and validation
mizutani
1
410
Ubieにおけるセキュリティ課題管理の自動化 / ubie-sec-issue-automation
mizutani
0
740
Trivy + Regoを用いたパッケージ脆弱性管理 /trivy-rego
mizutani
7
4.2k
リモートワークを支える 社内セキュリティ基盤の構築と運用 /secueiry-for-wfh
mizutani
0
660
SOARによるセキュリティ監視業務の効率化とSecOps /soar-and-secops
mizutani
1
1k
Amazon Athena を使った セキュリティログ検索基盤の構築 /seclog-athena
mizutani
5
2.7k
Webサービス事業会社におけるEDRの検討と導入の事例 /falcon2019
mizutani
1
690
AWS re:Inforce recap 2019
mizutani
1
4.2k
スケーラブルなセキュリティ監視基盤の作り方 /techconf2019-mizutani
mizutani
3
3.1k
Other Decks in Technology
See All in Technology
【Λ(らむだ)最近のアプデ情報 / RPALT20240904
lambda
0
160
Envoy External AuthZとgRPC Extensionを利用した「頑張らない」Microservices認証認可基盤
andoshin11
0
140
標準最高!標準はださくないぞ! at fukuoka.ts #1
yoiwamoto
0
150
中規模・ミドルTier開発組織におけるDevRelの戦略と実行と成果 - DevRel Guild Conference Mini -
leveragestech
2
260
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
0
3.1k
標準ライブラリの奥深アップデートを掘り下げよう!
logica0419
2
390
waitany と waitall を作った話
mrkn
0
110
分野に潜むツールの紹介
pojiro
1
330
Estrategias de escalabilidade para projetos web
jessilyneh
1
150
リクルートのデータマネジメント組織に 求められてきたコト
recruitengineers
PRO
4
340
Evolving DevOps Teams and Flexible Organizational Culture
kakehashi
1
130
Dive Deep in Cloud Run: Automatic Base Image update
aoto
PRO
0
900
Featured
See All Featured
Stop Working from a Prison Cell
hatefulcrawdad
266
20k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
Docker and Python
trallard
39
3k
Writing Fast Ruby
sferik
623
60k
[RailsConf 2023] Rails as a piece of cake
palkan
44
4.6k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
354
29k
Become a Pro
speakerdeck
PRO
22
4.8k
BBQ
matthewcrist
83
9.1k
Designing on Purpose - Digital PM Summit 2013
jponch
113
6.8k
Build your cross-platform service in a week with App Engine
jlugia
228
18k
The Language of Interfaces
destraynor
153
23k
No one is an island. Learnings from fostering a developers community.
thoeni
18
2.9k
Transcript
Webサービス事業会社における EDRの検討と導入の事例 クックパッド株式会社 三戸健一、水谷正慶 1
本日のトピック 1. EDR導入のきっかけ 2. PoCの評価項目と評価結果 3. CrowdStrike Falconの導入 4. CrowdStrike
Falconの運用 5. 今後の展望&製品への期待 2
自己紹介 三戸健一 • 2014年6月入社 • サービスの脆弱性診断やISMS審 査の対応などを担当 • 元は社内IT部門から異動 水谷正慶
• 2017年11月入社 • 社内のセキュリティ監視の仕組み の設計と実装を担当 • 前職ではSIEM構築・SOCアナリスト ・研究開発などを経験 3 インフラストラクチャー部 セキュリティグループ
4
5 国内展開 • レシピ数 約300万品 • 月間利用者数 約5,400万人
6 海外展開 • 対応言語 23言語68カ国 • 月間利用者数 約3,800万人
EDR導入のきっかけ 7
社内環境 • MacBook (macOS): 500台 • Surface Pro 4 /
Laptop (Windows 10): 80台 • OSは原則として最新のバージョンを使用 • エンジニア・デザイナ・総合職に関わらず原則MacBookを支給 ◦ エンジニア・デザイナで全体の4割強 • WindowsはActive Directoryでアカウント管理 ◦ Azure AD Joinに移行中 • macOSはローカルユーザのみ(ディレクトリ管理していない) • 恵比寿オフィスの社内ネットワークにはPaloAltoのNGFWを導入 ◦ ブラックリスト方式で運用 8
Falcon以前の製品選定 • Falcon以前に利用していたアンチウイルスの選定基準 ◦ macOS / Windows両対応 ▪ WindowsよりもmacOSでの機能面 ▪
特に開発環境でのオーバーヘッドが低いことを重視 ◦ オンプレミスの管理サーバを必要としないこと • APIやログの保存などは重視していなかった ◦ 製品から提供されるコンソールをそのまま使用 ◦ 定期的にデータをエクスポート(csv)し、手作業で集計 9
1. 開発環境を含め、社内環境はほぼmacOSに揃えている ◦ Windowsに比べ、macOSのサポートが貧弱な製品が多い ◦ macOSのアップグレードへの対応が遅かった ▪ iOSアプリ開発などでOSのアップグレードが必要 ◦ iOS
SimulatorなどXcode関連でfalse positiveが度々発生 ▪ 複数台から突然大量のアラートが発生することもあった Falcon以前の導入製品における課題 (1/2) 10
Falcon以前の導入製品における課題 (2/2) 2. アラートに含まれる情報が不足 ◦ ファイルシステム上の活動のみ(パスやファイルハッシュ) ◦ 追跡調査できずにインシデントをクローズすることが度々 3. 通信イベントの監視を行いたい
◦ ファイルに対する監視だけでは不十分 ▪ どのような経路で該当ファイルがドロップされたのか、外部と の通信は存在したか、などの追跡を行いたい ◦ NGFWなどの通信ログと突合したい ▪ それまでは時系列で判断するしか無かった 11
PoCの評価項目と評価結果 12
評価にあたって • PoC実施前に、予め必要項目を提示 ◦ 最低限出来て欲しい機能と、これが出来ると嬉しい機能 ◦ 一覧を表にして共有 ▪ いわゆる星取り表という意図ではなく、PoCでどういった点を 見るのか、どのような機能を重視しているのかを予め整理し
て明確化するための資料 • 社内環境の説明 ◦ 前述の選定要件など • PoCは検討対象の製品それぞれで1ヶ月弱 13
14
評価項目と結果 (1/5) 1. 負荷が十分に小さい ◦ git grepやJavaプロジェクトのビルドが遅くならないこと ▪ 10秒程で終わるはずのコマンドが5分になってしまう ▪
.classファイルを監視から外すなど、微調整したことも ◦ 通信をフックして独自のローカルプロクシで監視する製品 ▪ 遅延の他に、特定条件下でHTTPパケットが壊れる ▪ エージェントが暴走して通信不能になることも 2. 開発環境におけるfalse positiveが少ない ◦ 開発の妨げになる・件数が多いと狼少年に 15 評価 評価
評価項目と結果 (2/5) • 負荷・false positiveについて ◦ エージェントを入れた端末に、実際に開発環境を一から構築 ▪ rubyビルドやライブラリの取得、iOS/Android開発環境 ▪
正常に起動するか、また起動時間が長くならないか ▪ 他の製品では環境構築自体ができないものも存在した ◦ 候補がFalconにほぼ絞られてきた時点で、社内各部署のエンジ ニアの協力を得て、実際の開発環境にも導入し検証 ▪ false positiveも含め問題は起きなかった 16 結果
評価項目と結果 (3/5) 3. イベントの検索機能 ◦ ファイルハッシュ、IPアドレス、通信先ドメイン名などをキーに横断 的に検索ができるか ▪ アラートに含まれる情報を用いて周辺イベントを調査 ▪
検索結果に対してpermanent linkを作成できると嬉しい 4. APIによるイベントの取得 ◦ コンソールで出来ることがAPIで提供されているか ▪ アラート情報もAPIで取得したい ▪ 時間あたりの回数制限にも注意が必要 17 評価 評価
評価項目と結果 (4/5) 5. ログの転送 ◦ コンソールで得られる情報がそのままログとして外部から取得で きるか ▪ httpsなど標準的な暗号通信経路で取得したい •
保存先がクラウド環境なので、syslogは厳しい ◦ ログはs3に保存して永続化 ▪ 監査にも対応できるよう年単位で保持しておきたい ◦ ログ出力のタイミング ▪ 転送可能になるまで時間がかからないものが望ましい 18 評価
評価項目と結果 (5/5) • イベントの検索・APIについて ◦ コンソールの検索機能は問題なかった ◦ APIから利用できる検索機能は希望を満たすものではなかった が、転送したログに対して自前で検索を行う方針に転換したた め、APIによる検索を必要としなくなった
• ログの転送 ◦ Falcon側のs3バケットに保存されたログを、Data replicatorを用 いることで任意のs3バケットにコピー可能(5分毎) 19 結果 結果
CrowdStrike Falconの導入 20
EDRのシステム統合における弊社の機能要件(おさらい) 1. APIでアラート(検知情報)を受け取れること ◦ 既存の弊社セキュリティ監視システムと統合する ◦ アラートの通知や対応状況の管理 2. APIからログの検索ができること ◦
Falconが検知したアラートについての調査 ◦ 他のセキュリティ監視装置が検知したアラートの調査 21
全体のアーキテクチャ概要 22
イベントログの取り込み詳細 実装 https://github.com/m-mizutani/aws-falcon-data-forwarder SQS: キュー管理サービス S3: オブジェクトストレージ Lambda: サーバレスコード実行サービス Athena:
S3からのデータ検索サービス 23
24
イベントログの取り込み設計のポイント (1/2) • Falconの S3 + SQS というログの出力方法を活用 ◦ 他製品だとsyslogで転送する形式が多かったが障害発生時のリカバリ対応が困難と
いう問題があった ◦ Falcon側のS3に一定期間ログが保存されているので転送のやり直しが容易・弊社側 で流量の調整が可能 ◦ S3に保存してから各種処理をする既存の仕組みとの相性が良かった • 弊社環境へ転送した際もまずは S3に格納する ◦ S3の可用性&スケーラビリティの高さ、価格の安さを活用 25
イベントログの取り込み設計のポイント (2/2) • 短期的なログはGraylogに格納して他のログも含めた横断的検索を実現 ◦ ログ種別に応じて1週間〜1ヶ月程度 ◦ 高速でinteractiveな横断的ログ検索が可能 ▪ 例)C&CサーバのIPアドレスでログ抽出し通信が発生していたかなど確認
▪ 例)アラートに関連したユーザ名でログ抽出しアラート前後の行動を把握 • Athenaで長期保存されているログの検索 ◦ GraylogはDB(ストレージ)が高価なので長期的な検索はS3を利用 ◦ 監査的な利用およびインシデント発生時の追跡用 26
検知情報(アラート)の取り込み詳細 実装 https://github.com/m-mizutani/AlertResponder 27
検知情報(アラート)の取り込み設計ポイント • 共通したアラート対応基盤を利用する ◦ Falcon以外のアラートも共通のインターフェースで扱える • 対応開始までの時間差を許容できるかの検討 ◦ アラートが発生してから発報されるまで 4〜5分遅延がある
◦ 自社内の対応スピードと照らし合わせて許容範囲と判断 • 自動化できる部分はなるべく自動化する ◦ 検出されたIPアドレスやドメイン名の調査などは自動的に実行 ◦ 調査のための時間を短縮し、人間の時間を有効に使う 28
CrowdStrike Falconの運用 29
対応フロー 1. アラート管理システムからPagerDutyに通知 ◦ メール、SMS、電話などで担当者に通知 ◦ 状況共有のためSlackにも通知 2. 担当者が調査(3人でdailyで担当を交代) ◦
一部情報は自動的に取得されてGithub EnterpriseのIssueに書き込み ◦ Graylogなどを使って担当者がアラートを調査 ◦ 調査結果や進捗をIssueにコメントし、対応完了したらCloseする 30
Slack上で初動対応状況の共有 Github EnterpriseのIssue上で 対応の記録&共有 31
今後の展望&製品への期待 32
今後の展望 • 検知結果の(より)自動的な分析・対応 ◦ 社内や外部の情報を分析前に自動的に集める ◦ ある条件を満たしていたら自動的にFalse Positiveにする • IoC情報の検索
◦ 取り込んだログを使ってIoC情報を検索する ◦ 後から判明するIoC情報も多いため時間差での対応が必要 33
製品への期待 • より強力なAPI連携 ◦ デバイスの管理:デバイスの情報変更や削除 ◦ イベントの検索:Event Searchの機能にAPI経由でアクセス • 監査目的でのログ収集
◦ ログ収集における制限の緩和・撤廃 • 外部サービスとの連携 ◦ SSO連携の拡充 34
Thank you 35