Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Hardening II SU Softening Day - Team カムイ Presen...
Search
Yuichiro SAITO
PRO
July 05, 2019
Technology
0
3.6k
Hardening II SU Softening Day - Team カムイ Presentation
Hardening II SU @ 北海道・札幌
2019.07.04-05
チームカムイ プレゼンテーション
Yuichiro SAITO
PRO
July 05, 2019
Tweet
Share
More Decks by Yuichiro SAITO
See All by Yuichiro SAITO
FinTech スタートアップのセキュリティチェックシートとの向き合い方 / AWS FinTech Bootcamp! Compliance
koemu
PRO
0
500
クラウドを積極活用したサービスの開発のために / AWS FinTech Bootcamp! Basic
koemu
PRO
0
220
ワークショップFinTech アーキテクチャ / AWS FinTech Bootcamp! Workshop
koemu
PRO
0
200
正しい理解で作る安心安全な FinTech の IT インフラ / tech play aws 2022 2
koemu
PRO
1
240
AWSの「今」 -PHPのコードを素早く動かすためのサービスのご紹介 / PHPCon2022 AWS Japan Session
koemu
PRO
2
1.9k
PdMとエンジニアのより良いコミュニケーションに向けて / Improve communication between Product Manager and Software Engineer
koemu
PRO
1
470
フェイズ別・スタートアップ企業への技術選定 シード編 #AWS #AWSStartup / Startup Tech 101 for Seed
koemu
PRO
0
470
AWSを使って送金機能を実装してみよう - 「sunabar-GMOあおぞらネット銀行API実験場-」コミュニティイベント第6弾
koemu
PRO
0
980
Software Development at Mercari #ioi2018
koemu
PRO
0
1.1k
Other Decks in Technology
See All in Technology
マイベストのデータ基盤の現在と未来 / mybest-data-infra-asis-tobe
mybestinc
2
1.8k
QAEチームが辿った3年 ボクらが改善業務にスクラムを選んだワケ / 20241108_cloudsign_ques23
bengo4com
0
540
Redmine 6.0 新機能評価ガイド
vividtone
0
170
Deno+JSRでパッケージを作って公開する
askua
0
100
福岡新卒エンジニアの会
teba_eleven
1
170
신뢰할 수 있는 AI 검색 엔진을 만들기 위한 Liner의 여정
huffon
0
530
2024年グライダー曲技世界選手権参加報告/2024 WGAC report
jscseminar
0
140
FOSS4G 2024 Japan コアデイ 一般発表25 PythonでPLATEAUのデータを手軽に扱ってみる
ra0kley
1
120
AI機能の開発運用のリアルと今後のリアル
akiroom
0
230
形式手法の 10 メートル手前 #kernelvm / Kernel VM Study Hokuriku Part 7
ytaka23
5
710
10分でわかるfreeeのQA
freee
1
3.4k
ドメイン名の終活について - JPAAWG 7th -
mikit
18
9.6k
Featured
See All Featured
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
The Language of Interfaces
destraynor
154
24k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
231
17k
Happy Clients
brianwarren
97
6.7k
Visualization
eitanlees
145
15k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
6
390
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
Fireside Chat
paigeccino
33
3k
Designing for Performance
lara
604
68k
VelocityConf: Rendering Performance Case Studies
addyosmani
325
24k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.1k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Transcript
Hardening II SU チームカムイ (11) 報告書 2019/07/05 斎藤 祐一郎 (@koemu)
TL;DR 私達は一人ひとりが専門家として、最善を尽くせるた めの準備をし、スピード感を持って戦い抜きました。 ➔ ロールの明確化 誰が何をしているかお互いが理解し、素早い 意思決定が行えるチームでした。 ➔ Hardening OSSの開発と実戦運用
今回の為に開発した監視・運用ツールを投入 しスピード感ある対処ができました。 ➔ マーケットプレイスの活用 特に人的リソースにはROIが高いと判断し、 惜しみなく投資を行いました。 2
チームの自己紹介 3
メンバー一覧 (左から) • 曽谷 祐一 (@sotani) ((株)メルカリ セキュリティ) • 杉江
彩(@rougelecca) (ネットワークエンジニア) • 斎藤 祐一郎 (@koemu) ((株)メルカリ バックエンドエンジニア) • 伊佐 大佑(@dajo) (琉球大学) • 澤田 一樹 (@sekai67) ((株)メルカリ SRE) • 戸谷 洋介 (@ytotti) ((株)ラック) 4
準備 僕らは… この日のために2ヶ月間準 備してきました 5
3つのキーポイント • 過去の出題内容を振り返る • ロールの明確化 • 準備と定例MTG 6
過去の出題内容を振り返る 出場経験者である@rougeleccaさんから共有を受けた。 • 過去の出題内容 • その際に誰がどのように動いたのか • 事前準備の重要さ • マーケットプレイスの重要さと活用方法
• 遅刻しない!!!!! 7
ロールの明確化 距離もあり、本職の業務をよく知らない者同士が札幌に集結 して戦うにあたって、備えたこと。 • 過去の大会を通じて必要なロールの定義。 • 本職の業務を踏まえたロールの割り当て。 • 決まったロールをもとに、事前に情報収集。 8
準備と定例MTG 1週間に1回 30分、Zoomを使ってオンライン定例MTG。 それ以外はSlackでコミュニケーション。 資料はGoogle Driveで共有。 • まずはお互いを知る • 事前準備の進捗
◦ 調査レポート (脆弱性など) ◦ テンプレ整備 (CS, 法務, 労務, etc…) • 資料の読み合わせ 9
体制・情報共有など 組織運営に関すること みんなは 上下関係のない、 プロフェッショナル 集団として。 10
3つのポイント • ロール • チーム内でのコミュニケーション • 対外コミュニケーション 11
ロール • @sekai67: SRE • @sotani: レポーター, 渉外 • @ytotti:
脆弱性切り分け • @rougelecca: CS, HCA連絡 • @dajo: 販売管理 • @koemu: インシデントコマンダー (対外的にはリーダー) 12
チーム内でのコミュニケーション • レポーターにレポートを集約。作業をタイムラインで振り返られる。 • ロールの近い者同士が近くに座って、スッと寄って話せる。 • テキストベースのものはすぐにSlackで共有。 • インシデントコマンダーが決断に責任を負う。 ◦
複数の攻撃を受けたときの優先度を決める。 ◦ 経済条件の意思決定を行う。 ◦ 時間制限を決める。 ◦ 基本、作業は行わない。 • 意見の対立はなかった。皆が背景を理解し、納得して仕事した。 13
対外コミュニケーション 連合間のコミュニケーション • 定例MTG (2時間おき) ◦ チーム間で困っていることを言い合い、スポットで情報を融通。 ◦ 前日に呼びかけて決めた。 全体のコミュニケーション
• HCA: 提供された情報を逐次共有できる体制 • JPCERT: 情報漏えいが確認された際の通報 14
インシデントレスポンス 15
flos: 本大会向け 運用・監視OSS @sekai67さんが夜なべして作った、 Linux/Windowsサーバ 監視・運用OSS • 死活監視 • ログ・プロセスビュー
• コマンド一括送信 • 自動バックアップ リポジトリ: https://github.com/kaz/flos 16
事象への向き合い方 想定とはどうか • 売上に直結する障害から、順次対処していく。 • 事前に調べていた脆弱性、特にRCEはだいたい来ていた。 • 一番の想定外はWindowsの「花」→MPのツールで対策(後述) 渉外対応 •
隠さない、すぐに言う。 • 関係各所への報告は迅速にできたと考えている。 17
ビジネス価値向上の 取り組み ビジネス GMVがあがってなんぼの もの 18
GMVのグロースに向けて • まずは商品名・商品画像を差し替えるところからスタート。 • 人気のある商品を中心に、値上げを実施。GMVにインパ クトがあったことを確認。 ◦ ただし、初動が遅かったのが悔やまれる。 19
公式サイトの整備 • WIPページの整備 ◦ NECさんに委託(後述) ◦ テンプレの準備が功を奏した ◦ メールフォームも動いた 20
事故発生時への向き合い方 • 売上に直結する障害から順に潰す。 ◦ サービス停止は最優先。 ◦ 「疑い」レベルは、すでに施した対策でカバーできるの であれば一旦置いておく。 21
マーケットプレイス 活用の試み GO BOLDに お金で解決できることは、 お金で解決する。 22
購入した製品/サービス • NEC様 勝つための助っ人派遣ソリューション 2時間 2,000万円 • Cisco 様 シスコなまらセキュアセット
2,000万円 • トレンドマイクロ様 IRどうでしょう 500万円 購入の方針 • 買えない後悔より、高くても買って後悔。 • ROIは高いはずとチームで決断したものをGO BOLDに買いに行った。 23
NEC様 勝つための助っ人派遣 • Linuxサーバ全てにiptablesの設定を依頼。 ◦ 初期段階に設定できたため、マルウェアの通信やバインドシェルの実行 がかなり遮断できた。 • 公式サイトの整備を依頼。 ◦
手が回っていないところだったので、大変助かりました。 ◦ テンプレはこちらで用意していたので、連絡もスムーズでした。 お世話になりました! めっちゃROIが高かったです。2,000万出してよかった。 24
Cisco 様 シスコなまらセキュアセット • シグネチャレベルで防げる通信の遮断には軒並み成功。 ◦ より高度な攻撃への対処に集中することができた。 • レポーティングを通じて、どのような攻撃が到達しているか理解を深めること ができた。
• 設定等がうまく行っていないと、声をかけてくださったのはありがたかった。 どうもありがとうございました! 25
トレンドマイクロ様 IRどうでしょう • Cisco様のIPSソリューションとかぶっている部分があったので、使わない部分 を値下げいただけた。 • Windows端末のマルウェア・ウィルスに対する防御を施すことができた。 • インストールに手間取った際、お声がけいただきサポートいただけた。 どうもありがとうございました!
26
総括 27
Hardening参加のメリット • @koemu: 意思決定者は常に知見を高め、周りを見回し、よく話を聞き、そし て心の健康を保ち決断する大切さを理解した。 • @sekai67: 本物の攻撃とその防御の難しさを、身を以て知った。 • @sotani:
インシデント対応の筋トレ。事前の準備の大切さとその必要性の ジャスティフィケーションを身を持って知る。 • @ytotti: 自社の考え方に縛られずに、いろいろな経営的観点、技術的観点、 人材的観点に触れることができる。 • @rougelecca: 自分の力量が可視化されるので、今後どう活かすかを明確化 できた。 • @dajo: 技術だけじゃない総合力の必要性を知った。 28
明日以降どう活かすか • @koemu: 本番障害でも笑顔でいる、それが仲間の救いになるはず。 • @sekai67: 当たり前を見直す、疑う。障害に対する心構え。 • @sotani: 自社のインシデントの準備
• @ytotti: オフライン状態でのセキュリティ対策は、非常に技術力がつくという 知見を得たので明日以降普段から考慮しながらすごす。 • @rougelecca: 身近にある攻撃がビジネスに響くことを社内で布教していく。 攻撃と防御を棚卸する。 • @dajo: 問題の早期対応を意識する。 29
今後のイベントに向けての提案 • @koemu: 運営のみなさまがもっと煽っていくスタイルが良いです。 • @sekai67: もっと絶望感を。 • @sotani: 社長=チームリーダーなのか?あたりのたてつけがわかりにくかっ
た。そしてわかりにくいまま始まっちゃった。のはいまいちだったが、それ以外 は、いろんな意味でちょうどよかった。 • @ytotti: 攻撃のタイミングでモニターや音声を用いた演出がもっとあってもい いと思った。 • @rougelecca: 役員会議や記者会見がモニターで流し見状態だったので本格 的に危機感が感じられるともっと良い。 • @dajo: 競技中の飲酒許可 30
おわりに 31
改めて TL;DR 私達は一人ひとりが専門家として、最善を尽くせるた めの準備をし、スピード感を持って戦い抜きました。 ➔ ロールの明確化 誰が何をしているかお互いが理解し、素早い 意思決定が行えるチームでした。 ➔ Hardening
OSSの開発と実戦運用 今回の為に開発した監視・運用ツールを投入 しスピード感ある対処ができました。 ➔ マーケットプレイスの活用 特に人的リソースにはROIが高いと判断し、 惜しみなく投資を行いました。 32
謝辞 チームメンバー一同、このような機会に恵まれ、大変 感謝し、そして学びがありました。 ➔ 運営のみなさま 素晴らしい大会を用意いただきありがとうござ いました。 ➔ スポンサー・MPのみなさま 素晴らしい機材・サービス・環境の提供をあり
がとうございました。 ➔ 参加者のみなさま たのしかったですね!またお会いしましょ う!! 33
おわり 34