PagerDutyを活用した インシデント管理の自動化とメリット

PagerDutyにてデジタルオペレーションの現代化を！
https://pagerdutyandawsjointwebinar.splashthat.com/

Transcript

1. アイレット株式会社 廣⼭ 豊 PagerDutyを活⽤した インシデント管理の⾃動化とメリット
2. ⾃⼰紹介 2 •廣⼭ 豊 •アイレット株式会社 クラウドインテグレーション事業部副事業部⻑ 兼 情報管理責任者 兼 PCI DSS管理責任者 兼 Well Architected Lead •2020, 2021 Japan APN AWS Ambassador, AWS Top Engineers •組み込み開発SIer出⾝ •AWS * 9, GCP * 10, Azure * 1, 情報処理安全確保⽀援⼠、 その他多数の認定資格を保有
3. 会社概要 3 社名 アイレット株式会社 所在地 東京都港区⻁ノ⾨1-23-1 ⻁ノ⾨ヒルズ森タワー7F 設⽴ 2003年10⽉15⽇ 代表取締役会⻑ 齋藤 将平 代表取締役社⻑ 岩永 充正 従業員数 682名（2021年4⽉末時点） 事業内容 ITコンサルティング、システム開発 システム保守・運⽤、 サーバーハウジング・ホスティング、 デザイン 主要株主 KDDI株式会社 2003年 10⽉ 千葉県野⽥市にて創業 2005年 10⽉ 業務拡⼤に伴い、東京都港区芝浦に本社移転 2010年 4⽉ クラウドの導⼊設計、運⽤・保守サービスcloudpack を開始 2011年 1⽉ AWSソリューションプロバイダー登録 2011年 2⽉ 業務拡⼤に伴い、東京都港区海岸に事務所移転 2012年 6⽉ APN アドバンスドコンサルティングパートナー登録 2013年 6⽉ APN プレミアコンサルティングパートナー認定（2013 年度） 【⽇本初 / 2020年度までに8年連続認定】 2014年 8⽉ 東京都港区⻁ノ⾨・⻁ノ⾨ヒルズに事務所開設 2014年 11⽉ ⼤阪オフィス開設（国内2拠点⽬） 2014年 11⽉ APN プレミアコンサルティングパートナー認定（2015 年度） 2015年 3⽉ APN Consulting Partner of the year 2014 受賞 2015年 4⽉ 東京都港区⻁ノ⾨に本社移転 2016年 11⽉ 名古屋オフィス開設（国内3拠点⽬） 2017年 2⽉ KDDI株式会社の傘下に⼊り、⼦会社になる 2019年 1⽉ スクラム開発拠点として、東京都港区⻁ノ⾨にスクラムオフィス開設 2019年 7⽉ Google Cloudプレミアサービスパートナー認定 2020年 3⽉ APN Consulting Partner of the Year受賞（5回⽬） 2020年 7⽉ TREND MICRO Partner Award 2019 受賞 2021೥ 4݄ (PPHMF
   $MPVEͷϚωʔδυ αʔϏε ϓϩόΠμʢ.41ʣೝఆΛऔಘ 2021೥ 5݄ "84
   +BQBO
   $FSUJGJDBUJPO
   "XBSE
   
   %FWFMPQFS
   $IBNQJPO
   PG
   UIF
   :FBSड৆
4. 会社概要 4 (PPHMF
   $MPVE
   ϓϨϛΞ
   αʔϏε
   
   ηϧ
   ύʔτφʔ
   "1/ϓϨϛΞίϯαϧςΟϯάύʔτφʔ
   ೥࿈ଓೝఆ "1/
   $POTVMUJOH
   1BSUOFS
   PG
   UIF
   :FBS
   
   ௨ࢉ౓ड৆ ϓϨϛΞαʔϏεύʔτφʔೝఆ .41ύʔτφʔ ίϯϐςϯγʔ %BUB
   "OBMZUJDT .JHSBUJPO .41ύʔτφʔ 8FMM"SDIJUFDUFEύʔτφʔ "84
   1VCMJD
   4FDUPSύʔτφʔ 
   (PWFSONFOU
   3FTFMMFS ڌ఺ ύʔτφʔ
5. 5 cloudpackは、スタートアップから⼤企業まで、これまでに2,300社を超えるクラウドの導⼊実績があり、各分野へ幅広く サービスをご提供しています。 豊富な実績で培われた技術⼒や知⾒・ノウハウを活かし、今後もお客様の課題解決やビジネス発展をご⽀援してまいります。 Ϋϥ΢υಋೖ࣮੷ 2,300ࣾҎ্ ೥ؒϓϩδΣΫτ 3,800Ҏ্
6. セキュリティへの取り組み 6 アイレットでは、お客様に安⼼してサービスをご利⽤頂くために、第三者機関による認証を積極的に取得しており、情 報セキュリティに対して万全の態勢で取り組んでいます。 ৘ใηΩϡϦςΟࠃࡍඪ४ʢ*40*&$ʣ Ϋϥ΢υ৘ใηΩϡϦςΟʢ*40*&$ʣ Ϋϥ΢υݸਓ৘ใอޢʢ*40*&$ʣ *5αʔϏεࠃࡍඪ४ʢ*40*&$ʣ ݸਓ৘ใอޢࠃࡍඪ४˞ ʢ*40*&$ʣ ˞ΞΠϨοτ͕ੈքॳͷऔಘ ΫϨδοτΧʔυӡ༻ج४ ʢ1$*
   %44 ۚ༥ϨϕϧͷηΩϡϦςΟ ؂ࠪϨϙʔτ 40$ ˞ ˞"84্Ͱͷडྖͱͯ͠͸ ΞΠϨοτ͕೔ຊॳ
7. 事業概要・サービス提供範囲 7 ΞΠϨοτ͸ɺΫϥ΢υͷಋೖઃܭ͔Βߏஙɾอकɾӡ༻ΛτʔλϧͰαϙʔτ͢Δ ʮDMPVEQBDLʯ͓Αͼʮ3BDLTQBDFʯͱɺγεςϜઃܭɾ։ൃɾσβΠϯΛϫϯετοϓͰߦ͏ʮ։ൃʯΛఏڙ͍ͯ͠·͢ɻ Ϋϥ΢υ "84($1"[VSF0SBDMF 0SBDMF
   $MPVE
   *OGSBTUSVDUVSF ηΩϡϦςΟ τϨϯυϚΠΫϩ 4VNP-PHJD +BQBO ηΩϡΞϫʔΫε ηΩϡΞεΧΠςΫϊϩδʔ *P5 גࣜձࣾιϥίϜ Ϗοάσʔλ DMPɺLPO σʔλΞʔςΟετ גࣜձࣾ
8. cloudpackの主なサービス 8 cloudpackは、クラウドの導⼊や運⽤を中⼼に、お客様のご要望に幅広くお応えする総合⽀援サービスです。 ⻑年に渡り多くの実績を積み重ね、IT全般における幅広い知⾒やノウハウを蓄積してきたcloudpackが、充実したサービス の数々でお客様の課題解決やビジネス発展をご⽀援いたします。 αʔόʔ 請求代⾏ 構築 運⽤・保守 監視 請求代⾏ AWS GCP 請求代⾏adv. 監視・運⽤ 静的ホスティング その他 NJHSBUJPOQBDL TUSFBNQBDL σʔλϕʔε TFDVSJUZQBDL 8BG$IBSN Ωϟογϡ ดҬωοτϫʔΫ ઀ଓ ઐ༻઀ଓ Ϋϥ΢υ ίʔσΟωʔτ ΠϯγσϯτରԠ 4ϗεςΟϯά ϦϞʔτϫʔΫ ؀ڥߏங %BUBEPH μογϡϘʔυ $%/ઐ༻ 定額プラン ٕज़ݕূʢ1P$ʣ 'JMF.BLFS ϓϥοτϑΥʔϜ 7.XBSF
   $MPVE
   PO
   "84
   ߏங -BO4DPQF
   $BU ಋೖࢧԉ *P5QBDL
   XJUI
   403"$0. ϩάՄࢹԽ 8FCΞΫηε࠷దԽ ੬ऑੑ਍அ ੥ٻ୅ߦαʔϏε GPS
   403"$0. ෛՙςετ Data Lake 構築 "QQ(VBSE
   4FSWFS
9. cloudpack 10 ௚઀ܖ໿͢ΔΑΓ΋͓ಘʹɺˋׂҾͰ͝ར༻Ͱ͖Δ αʔϏεͰ͢ɻ·ͨɺ௨ৗ͸υϧݐͯͷΫϨδοτΧʔ υܾࡁͱͳΔ͓ࢧ෷͍Λɺ೔ຊԁͷ੥ٻॻ෷͍Ͱߦ͏͜ ͱ͕ՄೳʹͳΓ·͢ɻ ͞Βʹɺܦݧ๛෋ͳDMPVEQBDLΤϯδχΞʹΑΔٕज़α ϙʔτ΋ແྉͰ෇ଐ͍ͯ͠·͢ɻ ੥ٻ୅ߦ ௚઀ܖ໿͢ΔΑΓஅવ͓ಘ ؂ࢹӡ༻ ো֐ൃੜ࣌΋࣌ؒ೔ͷϑϧαϙʔτ ωοτϫʔΫ΍04ͷ֤छઃఆมߋɺαʔόʔͷεέʔϧௐ੔ͳ Ͳɺӡ༻ɾอकʹ͓͚Δ൥Θ͍͠࡞ۀ͸͢΂ͯDMPVEQBDLʹ͓೚ͤ ͍ͩ͘͞
10. 11 アイレットMSPの沿⾰
11. アイレットMSPの沿⾰ 12 • ૑ઃظ ౦ژΦϑΟεʹͯελʔτɻ Ҋ݅਺ͷ૿Ճʹ൐͍ɺঃʑʹ.41୲౰ऀ΋૿һɻ • ϚϧνϦʔδϣϯԽ։࢝ େࡕΦϑΟε։ઃʹ൐͍ɺ౦ࡕͷ୲౰ऀͰฒߦͯ͠ӡ༻ ۀ຿Λ։࢝͢Δʢओ࣠͸౦ژʣɻ • ϚϧνϦʔδϣϯԽ׬ྃ ώϡʔϚϯϦιʔε͚ͩͰͳ͘ɺ֬ೝػࡐ΍ηΩϡϦ ςΟϧʔϜͳͲͷϑΝγϦςΟ໘Ͱ΋৑௕Խ׬੒ɻ
12. ɾݸਓ΁ͷ௨஌ ɾάϧʔϓ΁ͷप஌ ɾφϨοδͷڞ༗ ɾτϨʔαϒϧͳ ΍ΓͱΓ IUUQTDMPVEQBDLKQFWFOUKBXTVHPTBLBUIIUNM
13. Pager Duty導⼊前の課題 14 • ঢ়گ͕Ұ໨Ͱݟ͑ͳ͍ • Ξϥʔτ͝ͱͷΞαΠϯঢ়گ͕෼͔Γʹ͍͘ • Ξϥʔτͷ෼ੳ͕ࠔ೉ ɺ1BHFS
    %VUZΛ࢖ͬͨӡ༻։࢝
14. 15 アイレットから⾒たPager Dutyの凄さ
15. Pager Dutyの強み 16 ⾼可⽤性 弾⼒性 豊富なインテグレーション
16. 17 アイレットにおけるPager Dutyの活⽤
17. データに基づいた運⽤改善 18
18. AMS 19 AMSの導⼊により監視業務の⼀次対応を⾃動化 Ø 動作確認・情報取得 Ø 復旧操作 Ø ⼆次担当者へエスカレーション
19. • 対応内容 以下の流れで監視業務を実施している。 ① アラートを確認し、規定の⼿順で監視対象の動作や状態を確認する。 必要に応じてアラート発⽣要因調査のための情報を取得する。 ② 動作確認でNGの場合は復旧対応を実施する。 ③ 復旧対応後は復旧確認を実施する。 ④ 電話やBacklogでエスカレーション（アラート報告、⽀援要請、等）。 ⑤ 必要に応じて⼆次運⽤担当者が引き継いで対応する。 21 ①動作確認・情報取得 ④エスカレーション アラート確認 • 現⾏業務の課題 Ø ⼈的コストの課題 ⇒ 監視対象の増加に伴い、⼈的コストが増加する。 Ø 時間の課題 ⇒ 負荷状況により対応時間にばらつきがでる。 ⇒ 影響のないアラートも、毎回⼈⼿による対応が必要で時間の無駄。 Ø 対応レベルの課題 ⇒ ⼈⼿による作業は、ミスの発⽣リスクがある。 ⇒ 対応者のスキルにより、対応内容にばらつきがでる。 ⼀般的な監視業務 ②復旧対応 ③復旧確認 ⑤⼆次対応 ⼀次運⽤担当者が 対応する 監視対象 お客様担当者 アラート発⽣ 導⼊による効果 - AMS導⼊前
20. 導⼊による効果 - AMS導⼊後 • 対応内容 以下の流れで監視業務を実施する。 ①AMSがアラートを解析し、定義済み⼀次対応のシナリ オを実⾏する。 ②未定義のアラート等は、⼀次運⽤担当者が対応する。 ③必要に応じて、⼆次運⽤担当者が引き継いで対応する。 22 アラート通知 • 期待される効果 Ø ⼈的コストの改善 ⇒ 監視対象の増加に伴う⼈的コスト増加を削減できる。 Ø 時間の改善 ⇒ アラートを検知してすぐに⼀次対応を開始できる。 ⇒ ⼀次対応にかかる時間を均⼀化できる。 ⇒ ⼀次運⽤担当者は、AMSで処理できなかったアラートのみ対応する。 Ø 対応レベルの改善 ⇒ 操作ミスや報告先誤り等の作業ミスがなくなる。 ⇒ 対応レベルを均⼀化できる。 AMS導⼊後の監視業務 監視対象 ①AMSが⼀次対応実施 アラート解析 動作確認・情報取得 復旧対応 復旧確認 エスカレーション ③⼆次対応 お客様担当者 ②⼀次対応 アラート発⽣
21. AMS導⼊前後の相関図⽐較 23 ⼀次運⽤担当者 アラート発報 ①アラート確認 ③動作確認、情報取得 ⑤エスカレーション ⼆次運⽤担当者 顧客 ⑥アラートクローズ ④復旧対応、復旧確認 アラート発報 ①アラート通知・解析 ②動作確認、情報取得 ④エスカレーション 顧客 ⑤アラートクローズ、 ⼀次対応結果出⼒ ③復旧対応、復旧確認 ⼀次運⽤担当者 導⼊前 導⼊後 ②⼿順書参照 監視ツール 監視ツール ⼆次運⽤担当者 監視対象サービス 監視対象サービス ⼀次対応依頼 想定外ケースや オペレーションを引き継ぐケースは ⼀次運⽤担当者に⼀次対応移譲
22. AMSの処理フロー 24 動作確認 OK時の処理 （情報取得） アラート登録 インシデント通知 （Webhook） シナリオ開始 エスカレーション NG時の処理 （復旧対応） 動作確認 （復旧確認） エスカレーション エスカレーション OK NG インシデント解析 （シナリオ決定） エスカレーション OK NG シナリオ実⾏結果 監視ツール
25. 紹介記事 cloudpack.mediaにて、PagerDutyの活⽤事例としてAMSを紹介しています。 MSP業務の効率化を実現〜PagerDutyを活⽤した次世代監視システムを開発〜 https://cloudpack.media/51121 27
26. 28 まとめ
27. 29 •PagerDutyを利⽤することで、アラート対応のアサイ ンがシステム化できる •PagerDutyで処理したアラートは分析可能 •PagerDutyのインテグレーションやWebhookおよび APIを活⽤することで、⾃動処理の拡張も可能
28. ٕज़ͱ୳ڀ৺Ͱ ࠓ೔ͷʮͰ͖ͳ͍ʯΛ ໌೔ͷʮͰ͖Δʯʹ