Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
今学生に伝えたい, 監視の話 / okinawa_ac_lt
Search
cohalz
July 06, 2019
Technology
0
390
今学生に伝えたい, 監視の話 / okinawa_ac_lt
沖縄学生×企業エンジニア 7月大LT大会!!! #okinawa_ac_lt
https://connpass.com/event/132178/
の発表資料です
cohalz
July 06, 2019
Tweet
Share
More Decks by cohalz
See All by cohalz
toittaにOpenTelemetryを導入した話 / Mackerel APM リリースパーティ
cohalz
1
720
はてなにおけるfujiwara-wareの活用やecspressoのCI/CD構成 / Fujiwara Tech Conference 2025
cohalz
3
7.9k
はてなのSRE組織2024 / Road to SRE NEXT@福岡
cohalz
2
2k
SREのキャリア、 あるいは生態 / #ya8
cohalz
11
1.8k
カンファレンスのボランティアスタッフって何やるの? / DAIMYO Meetup #4
cohalz
0
180
小さなものでも Step Functions / Serverless Meetup Fukuoka Re:boot
cohalz
0
220
ECSのCI/CD改善と標準化の取り組み / JAWS FESTA 2023 in Kyushu
cohalz
8
7.4k
ecspressoへの貢献を振り返る / JAWS-UG コンテナ支部 #24 ecspresso MeetUp
cohalz
1
7.8k
はてなフォトライフをECSに移行した話 / Hatena Engineer Seminar #20
cohalz
1
19k
Other Decks in Technology
See All in Technology
Sidekiq その前に:Webアプリケーションにおける非同期ジョブ設計原則
morihirok
17
7.3k
about #74462 go/token#FileSet
tomtwinkle
1
290
AI時代だからこそ考える、僕らが本当につくりたいスクラムチーム / A Scrum Team we really want to create in this AI era
takaking22
6
3.3k
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
SoccerNet GSRの紹介と技術応用:選手視点映像を提供するサッカー作戦盤ツール
mixi_engineers
PRO
1
170
SREとソフトウェア開発者の合同チームはどのようにS3のコストを削減したか?
muziyoshiz
1
100
多様な事業ドメインのクリエイターへ 価値を届けるための営みについて
massyuu
0
100
FastAPIの魔法をgRPC/Connect RPCへ
monotaro
PRO
1
720
KMP の Swift export
kokihirokawa
0
330
データエンジニアがこの先生きのこるには...?
10xinc
0
440
AI駆動開発を推進するためにサービス開発チームで 取り組んでいること
noayaoshiro
0
150
KAGのLT会 #8 - 東京リージョンでGAしたAmazon Q in QuickSightを使って、報告用の資料を作ってみた
0air
0
200
Featured
See All Featured
Building an army of robots
kneath
306
46k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.5k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
Thoughts on Productivity
jonyablonski
70
4.9k
Learning to Love Humans: Emotional Interface Design
aarron
274
40k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.5k
Building Adaptive Systems
keathley
43
2.8k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
YesSQL, Process and Tooling at Scale
rocio
173
14k
GraphQLとの向き合い方2022年版
quramy
49
14k
Transcript
今学生に伝えたい, 監視の話 沖縄学生×企業エンジニア 7月大LT大会!!! id:cohalz
自己紹介 ・id:cohalz / @cohalz ・はてなインターン2017 Mackerelチーム ・株式会社はてな SRE (2018 ~)
監視って? ・サーバ上の様々なメトリックを元にアラート通知を飛ばす ・ CPU使用率や残り容量など
監視って? ・そのメトリックを保存して,グラフにして見る
なぜ監視の話?
今監視が大ブーム!
覚えて帰ってほしいこと ・監視ってそんなに難しくない ・開発者も監視をしてみよう
何を監視すればいいか?
何を監視すればいいか? ・「起きてほしくないこと」 ・例: Webアプリケーション ・500エラーを返す ・レスポンス時間の悪化 ・証明書の期限切れ
まずはサービスに近いところから ・大事なのはサービスが動いているか ・個別のサーバのCPUやメモリでアラートを設定しない ・アラートが飛びがちになる ・代わりにグラフで傾向を見よう
なんでもアラートを飛ばせばいいものでもない ・たくさんのアラートが飛んでくると? ・「アラート疲れ」 ・「オオカミ少年アラート」 ・サービス品質をよく考えて設計する
アラートが役立つ他の例 ・バッチの実行 ・失敗内容をアラートに含める ・システムのマイグレーション ・古いホストに接続してたらアラート ・安全にホストを落とせる
アラート設計の話
昔のアラート対応 ・インフラエンジニアもしくはSREがアラートを設計 ・対応するのも同じ人 ・同じ言語・フレームワークなので対応方法が決まっていた
最近のアラート対応 ・サービスが複雑になってきた ・言語やフレームワークもバラバラ ・一次対応だけでは済まないことも ・サービス開発者が対応しないといけない ・原因はアプリケーション自体にあることが多い
例: Webアプリケーションが見れなくなった ・MySQLのコネクション数が跳ね上がっていた ・接続数上限のため調査のために繋ぐこともできない!! ・一次対応として再起動をした
例: Webアプリケーションが見れなくなった ・MySQLのコネクション数が跳ね上がっていた ・接続数上限のため調査のために繋ぐこともできない!! ・一次対応として再起動をした ・実はアプリケーション側から接続を切っていなかった!! ・開発者にアプリケーションのコードを直してもらった
開発者も監視に関わるべき ・サービスの実装を一番良くわかっている ・実装時に懸念点があればそこを監視すればいい ・開発者がアラートを受け取る ・根本的解決が早くなるかも
コンテナ化と言語と監視 ・どの言語・フレームワークを使ってるか把握しにくくなる ・サービスから見た最小単位がコンテナになる ・とはいえ特有の監視をしなくていい理由にはならない ・開発者が関わるべき
監視の目的
起きてほしくないことが, 起こっていないを保証する
テストに似てる
テストは皆さん書いてますよね?
対象が違うだけで目的は同じ ・テストはソフトウェアだが,監視はシステムを見る http://developer.cybozu.co.jp/archives/kazuho/2010/01/cronlog-52f2.html
監視プラグイン ・プログラムを書いて対象の数字を出力するだけ ・ヘルパプラグインがあるので意外と簡単 ・既にいろんな人が作っていて,コードの参考にもなる
監視プラグイン ・欲しいプラグインはすでに誰かが作っているかも? ・欲しい機能がなかったらOSSのPR作成チャンス!
監視以外のいろいろ
監視も万能ではない 苦手なもの ・数値にならないもの ・統計・解析 ・1リクエストの詳細
監視以外のあれこれ ・ログ ・APM (Application Performance Management) ・分散トレーシング
監視以外のあれこれ ・ログ ・APM (Application Performance Management) ・分散トレーシング => サービスの見える化
「推測するな,計測せよ」
まとめ ・不安を安心に変えるために監視をする ・テストと同じ ・でもアラートはよく考えよう ・開発者も監視をしてみよう ・サービスに一番詳しいのは開発者
あわせて読みたい ・入門 監視 ・監視についてのアンチパターンなど詳しく載っている本 ・監視 入門 ~ マイクロサービス時代の監視設計 ・https://junkyard.song.mu/slides/rancher-meetup-tokyo-18 ・マイクロサービスに限らない,開発者に向けた現在の監視の話