Upgrade to Pro — share decks privately, control downloads, hide ads and more …

New Relicで実践する外形監視

AEON
August 27, 2024

New Relicで実践する外形監視

2024年8月27日開催「SRE meetup 〜サービス事業会社のSREが向き合う課題〜」の登壇資料です。
https://wealthnavi.connpass.com/event/325100/

AEON

August 27, 2024
Tweet

More Decks by AEON

Other Decks in Technology

Transcript

  1. ASTにおける外形監視 今回の背景 1. 死活監視 • 対象URIに対してリクエストを送り、レスポンスをチェック • ステータスコードが200であることを確認 • リダイレクト先は追跡

    2. 証明書監視 • 対象ドメインのSSL証明書の有効期限をチェック • 有効期限までの残日数が30日以上あることを確認 既存外形監視をNew Relicへリプレイス
  2. Synthetic Monitor New Relicにおける外形監視 • New Relicにおける外形監視のソリューションはSynthetic Monitor • Selenium(Chromium)によるモニタリング

    • JavaScriptを記述すればシナリオベースの監視を行うことも可能 • 今回は死活監視にSimple(Ping) Monitor、証明書監視にCertificate Checkを使用
  3. Alert Condition / Policy New Relicにおける外形監視 • Alert Condition機能では、インシデント検出の条件やCritical/Warningの発生条件などの詳細を設定 •

    NRQL(New Relic Query Language)で集計対象データを取得 • Conditionの設定は一筋縄でいかなかったので後述 • Alert Policy機能では、Conditionで検出されたインシデントを束ねる役割 • Issueの発行をCondition毎 or Policy毎なのかを設定
  4. Aggregation Window Alert Conditionハマりポイント • Alert Conditionではデータを集約する単位をAggregation Windowと呼ぶ • 30秒〜6時間までの範囲で設定可能

    • 通常は設定したWindow Durationごとに評価を行い、Incidentの判断を行う(左図) • Sliding Windowオプションを設定すると指定Intervalで評価が行われ、早期検出が可能となる(右図) 出典: New Relic公式ブログ「アラート条件を正しく設定するための詳細ガイド」
  5. Streaming Method Alert Conditionハマりポイント • データ集計方法をStreaming methodと呼ぶ • Event Flowは定期的に到着するメトリクスに対して利用(左図)

    • Event Timerは不定期に到着するメトリクスに対して利用(右図) 出典: New Relic公式ブログ「アラート条件を正しく設定するための詳細ガイド」
  6. Loss of Signal Detection Alert Conditionハマりポイント • 前述のCondition設定と別軸で実行されるIncident検出機能 • NRQLで以下のようなクエリでcountが0であると、NULL=Loss

    of Signalと判定される • Loss of Signalとなった際、Incident発生 or 解決として扱う設定が可能 • アラートレベルはCriticalのみ(Warningはできない ) 出典: New Relic公式ブログ「アラート条件を正しく設定するための詳細ガイド」
  7. まとめ まとめ • 外形監視として死活監視と証明書監視をNew Relicで実践 • New Relicで外形監視する場合は4つの機能を使う • Synthetics

    Monitor、Alert Condition / Policy、Workflow、Destination • Alert Conditionはハマりポイントはある一方で、細やかな監視設定が可能 (以下おまけ) • 実は昨年の弊社アドベントカレンダーでTocyukiも戦っていたのでこちらもどうぞ • https://zenn.dev/aeonpeople/articles/introduction-to-newrelic-alert-threshold-settings • AWS環境なひとは「さくらのシンプル監視」も一つの手かもしれない • https://tech.trustbank.co.jp/entry/2023/12/18/160000
  8. 参考一覧 まとめ • New Relic公式ブログ「アラート条件を正しく設定するための詳細ガイド」 https://newrelic.com/jp/blog/how- to-relic/understand-nrql-alert-condition (2024/08/22参照) • New

    Relic公式ブログ「 NRQLアラート条件に追加された新しい集計方法とどれを選ぶべきかの指針」 https://newrelic.com/jp/blog/nerdlog/new-aggregation-methods-for-nrql-alert-conditions (2024/08/22参照) • New Relic公式ブログ「シグナル消失の発生と回復のタイミング」https://newrelic.com/jp/blog/how-to- relic/details-of-loss-of-signal (2024/08/22参照)