Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
第157回 雲勉 AWSインフラ監視をNew Relicで行う際の個人的Tips
Search
iret.kumoben
March 14, 2025
Technology
0
36
第157回 雲勉 AWSインフラ監視をNew Relicで行う際の個人的Tips
下記、勉強会での資料です。
https://youtu.be/1D-ivnQjZWA
iret.kumoben
March 14, 2025
Tweet
Share
More Decks by iret.kumoben
See All by iret.kumoben
第158回 雲勉 AWS CDK 入門 ~ プログラミング言語で書くインフラ Python 編 ~
iret
0
30
第156回 雲勉 AWS on Windows入門
iret
0
70
第155回 雲勉 サーバレスアーキテクチャを 用いたコスト重視 AI サービス
iret
0
51
第154回 雲勉 AWS Codeシリーズ盛り上げ隊 ~ Codeシリーズは砕けない ~
iret
0
54
第153回 雲勉 トラシューが秒で終わる新機能 Amazon Q Developer operational investigations
iret
0
65
第150回 雲勉 AWS AppSyncではじめるGraphQL体験
iret
0
57
第151回 雲勉 プロジェクトのドキュメントにおける課題をAmazon Bedrockで解決してみる
iret
0
71
第152回 雲勉 シームレスなマルチリージョンへの移行と検討 ~Amazon EKSとAWS Global Acceleratorを使用した環境〜
iret
0
77
第149回 雲勉 AWS ベストプラクティスの最新と実際 AWS Well-Architected
iret
0
97
Other Decks in Technology
See All in Technology
30代エンジニアが考える、エンジニア生存戦略~~セキュリティを添えて~~
masakiokuda
4
2k
モンテカルロ木探索のパフォーマンスを予測する Kaggleコンペ解説 〜生成AIによる未知のゲーム生成〜
rist
4
1.1k
ルートユーザーの活用と管理を徹底的に深掘る
yuobayashi
6
710
20250326_管理ツールの権限管理で改善したこと
sasata299
1
350
Road to SRE NEXT@仙台 IVRyの組織の形とSLO運用の現状
abnoumaru
0
380
AWS CDK コントリビュート はじめの一歩
yendoooo
1
120
[CATS]Amazon Bedrock GenUハンズオン座学資料 #2 GenU環境でRAGを体験してみよう
tsukuboshi
0
130
Restarting_SRE_Road_to_SRENext_.pdf
_awache
0
150
移行できそうでやりきれなかった 10年超えのシステムを葬るための戦略 / phper-kaigi-2025-ryu
carta_engineering
0
680
銀行でDevOpsを進める理由と実践例 / 20250317 Masaki Iwama
shift_evolve
1
100
RAGの基礎から実践運用まで:AWS BedrockとLangfuseで実現する構築・監視・評価
sonoda_mj
0
420
数百台のオンプレミスのサーバーをEKSに移行した話
yukiteraoka
0
640
Featured
See All Featured
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
GraphQLの誤解/rethinking-graphql
sonatard
70
10k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.4k
Into the Great Unknown - MozCon
thekraken
36
1.7k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
12k
Facilitating Awesome Meetings
lara
53
6.3k
Being A Developer After 40
akosma
90
590k
The Cost Of JavaScript in 2023
addyosmani
48
7.6k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.2k
How to Ace a Technical Interview
jacobian
276
23k
A better future with KSS
kneath
238
17k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Transcript
第157回 雲勉 AWSインフラ監視をNew Relic で行う際の個人的Tips
講師自己紹介 2 ◼ 名前 政木星那(まさき せいな) • (所属)クラウドインテグレーション事業部 SREセクション •
(経歴、アイレット歴)3年目 • (業務)インフラ運用保守/構築、監視設計/設定 • ご質問は YouTubeのコメント欄で受け付けております。 後日回答させていただきます!
アジェンダ 3 1. 本雲勉の対象者 2. 個人的Tips 3. API PollingとCloudWatch Metric
Streams 4. JSON形式のデータログ(AWS CloudTrail)監視とクエリパース 5. まとめ
1.本雲勉の対象者 4 ◼ New RelicでAWSインフラ監視を行っている方
2.個人的Tips 5 ◼ API PollingとCloudWatch Metric Streams ・仕様と監視項目 ◼ JSON形式のデータログ(AWS
CloudTrail)監視とクエリパース ・イベント転送 ・パース設定
API Pollingと CloudWatch Metric Streams 6
3.API PollingとCloudWatch Metric Streams 7 ◼ API Polling ・New Relicがメトリクスを取得する主体
・AWSサービス単位で取得するメトリクスを設定 ・取得できるメトリクスはNew Relicによって事前に定義されている
3.API PollingとCloudWatch Metric Streams 8 ◼ API PollingでサポートされているAWSサービス
3.API PollingとCloudWatch Metric Streams 9 ◼ API PollingでサポートされているAWSサービス ・https://docs.newrelic.com/docs/infrastructure/amazon-integrations/aws-integrations-list/aws-albnlb-monitoring-integration/
3.API PollingとCloudWatch Metric Streams 10 ◼ CloudWatch Metric Streams ・Amazon
CloudWatchがメトリクスを送信する主体 ・送信したいメトリクスをAmazon CloudWatchで設定 ・AWS CloudTrailなどの一部サービスはサポートされていない
3.API PollingとCloudWatch Metric Streams 11 ◼ API PollingとCloudWatch Metric Streamsの比較
API Polling CloudWatch Metric Streams New Relicがメトリクス取得の主体 Amazon CloudWatchがメトリクス送信の主体 AWSサービス単位で取得するメトリクスを New Relicで設定 送信したいメトリクスをAmazon CloudWatch で設定 取得できるメトリクスはNew Relicによって 事前に定義されている AWS CloudTrailなどの一部サービスはサポー トされていない
3.API PollingとCloudWatch Metric Streams 12 ◼ API Pollingの導入手順 1. Infrastructure
→ INTEGRATION [AWS] → Add AWS account 2. What type(s) of data do you want to ingest? → Metrics
3.API PollingとCloudWatch Metric Streams 13 ◼ API Pollingの導入手順 3. Choose
a setup method → Automate AWS with CloudFormation (Recommended)
3.API PollingとCloudWatch Metric Streams 14 ◼ API Pollingの導入手順 4. Choose
a metrics integration type → API Polling 5. Name your API integration → 任意の名前
3.API PollingとCloudWatch Metric Streams 15 ◼ API Pollingの導入手順 6. Which
services you want to monitor → AWSサービスを選択
3.API PollingとCloudWatch Metric Streams 16 ◼ API Pollingの導入手順 7. Launch
your CloudFormation in AWS → AWSコンソールを開く 8. Enter your user key
3.API PollingとCloudWatch Metric Streams 17 ◼ API Pollingの導入手順 9. AWS
Console CloudFormation →スタックの作成
3.API PollingとCloudWatch Metric Streams 18 ◼ API Pollingの導入手順 10. AWS
Console CloudFormation →イベントの確認
3.API PollingとCloudWatch Metric Streams 19 ◼ API Pollingの導入手順 11. Continue
3.API PollingとCloudWatch Metric Streams 20 ◼ API Pollingの導入手順 https://docs.newrelic.com/docs/infrastructure/amazon-integrations/aws-integrations-list/aws-cloudtrail-monitoring-integration/
3.API PollingとCloudWatch Metric Streams 21 ◼ 個人的Tips ・API Pollingで収集されるメトリクスはNew Relicに事前に定義されたもののみ
・例えば、Amazon RDS(Amazon Aurora Serverless)ではACUUtilizationが収集されず ・AWS CloudTrailはエラーイベントとログインイベント以外は収集されない
3.API PollingとCloudWatch Metric Streams 22 ◼ API Pollingで取得しているメトリクスの確認(Amazon RDSの場合) ・Query
Your Data → Data explorer → Events → DatastoreSample
3.API PollingとCloudWatch Metric Streams 23 ◼ API Pollingで取得しているメトリクスの確認(Amazon RDSの場合) ・Metrics
& Events → Events → Event type → DatastoreSample
3.API PollingとCloudWatch Metric Streams 24 ◼ API Pollingで取得しているメトリクスの確認(Amazon RDSの場合) ・Metrics
& Eventsがコンソールに表示されない場合
3.API PollingとCloudWatch Metric Streams 25 ◼ CloudWatch Metric Streamsの導入手順 1.
Infrastructure → INTEGRATION [AWS] → Add AWS account 2. What type(s) of data do you want to ingest? → Metrics
3.API PollingとCloudWatch Metric Streams 26 ◼ CloudWatch Metric Streamsの導入手順 3.
Choose a setup method → Manually integrate your AWS account
3.API PollingとCloudWatch Metric Streams 27 ◼ CloudWatch Metric Streamsの導入手順 4.
Choose a metrics integration type → Real-time AWS monitoring (Recommended)
3.API PollingとCloudWatch Metric Streams 28 ◼ CloudWatch Metric Streamsの導入手順 5.
Create a role in the AWS console → IAMロールの作成
3.API PollingとCloudWatch Metric Streams 29 ◼ CloudWatch Metric Streamsの導入手順 5.
Create a role in the AWS console → IAMロールの作成
3.API PollingとCloudWatch Metric Streams 30 ◼ CloudWatch Metric Streamsの導入手順 5.
Create a role in the AWS console → IAMロールの作成
3.API PollingとCloudWatch Metric Streams 31 ◼ CloudWatch Metric Streamsの導入手順 6.
Add account details → 作成したIAMロールのARNをNew Relicに登録
3.API PollingとCloudWatch Metric Streams 32 ◼ CloudWatch Metric Streamsの導入手順 7.
Add account details → AWS account nameに設定した値を Provider accountとして登録
3.API PollingとCloudWatch Metric Streams 33 ◼ CloudWatch Metric Streamsの導入手順 8.
Configure AWS Metric Streams → CloudWatch Metric Streams, AWS Kinesis Data Firehoseの作成
3.API PollingとCloudWatch Metric Streams 34 ◼ CloudWatch Metric Streamsの導入手順 9.
Configure AWS Metric Streams → CloudWatch Metric Streams, AWS Kinesis Data Firehoseの作成 → CloudFormationを利用
3.API PollingとCloudWatch Metric Streams 35 ◼ CloudWatch Metric Streamsの導入手順 9.
Configure AWS Metric Streams → CloudWatch Metric Streams, AWS Kinesis Data Firehoseの作成 → CloudFormationを利用
3.API PollingとCloudWatch Metric Streams 36 ◼ CloudWatch Metric Streamsの導入手順 10.
作成されたCloudWatch Metric Streamsの確認
3.API PollingとCloudWatch Metric Streams 37 ◼ CloudWatch Metric Streamsの導入手順 11.
New Relicに送信する対象のメトリクスの設定 → デフォルトは全てのメトリクスが送信
3.API PollingとCloudWatch Metric Streams 38 ◼ CloudWatch Metric Streamsの導入手順 12.
New Relicに送信したAmazon RDS ACUUtilizationの確認
3.API PollingとCloudWatch Metric Streams 39 ◼ 個人的Tips ・CloudWatch Metric Streamsでのメトリクス収集についてはサポートされない
AWSサービスがある ・大半のAWSサービスはサポート対象とされているが、一部サービスはサポートされていない ・例えば、AWS CloudTrailはサポートされていない
3.API PollingとCloudWatch Metric Streams 40 ◼ API PollingとCloudWatch Metric Streamsの比較
API Polling CloudWatch Metric Streams New Relicがメトリクス取得の主体 Amazon CloudWatchがメトリクス送信の主体 AWSサービス単位で取得するメトリクスを New Relicで設定 送信したいメトリクスをAmazon CloudWatch で設定 取得できるメトリクスはNew Relicによって 事前に定義されている AWS CloudTrailなどの一部サービスはサポー トされていない
JSON形式のデータログ (AWS CloudTrail)監視とクエリパース 41
4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース 42 https://docs.aws.amazon.com/systems-manager/latest/userguide/what-is-systems-manager.html ◼ AWS CloudTrailイベントログの監視方法 ・利用するAWSサービスについて ・New Relicに転送されたイベントログの確認
・JSONパースについて ・NRQLクエリについて
43 ◼ AWS CloudTrailイベントログの監視方法 ・利用するAWSサービスについて 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
44 ◼ AWS CloudTrailイベントログの監視方法 ・New Relicに転送されたイベントログの確認 ・Logs → detail.eventName:"StartInstances" 4.JSON形式のデータログ(AWS
CloudTrail)監視とクエリパース
45 ◼ AWS CloudTrailイベントログの監視方法 ・JSONパースについて(aparse関数)、(Grokパターン、正規表現) ・インスタンスIDのみ値として取り出したい場合 ・値が[{“instanceId”:“i-054e2c9c03d7d1aab”}]でのフィルタリングとなってしまう 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
46 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数を利用することで値をi-054e2c9c03d7d1aabで取り出すことが可能 ・aparse関数のNRQLはNew Relicの機能で自動作成が可能 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
47 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数の作成 ・ログコンソール → 対象の詳細ログ →パースしたい値を選択 →
Create query time parsing rule 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
48 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数の作成 ・インスタンスIDの値を選択 → パースのキーを入力 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
49 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数の作成 ・Queryを選択 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
50 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数の作成 ・プレビューのクエリからaparse()の部分をNRQLに持っていく 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
51 ◼ AWS CloudTrailイベントログの監視方法 ・アラート発報先のサービス連携に役立つ ・PagerDutyの場合、インシデントタイトルにインスタンスIDを記載することが可能 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
52 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
53 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
54 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 → ログのJSONに追加することが可能
https://docs.newrelic.com/docs/logs/ui-data/query-time-parsing/ 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
55 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 → ログのJSONに追加することが可能
4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
56 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 → ログのJSONに追加することが可能
→ パースのルールを変更/削除することが可能 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
57 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 → ログのJSONに追加することが可能
→ パースのルールを変更/削除することが可能 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
58 ◼ もう一つのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・Log → Parsing → Create parsing
rule 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
59 ◼ そのほかのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・Log → Parsing → Create parsing
rule https://docs.newrelic.com/docs/logs/ui-data/parsing/#built-in-rules 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
60 ◼ そのほかのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・Log → Parsing → Create parsing
rule 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
61 ◼ そのほかのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・Grokパターンの場合 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
62 ◼ そのほかのパース機能 ・Grokパターンの場合 ・SYSLOGTIMESTAMP %{MONTH} +%{MONTHDAY} %{TIME} ・GREEDYDATA .*
・MONTH \b(?:Jan(?:uary)?|Feb(?:ruary)?|Mar(?:ch)?|Apr(?:il)?|May|Jun(?:e)?| Jul(?:y)?|Aug(?: ust)?|Sep(?:tember)?|Oct(?:ober)?| Nov(?:ember)?|Dec(?:ember)?)\b ・ MONTHDAY (?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9]) 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
63 ◼ そのほかのパース機能 ・Grokパターンの場合(Logtype = apache) https://docs.newrelic.com/docs/logs/ui-data/built-log-parsing-rules/#apache 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
64 ◼ そのほかのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・正規表現パターンの場合 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
65 ◼ そのほかのパース機能 ・パースルールの作成後のログ情報 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
66 ◼ そのほかのパース機能 ・作成したパースルール 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
67 ◼ 個人的Tips ・New Relicにはログを簡単にパースできる機能が用意されている ・Query time parsingではパースの知識がなくとも簡単にパースクエリを用いた監視を 実装することができる ・Ingest
ParsingではGrokパターンや正規表現を用いてパースすることができる 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
68 ◼ それぞれのパース機能の比較 aparse関数 (Query time parsing) Grokパターン、正規表現 (Ingest Parsing)
クエリ実行時に適用 ログ取り込み時に適用 永続的ではない属性に対するクエリを実行す るのに最適 将来的にクエリできる永続的な属性を作成す るのに最適 UI上で直感的に設定を適用することが可能 柔軟にログの抽象化が可能 https://docs.newrelic.com/docs/logs/ui-data/query-time-parsing/ 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
5. まとめ 69 ◼ API Polling ・API Pollingで収集されるメトリクスはNew Relicに事前に定義されたもののみ ・例えば、Amazon
RDSではACUUtilizationが収集されない ・AWS CloudTrailではエラーイベントとログインイベント以外は収集されない ◼ CloudWatch Metric Streams ・CloudWatch Metric Streamsでのメトリクス収集についてはサポートされないAWSサービスがある ・大半のAWSサービスはサポート対象とされているが、一部サービスはサポートされていない ・利用料面において、収集対象のサービス/メトリクスを絞ることが大事 ・例えば、AWS CloudTrailはサポートされていない ◼ クエリパース ・New Relicにはログを簡単にパースできる機能が用意されている ・Query time parsingはパースの知識不要で簡単にパースクエリを用いた監視を実装することができる ・Ingest ParsingではGrokパターンや正規表現を用いてパースすることができる