Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
第157回 雲勉 AWSインフラ監視をNew Relicで行う際の個人的Tips
Search
iret.kumoben
March 14, 2025
Technology
0
41
第157回 雲勉 AWSインフラ監視をNew Relicで行う際の個人的Tips
下記、勉強会での資料です。
https://youtu.be/1D-ivnQjZWA
iret.kumoben
March 14, 2025
Tweet
Share
More Decks by iret.kumoben
See All by iret.kumoben
第159回 雲勉 Amazon Bedrock でブラウザを操作する AI エージェントを作ってみた
iret
0
51
第158回 雲勉 AWS CDK 入門 ~ プログラミング言語で書くインフラ Python 編 ~
iret
0
42
第156回 雲勉 AWS on Windows入門
iret
0
77
第155回 雲勉 サーバレスアーキテクチャを 用いたコスト重視 AI サービス
iret
0
54
第154回 雲勉 AWS Codeシリーズ盛り上げ隊 ~ Codeシリーズは砕けない ~
iret
0
57
第153回 雲勉 トラシューが秒で終わる新機能 Amazon Q Developer operational investigations
iret
0
67
第150回 雲勉 AWS AppSyncではじめるGraphQL体験
iret
0
66
第151回 雲勉 プロジェクトのドキュメントにおける課題をAmazon Bedrockで解決してみる
iret
0
77
第152回 雲勉 シームレスなマルチリージョンへの移行と検討 ~Amazon EKSとAWS Global Acceleratorを使用した環境〜
iret
0
87
Other Decks in Technology
See All in Technology
Amazon CloudWatch Application Signals ではじめるバーンレートアラーム / Burn rate alarm with Amazon CloudWatch Application Signals
ymotongpoo
5
530
Devinで模索する AIファースト開発〜ゼロベースから始めるDevOpsの進化〜
potix2
PRO
8
3.5k
「経験の点」の位置を意識したキャリア形成 / Career development with an awareness of the “point of experience” position
pauli
4
100
プロダクト開発におけるAI時代の開発生産性
shnjtk
2
240
ElixirがHW化され、最新CPU/GPU/NWを過去のものとする数万倍、高速+超省電力化されたWeb/動画配信/AIが動く日
piacerex
0
150
アジャイル脅威モデリング#1(脅威モデリングナイト#8)
masakane55
3
230
Conquering PDFs: document understanding beyond plain text
inesmontani
PRO
0
110
読んで学ぶ Amplify Gen2 / Amplify と CDK の関係を紐解く #jawsug_tokyo
tacck
PRO
1
160
コスト最適重視でAurora PostgreSQLのログ分析基盤を作ってみた #jawsug_tokyo
non97
0
420
SmartHR プロダクトエンジニア求人ガイド_2025 / PdE job guide 2025
smarthr
0
130
エンジニアリングで組織のアウトカムを最速で最大化する!
ham0215
1
100
CodePipelineのアクション統合から学ぶAWS CDKの抽象化技術 / codepipeline-actions-cdk-abstraction
gotok365
5
210
Featured
See All Featured
Six Lessons from altMBA
skipperchong
27
3.7k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.1k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Building an army of robots
kneath
304
45k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
119
51k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Building Adaptive Systems
keathley
41
2.5k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.3k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
227
22k
Automating Front-end Workflow
addyosmani
1369
200k
Building a Modern Day E-commerce SEO Strategy
aleyda
40
7.2k
Transcript
第157回 雲勉 AWSインフラ監視をNew Relic で行う際の個人的Tips
講師自己紹介 2 ◼ 名前 政木星那(まさき せいな) • (所属)クラウドインテグレーション事業部 SREセクション •
(経歴、アイレット歴)3年目 • (業務)インフラ運用保守/構築、監視設計/設定 • ご質問は YouTubeのコメント欄で受け付けております。 後日回答させていただきます!
アジェンダ 3 1. 本雲勉の対象者 2. 個人的Tips 3. API PollingとCloudWatch Metric
Streams 4. JSON形式のデータログ(AWS CloudTrail)監視とクエリパース 5. まとめ
1.本雲勉の対象者 4 ◼ New RelicでAWSインフラ監視を行っている方
2.個人的Tips 5 ◼ API PollingとCloudWatch Metric Streams ・仕様と監視項目 ◼ JSON形式のデータログ(AWS
CloudTrail)監視とクエリパース ・イベント転送 ・パース設定
API Pollingと CloudWatch Metric Streams 6
3.API PollingとCloudWatch Metric Streams 7 ◼ API Polling ・New Relicがメトリクスを取得する主体
・AWSサービス単位で取得するメトリクスを設定 ・取得できるメトリクスはNew Relicによって事前に定義されている
3.API PollingとCloudWatch Metric Streams 8 ◼ API PollingでサポートされているAWSサービス
3.API PollingとCloudWatch Metric Streams 9 ◼ API PollingでサポートされているAWSサービス ・https://docs.newrelic.com/docs/infrastructure/amazon-integrations/aws-integrations-list/aws-albnlb-monitoring-integration/
3.API PollingとCloudWatch Metric Streams 10 ◼ CloudWatch Metric Streams ・Amazon
CloudWatchがメトリクスを送信する主体 ・送信したいメトリクスをAmazon CloudWatchで設定 ・AWS CloudTrailなどの一部サービスはサポートされていない
3.API PollingとCloudWatch Metric Streams 11 ◼ API PollingとCloudWatch Metric Streamsの比較
API Polling CloudWatch Metric Streams New Relicがメトリクス取得の主体 Amazon CloudWatchがメトリクス送信の主体 AWSサービス単位で取得するメトリクスを New Relicで設定 送信したいメトリクスをAmazon CloudWatch で設定 取得できるメトリクスはNew Relicによって 事前に定義されている AWS CloudTrailなどの一部サービスはサポー トされていない
3.API PollingとCloudWatch Metric Streams 12 ◼ API Pollingの導入手順 1. Infrastructure
→ INTEGRATION [AWS] → Add AWS account 2. What type(s) of data do you want to ingest? → Metrics
3.API PollingとCloudWatch Metric Streams 13 ◼ API Pollingの導入手順 3. Choose
a setup method → Automate AWS with CloudFormation (Recommended)
3.API PollingとCloudWatch Metric Streams 14 ◼ API Pollingの導入手順 4. Choose
a metrics integration type → API Polling 5. Name your API integration → 任意の名前
3.API PollingとCloudWatch Metric Streams 15 ◼ API Pollingの導入手順 6. Which
services you want to monitor → AWSサービスを選択
3.API PollingとCloudWatch Metric Streams 16 ◼ API Pollingの導入手順 7. Launch
your CloudFormation in AWS → AWSコンソールを開く 8. Enter your user key
3.API PollingとCloudWatch Metric Streams 17 ◼ API Pollingの導入手順 9. AWS
Console CloudFormation →スタックの作成
3.API PollingとCloudWatch Metric Streams 18 ◼ API Pollingの導入手順 10. AWS
Console CloudFormation →イベントの確認
3.API PollingとCloudWatch Metric Streams 19 ◼ API Pollingの導入手順 11. Continue
3.API PollingとCloudWatch Metric Streams 20 ◼ API Pollingの導入手順 https://docs.newrelic.com/docs/infrastructure/amazon-integrations/aws-integrations-list/aws-cloudtrail-monitoring-integration/
3.API PollingとCloudWatch Metric Streams 21 ◼ 個人的Tips ・API Pollingで収集されるメトリクスはNew Relicに事前に定義されたもののみ
・例えば、Amazon RDS(Amazon Aurora Serverless)ではACUUtilizationが収集されず ・AWS CloudTrailはエラーイベントとログインイベント以外は収集されない
3.API PollingとCloudWatch Metric Streams 22 ◼ API Pollingで取得しているメトリクスの確認(Amazon RDSの場合) ・Query
Your Data → Data explorer → Events → DatastoreSample
3.API PollingとCloudWatch Metric Streams 23 ◼ API Pollingで取得しているメトリクスの確認(Amazon RDSの場合) ・Metrics
& Events → Events → Event type → DatastoreSample
3.API PollingとCloudWatch Metric Streams 24 ◼ API Pollingで取得しているメトリクスの確認(Amazon RDSの場合) ・Metrics
& Eventsがコンソールに表示されない場合
3.API PollingとCloudWatch Metric Streams 25 ◼ CloudWatch Metric Streamsの導入手順 1.
Infrastructure → INTEGRATION [AWS] → Add AWS account 2. What type(s) of data do you want to ingest? → Metrics
3.API PollingとCloudWatch Metric Streams 26 ◼ CloudWatch Metric Streamsの導入手順 3.
Choose a setup method → Manually integrate your AWS account
3.API PollingとCloudWatch Metric Streams 27 ◼ CloudWatch Metric Streamsの導入手順 4.
Choose a metrics integration type → Real-time AWS monitoring (Recommended)
3.API PollingとCloudWatch Metric Streams 28 ◼ CloudWatch Metric Streamsの導入手順 5.
Create a role in the AWS console → IAMロールの作成
3.API PollingとCloudWatch Metric Streams 29 ◼ CloudWatch Metric Streamsの導入手順 5.
Create a role in the AWS console → IAMロールの作成
3.API PollingとCloudWatch Metric Streams 30 ◼ CloudWatch Metric Streamsの導入手順 5.
Create a role in the AWS console → IAMロールの作成
3.API PollingとCloudWatch Metric Streams 31 ◼ CloudWatch Metric Streamsの導入手順 6.
Add account details → 作成したIAMロールのARNをNew Relicに登録
3.API PollingとCloudWatch Metric Streams 32 ◼ CloudWatch Metric Streamsの導入手順 7.
Add account details → AWS account nameに設定した値を Provider accountとして登録
3.API PollingとCloudWatch Metric Streams 33 ◼ CloudWatch Metric Streamsの導入手順 8.
Configure AWS Metric Streams → CloudWatch Metric Streams, AWS Kinesis Data Firehoseの作成
3.API PollingとCloudWatch Metric Streams 34 ◼ CloudWatch Metric Streamsの導入手順 9.
Configure AWS Metric Streams → CloudWatch Metric Streams, AWS Kinesis Data Firehoseの作成 → CloudFormationを利用
3.API PollingとCloudWatch Metric Streams 35 ◼ CloudWatch Metric Streamsの導入手順 9.
Configure AWS Metric Streams → CloudWatch Metric Streams, AWS Kinesis Data Firehoseの作成 → CloudFormationを利用
3.API PollingとCloudWatch Metric Streams 36 ◼ CloudWatch Metric Streamsの導入手順 10.
作成されたCloudWatch Metric Streamsの確認
3.API PollingとCloudWatch Metric Streams 37 ◼ CloudWatch Metric Streamsの導入手順 11.
New Relicに送信する対象のメトリクスの設定 → デフォルトは全てのメトリクスが送信
3.API PollingとCloudWatch Metric Streams 38 ◼ CloudWatch Metric Streamsの導入手順 12.
New Relicに送信したAmazon RDS ACUUtilizationの確認
3.API PollingとCloudWatch Metric Streams 39 ◼ 個人的Tips ・CloudWatch Metric Streamsでのメトリクス収集についてはサポートされない
AWSサービスがある ・大半のAWSサービスはサポート対象とされているが、一部サービスはサポートされていない ・例えば、AWS CloudTrailはサポートされていない
3.API PollingとCloudWatch Metric Streams 40 ◼ API PollingとCloudWatch Metric Streamsの比較
API Polling CloudWatch Metric Streams New Relicがメトリクス取得の主体 Amazon CloudWatchがメトリクス送信の主体 AWSサービス単位で取得するメトリクスを New Relicで設定 送信したいメトリクスをAmazon CloudWatch で設定 取得できるメトリクスはNew Relicによって 事前に定義されている AWS CloudTrailなどの一部サービスはサポー トされていない
JSON形式のデータログ (AWS CloudTrail)監視とクエリパース 41
4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース 42 https://docs.aws.amazon.com/systems-manager/latest/userguide/what-is-systems-manager.html ◼ AWS CloudTrailイベントログの監視方法 ・利用するAWSサービスについて ・New Relicに転送されたイベントログの確認
・JSONパースについて ・NRQLクエリについて
43 ◼ AWS CloudTrailイベントログの監視方法 ・利用するAWSサービスについて 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
44 ◼ AWS CloudTrailイベントログの監視方法 ・New Relicに転送されたイベントログの確認 ・Logs → detail.eventName:"StartInstances" 4.JSON形式のデータログ(AWS
CloudTrail)監視とクエリパース
45 ◼ AWS CloudTrailイベントログの監視方法 ・JSONパースについて(aparse関数)、(Grokパターン、正規表現) ・インスタンスIDのみ値として取り出したい場合 ・値が[{“instanceId”:“i-054e2c9c03d7d1aab”}]でのフィルタリングとなってしまう 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
46 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数を利用することで値をi-054e2c9c03d7d1aabで取り出すことが可能 ・aparse関数のNRQLはNew Relicの機能で自動作成が可能 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
47 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数の作成 ・ログコンソール → 対象の詳細ログ →パースしたい値を選択 →
Create query time parsing rule 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
48 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数の作成 ・インスタンスIDの値を選択 → パースのキーを入力 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
49 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数の作成 ・Queryを選択 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
50 ◼ AWS CloudTrailイベントログの監視方法 ・aparse関数の作成 ・プレビューのクエリからaparse()の部分をNRQLに持っていく 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
51 ◼ AWS CloudTrailイベントログの監視方法 ・アラート発報先のサービス連携に役立つ ・PagerDutyの場合、インシデントタイトルにインスタンスIDを記載することが可能 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
52 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
53 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
54 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 → ログのJSONに追加することが可能
https://docs.newrelic.com/docs/logs/ui-data/query-time-parsing/ 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
55 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 → ログのJSONに追加することが可能
4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
56 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 → ログのJSONに追加することが可能
→ パースのルールを変更/削除することが可能 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
57 ◼ AWS CloudTrailイベントログの監視方法 ・Create Rule → ログコンソールのカラムに追加することが可能 → ログのJSONに追加することが可能
→ パースのルールを変更/削除することが可能 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
58 ◼ もう一つのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・Log → Parsing → Create parsing
rule 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
59 ◼ そのほかのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・Log → Parsing → Create parsing
rule https://docs.newrelic.com/docs/logs/ui-data/parsing/#built-in-rules 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
60 ◼ そのほかのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・Log → Parsing → Create parsing
rule 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
61 ◼ そのほかのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・Grokパターンの場合 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
62 ◼ そのほかのパース機能 ・Grokパターンの場合 ・SYSLOGTIMESTAMP %{MONTH} +%{MONTHDAY} %{TIME} ・GREEDYDATA .*
・MONTH \b(?:Jan(?:uary)?|Feb(?:ruary)?|Mar(?:ch)?|Apr(?:il)?|May|Jun(?:e)?| Jul(?:y)?|Aug(?: ust)?|Sep(?:tember)?|Oct(?:ober)?| Nov(?:ember)?|Dec(?:ember)?)\b ・ MONTHDAY (?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9]) 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
63 ◼ そのほかのパース機能 ・Grokパターンの場合(Logtype = apache) https://docs.newrelic.com/docs/logs/ui-data/built-log-parsing-rules/#apache 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
64 ◼ そのほかのパース機能 ・JSONパースについて(Grokパターン、正規表現) ・正規表現パターンの場合 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
65 ◼ そのほかのパース機能 ・パースルールの作成後のログ情報 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
66 ◼ そのほかのパース機能 ・作成したパースルール 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
67 ◼ 個人的Tips ・New Relicにはログを簡単にパースできる機能が用意されている ・Query time parsingではパースの知識がなくとも簡単にパースクエリを用いた監視を 実装することができる ・Ingest
ParsingではGrokパターンや正規表現を用いてパースすることができる 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
68 ◼ それぞれのパース機能の比較 aparse関数 (Query time parsing) Grokパターン、正規表現 (Ingest Parsing)
クエリ実行時に適用 ログ取り込み時に適用 永続的ではない属性に対するクエリを実行す るのに最適 将来的にクエリできる永続的な属性を作成す るのに最適 UI上で直感的に設定を適用することが可能 柔軟にログの抽象化が可能 https://docs.newrelic.com/docs/logs/ui-data/query-time-parsing/ 4.JSON形式のデータログ(AWS CloudTrail)監視とクエリパース
5. まとめ 69 ◼ API Polling ・API Pollingで収集されるメトリクスはNew Relicに事前に定義されたもののみ ・例えば、Amazon
RDSではACUUtilizationが収集されない ・AWS CloudTrailではエラーイベントとログインイベント以外は収集されない ◼ CloudWatch Metric Streams ・CloudWatch Metric Streamsでのメトリクス収集についてはサポートされないAWSサービスがある ・大半のAWSサービスはサポート対象とされているが、一部サービスはサポートされていない ・利用料面において、収集対象のサービス/メトリクスを絞ることが大事 ・例えば、AWS CloudTrailはサポートされていない ◼ クエリパース ・New Relicにはログを簡単にパースできる機能が用意されている ・Query time parsingはパースの知識不要で簡単にパースクエリを用いた監視を実装することができる ・Ingest ParsingではGrokパターンや正規表現を用いてパースすることができる