Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Fluentbit_mulitline_filterについて.pdf
Search
clouddev-code
June 13, 2024
1.2k
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Fluentbit_mulitline_filterについて.pdf
clouddev-code
June 13, 2024
Transcript
26 slides
2024.06.13 JAWS-UG 東京 #12 s.hiruta (@web_se) java, pythonのStackTraceにまたがる場合に有益な Multiline filter
pluginについて
Self introduction 【名前】 s.hiruta ( @web_se ) 【仕事】 コンテナ、マイクロサービス基盤構築 【興味分野】
Containers、WASM+LLM、 Github clouddev-code zenn clouddevcode 2
Previous LT Slide https://speakerdeck.com/cloudevcode 3
セッションの目的 multiline filterの概要、導入注意点 • 導入の背景 • 導入で期待されること • 具体的な使用例 •
4
アジェンダ • Containerログどう収集していますか • ログ収集パターン • メジャーなFluentbitについて深掘り • StackTraceなど複数行にまたがるときの問題点 •
Mulitiline filter • filter設定時の注意点 • Rewrite tag併用時の注意点 • まとめ 5
コンテナログ収集どうしていますか • 6
ECS https://aws.amazon.com/jp/blogs/news/under-the-hood-firelens-for-amazon-ecs-tasks/
8 EKS https://aws.amazon.com/jp/blogs/news/fluent-bit-for-amazon-eks-on-aws-fargate-is-here-jp/
ログ収集パターン • AWSlogs driver • Fluentbit • OpenTlemetry logging 9
AWSlog drvierによるログ収集 • 手軽だけど、Cloudwatch logsからS3にエクスポー トするときは、Amazon Firehoseあるいは、 EventBridgeを利用する必要がある • Cloudwatch
logsのPutLogEventsは高価 10
Fluentbit 11 • super fast, lightweight and high scalable logging
and metrics processor and forwarder https://www.fluentbit.io/
OpenTelmetry logging • OtelでContext Propagationの考え方でメトリクスとトレースと の相関があり、個々の価値向上を図れそう 12 https://opentelemetry.io/docs/specs/otel/logs/
Fluentbitについて深掘り 13
Fluentbitの仕組み 14
Fluentbitの仕組み • 15
Java、PythonなどStackTrace messageのときの問題点 16
Multiline filter • 複数のレコードやログ行に分割されたメッセージを 連結するのに役に立ちます。例としてスタックト レースやログを複数行に分けて出力するアプリ ケーション 17
Multiline filter 18
Multiline filter 19
Multiline filter 20
Rewrite tag 21 • ログレベルの文字列で出力させたい、別の出力先 に出したいときに利用する • Multiline filterと併用する場合、Rewrite Tagで変更
した後のタグが、Multiline の条件に一致しないよ うにする必要がある
Rewrite tag 22
Athena • ログ連結することでAthenaのログフィールドにマー ジさせてクエリすることができる 23
まとめ • 複数行のログメッセージをマージするときに便利 • Rewrite Tagとの併用に気をつける 24
索引 • Multiline – https://docs.fluentbit.io/manual/pipeline/filters/multiline-stacktrace • Fluent Bit の Multiline
Praserを使用して複数行ログを収集する – https://zenn.dev/nh8939/articles/add269d15152ba • Fluent Bit v3.0 Documentation – https://docs.fluentbit.io/manual 25
26 https://github.com/aws-samples/whats-new-summary-notifier AWS What’s new の 情報をクロールし、 Claude 3にまとめを chatに投稿ツール
ツールを改造して、 GoogleChatのスペー スに飛ばすこともで きる おまけ
More Decks by clouddev-code
See All by clouddev-code
CNDW2026_lambdamicroVMs_CI__1_.pdf
cloudevcode
0
59
Agent_Core_Interpreter_その他のSandox環境について.pdf
cloudevcode
0
35
ECSでのinit_containerを利用したOpen_Telmetry自動計装.pdf
cloudevcode
1
220
microVMsのユースケースを考える.pdf
cloudevcode
0
72
cdk8s_Helm_どちらを選ぶべきか_rev.pdf
cloudevcode
0
410
Regional_NAT_Gatewayについて_basicとの違い_試した内容スケールアウト_インについて_IPv6_dual_networkでの使い分けなど.pdf
cloudevcode
1
960
Grafana_LokiをECS_Fargateで構築する観点公開版.pdf
cloudevcode
0
77
ADK_for_Java.pdf
cloudevcode
1
120
initContainerをECSで実現したい.pdf
cloudevcode
0
81
Featured
See All Featured
Crafting Experiences
bethany
1
450
Getting science done with accelerated Python computing platforms
jacobtomlinson
2
580
Tips & Tricks on How to Get Your First Job In Tech
honzajavorek
1
850
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Accessibility Awareness
sabderemane
1
310
The Art of Programming - Codeland 2020
erikaheidi
57
15k
The Invisible Side of Design
smashingmag
301
52k
Navigating Weather and Climate Data
rabernat
0
600
A Tale of Four Properties
chriscoyier
163
24k
Lightning talk: Run Django tests with GitHub Actions
sabderemane
0
330
A brief & incomplete history of UX Design for the World Wide Web: 1989–2019
jct
2
570
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
33
5.9k