Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
CloudNative Daysを支える Observabilityの取り組み 2023年度編
Search
Taisuke Okamoto
December 19, 2023
Technology
0
200
CloudNative Daysを支える Observabilityの取り組み 2023年度編
CloudNative Daysを支えるObservabilityチームが今年取り組んできたことについて紹介させていただきます
Taisuke Okamoto
December 19, 2023
Tweet
Share
More Decks by Taisuke Okamoto
See All by Taisuke Okamoto
情熱と工夫で走り抜け! コミュニティをささえるObservability実践録
b1gb4by
1
420
Rancherと出会って - BB流 初心者でもわかる、虜になる瞬間
b1gb4by
0
230
リアルイベントのパワー! オフラインイベントの不思議な魅力に迫る
b1gb4by
0
2.5k
BB流 golangci-lintのイロハ
b1gb4by
1
1.4k
Other Decks in Technology
See All in Technology
dbtとAIエージェントを組み合わせて見えたデータ調査の新しい形
10xinc
6
1.2k
プロダクト開発と社内データ活用での、BI×AIの現在地 / Data_Findy
sansan_randd
1
530
OSSで50の競合と戦うためにやったこと
yamadashy
3
1k
CREが作る自己解決サイクルSlackワークフローに組み込んだAIによる社内ヘルプデスク改革 #cre_meetup
bengo4com
0
350
Retrospectiveを振り返ろう
nakasho
0
130
クラウドとリアルの融合により、製造業はどう変わるのか?〜クラスメソッドの製造業への取組と共に〜
hamadakoji
0
450
デザインとエンジニアリングの架け橋を目指す OPTiMのデザインシステム「nucleus」の軌跡と広げ方
optim
0
120
OCIjp_Oracle AI World_Recap
shinpy
1
180
頭部ふわふわ浄酔器
uyupun
0
230
AI AgentをLangflowでサクッと作って、1日働かせてみた!
yano13
1
160
.NET 10のBlazorの期待の新機能
htkym
0
150
AI時代、“平均値”ではいられない
uhyo
8
2.6k
Featured
See All Featured
The Cost Of JavaScript in 2023
addyosmani
55
9.1k
KATA
mclloyd
PRO
32
15k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.7k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Become a Pro
speakerdeck
PRO
29
5.6k
The Cult of Friendly URLs
andyhume
79
6.6k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
10
890
Side Projects
sachag
455
43k
How to Think Like a Performance Engineer
csswizardry
27
2.1k
A Modern Web Designer's Workflow
chriscoyier
697
190k
Stop Working from a Prison Cell
hatefulcrawdad
272
21k
Transcript
CloudNative Daysを支える Observabilityチームの取り組み 2023年度編 岡本 泰典 / IDC Frontier Inc.
2023/12/19 Mackerel Meetup #15 Tokyo #mackerelio
自己紹介 • 岡本 泰典 Taisuke Okamoto (@taisuke_bigbaby) • 株式会社IDCフロンティア ◦
KaaSエンジニア (Storage, Network) • Mackerel歴 ◦ 1年弱 (主にKubernetes環境下で利用) • 趣味 ◦ DJ、VJ etc... • 最近の出来事 ◦ CNDTのCo-chairになりました 2
AGENDA 1. CloudNative Daysって? 2. 今年のObservabilityチームの取り組み 3. 今後の目標 4. 最後に
3
CloudNative Daysとは? CloudNative Daysとは、IT技術者にとって必携の技術となったクラウドネイティブの啓蒙と さらなる普及を目指してIT技術者自らが主催・企画する技術者コミュニティです。 またコミュニティが主催する技術イベントの名称でもあります。 クラウドネイティブ技術についての国際的組織である CloudNative Computing
FoundationやLinux Foundation Japanと協力しながら 技術採用事例や実践ノウハウの紹介といった講演形式のカンファレンス 技術トレーニング、ミートアップ、オープンソースへのコントリビューション活動を 日本全国で展開しています。 クラウドネイティブ技術とは? クラウドネイティブ技術は、パブリッククラウド、プライベートクラウド、ハイブリッドクラウドなどの近代的でダイナミックな環境において、スケーラブルなア プリケーションを構築および実行するための能力を組織にもたらします。 このアプローチの代表例に、コンテナ、サービスメッシュ、マイクロサービス、イ ミュータブルインフラストラクチャ、および宣言型 APIがあります。 これらの手法により、回復性、管理力、および可観測性のある疎結合システムが実現します。 これらを堅牢な自動化と組み合わせることで、エンジニア はインパクトのある変更を最小限の労力で頻繁かつ予測どおりに行うことができます。 https://github.com/cncf/toc/blob/main/DEFINITION.md
CNDT2023 実行委員会 チーム紹介 Dreamkast Broadcast Observability Promotion Secretariat Contents Creators
Observabilityチームの活動 • 主な役割 ◦ イベント運営に関するテレメトリを収集して可視化 ▪ アプリケーションログ (EKS) ▪ イベントログ
(CFP, オンライン視聴者数) ▪ オフラインログ (CO2, セッション会場の混雑状況) • 今年やったこと ◦ 「APMツールを使ってちゃんと監視しようぜ!!」 ▪ Cloud Sentry の導入 • でも、コストが結構かかるな.... 💸💸💸💸 ◦ Self-Hosted Sentry の構築を決意 ▪ (これが、戦いの始まりだった....) 6
この1年の激闘 • Sentry自体の安定稼働に苦しめられた ◦ 主にKafkaやRedisが非自明に暴れることが多く、メモリやディスクの枯渇などが 原因でサービスが定期的に止まってしまった • カンファレンス本番会期中にも関わらずまともに動かないSentry ◦ 本番のトラフィック増大に耐えられず、結果的にエラーやメトリクスを収集する
以前に、アプリケーション側にただ負担をかけるだけの結果になってしまった 7
この1年の激闘 (現在) • カンファレンスでの失敗を期に構成の見直しや監視体制の充実を目指した ◦ Sentryコンポーネントの分離を試みたり ◦ PrometheusやLokiを中心にダッシュボードを作成したり ◦ (何回、データをふっ飛ばしたことやら・・・)
• 頑張った結果、CNDTでは無事稼働 ✨ • とはいえ監視インフラ自体のお守りも大変 ◦ なので、MackerelやNew RelicなどのSaaS検討も同時に進めたい ▪ Mackerelは導入も簡単で、プラグインで柔軟に拡張もできるので活用して いきたい ▪ MackerelはDaemonSetでエージェントを動かせるようになってほしい ▪ Otelも早くGAになってほしいなぁ・・・ 8
今後の目標 • Sentryの運用がかなり板についてきた • なので、これまでできていなかったカンファレンス自体のいろんなメトリクスを取得 していきたい ◦ ただ監視するのではなく、皆も楽しめるような形で公開できるようにしたい • 監視SaaSの導入は運用コストの軽減に繋がり、自分たちのやりたいことに注力するた
めにも必須と考えている 9
最後に • OpenTelemetry対応、ものすごく期待・応援しています! 10 https://mackerel.io/ja/blog/entry/meetup14-1