Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

ログ集約基盤をCloudWatchからOpenSearchに変えてみた

Avatar for YouYou YouYou
August 02, 2022
Technology
520
0

 ログ集約基盤をCloudWatchからOpenSearchに変えてみた

詳細ブログ↓
https://cuebic.hatenablog.com/entry/2022/07/11/154446

Avatar for YouYou

YouYou

August 02, 2022

More Decks by YouYou

See All by YouYou
AWSマネコンに複数のアカウントで入れるようになりました
Avatar for YouYou yuhta28
2
330
今インフラ技術をイチから学び直すなら
Avatar for YouYou yuhta28
1
320
AWSに詳しくない人でも始められるコスト最適化ガイド
Avatar for YouYou yuhta28
3
710
Datadog外形監視基盤をEC2から ECSへ移行してみた
Avatar for YouYou yuhta28
0
1.9k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
Avatar for YouYou yuhta28
1
1.9k
小さなことから始めるAWSコスト最適入門
Avatar for YouYou yuhta28
1
1.5k
Datadogのコストも監視しよう
Avatar for YouYou yuhta28
1
1.1k
Rcloneを使った定期的なストレージ同期
Avatar for YouYou yuhta28
0
900
Pulumiを触ってみよう
Avatar for YouYou yuhta28
1
2.8k

Other Decks in Technology

See All in Technology
bpf_arenaとstruct_opsを使うのが難しかった話
Avatar for KANAI Masumi masu_mi
0
220
[dbts2026]数十PBの超巨大データ×AI活用を支えるSnowflakeの実力〜大規模環境におけるアーキテクチャと運用のリアル〜
Avatar for Matsubara y_matsubara
0
120
AI Agent 時代のデータ基盤： ClickHouse で実現する 超高速分析とコスト削減の両立
Avatar for jozono jozono
0
220
自治体AIコンタクトセンター、何をどこに任せる？～Amazon Connect Customer ＋Amazon Bedrockの実践知～ / 20261107 Satoshi Torano
Avatar for SHIFT EVOLVE shift_evolve
PRO
1
120
セキュリティ専任チームなしで攻撃を先回りするSREが実践したSIEM on Amazon OpenSearch Service
Avatar for サイバーセキュリティクラウド cscengineer
PRO
1
720
An Introduction to Context Ontology Accelerator (teaching AI agents what your data means)
Avatar for Riku INADA inariku
PRO
1
200
業務でAWSをあまり使っていない私が、AWSへのモチベを保つ方法
Avatar for Makky12 smt7174
0
180
アラートを見直していたら営業組織への理解にちょっとだけ繋がった話
Avatar for kaita z63d
0
110
基本から分かる！AWSセキュリティ運用の考え方と任せ方
Avatar for cm-usuda-keisuke cmusudakeisuke
1
470
AWS基盤改善を支える 私たちの理念と行動指針
Avatar for Kento Suzuki kentosuzuki
0
140
Active Directory と Entra ID のむむむな関係
Avatar for Murachi Akira murachiakira
PRO
4
1.7k
Metadata - Section 3 : Dublin Core Standard · DC
Avatar for mohab soliman mohab1
0
120

Featured

See All Featured
Automating Front-end Workflow
Avatar for Addy Osmani addyosmani
1370
210k
Ten Tips & Tricks for a 🌱 transition
Avatar for Manu Carrasco Molina stuffmc
1
280
Jess Joyce - The Pitfalls of Following Frameworks
Avatar for Tech SEO Connect techseoconnect
PRO
1
470
Practical Orchestrator
Avatar for Shlomi Noach shlominoach
192
12k
Designing for Timeless Needs
Avatar for Cassini Nazir cassininazir
1
550
Fantastic passwords and where to find them - at NoRuKo
Avatar for Phil Nash philnash
53
4k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
Avatar for soudai sone soudai
PRO
203
77k
The Spectacular Lies of Maps
Avatar for Per Axbom axbom
PRO
1
1.1k
Optimizing for Happiness
Avatar for Tom Preston-Werner mojombo
378
71k
Skip the Path - Find Your Career Trail
Avatar for Mark Kilby mkilby
1
290
ピンチをチャンスに：未来をつくるプロダクトロードマップ #pmconf2020
Avatar for Aki / @LoveIdahoBurger aki_iinuma
128
56k
Self-Hosted WebAssembly Runtime for Runtime-Neutral Checkpoint/Restore in Edge–Cloud Continuum
Avatar for Yuki Nakata chikuwait chikuwait
0
930

Transcript

  1. ログ集約基盤をCloudWatchから OpenSearchに変えてみた 1

  2. Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 自己紹介 Twitter 2

  3. 目次 • 背景 • 実装 • 課題 • 改善 •

    よかったこと • まとめ 3

  4. 背景 4

  5. 背景 5 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  6. 実装 6 AWS側でCloudWatchのログを OpenSearchに転送してくれる

  7. 課題 7 すべてのレコードが文字列型で登 録される!!

  8. 改善 8

  9. 改善 9 すべてのレコードが文字列型で登 録される!!

  10. 改善 10 数値型に変換! Fluentdの設定はブログを 御覧ください

  11. よかったこと 11 専用のIAMユーザーを 発行する必要がなくなった

  12. よかったこと 12 ステータスコード割合

  13. よかったこと 13 解決 • ほぼリアルタイムで検索 • 全文検索で検索性向上 • ダッシュボード作成 •

    Google認証で簡単ログイン 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  14. まとめ 14

  15. より詳しい内容は弊社ブログに 15 CloudWatch LogsからOpenSearchへログ集 約を移行した - CUEBiC TEC BLOG (hatenablog.com)

  16. ありがとうございました 16