Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ログ集約基盤をCloudWatchからOpenSearchに変えてみた

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →
Avatar for YouYou YouYou
August 02, 2022
Technology
0
480

 ログ集約基盤をCloudWatchからOpenSearchに変えてみた

詳細ブログ↓
https://cuebic.hatenablog.com/entry/2022/07/11/154446

Avatar for YouYou

YouYou

August 02, 2022
Tweet

More Decks by YouYou

See All by YouYou
AWSマネコンに複数のアカウントで入れるようになりました
Avatar for YouYou yuhta28
2
270
今インフラ技術をイチから学び直すなら
Avatar for YouYou yuhta28
1
270
AWSに詳しくない人でも始められるコスト最適化ガイド
Avatar for YouYou yuhta28
3
660
Datadog外形監視基盤をEC2から ECSへ移行してみた
Avatar for YouYou yuhta28
0
1.7k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
Avatar for YouYou yuhta28
1
1.8k
小さなことから始めるAWSコスト最適入門
Avatar for YouYou yuhta28
1
1.4k
Datadogのコストも監視しよう
Avatar for YouYou yuhta28
1
1k
Rcloneを使った定期的なストレージ同期
Avatar for YouYou yuhta28
0
810
Pulumiを触ってみよう
Avatar for YouYou yuhta28
1
2.7k

Other Decks in Technology

See All in Technology
1GB RAMのラズピッピで何ができるのか試してみよう / 20260319-rpijam-1gb-rpi-whats-possible
Avatar for Akira Ouchi akkiesoft
0
670
スケールアップ企業でQA組織が機能し続けるための組織設計と仕組み〜ボトムアップとトップダウンを両輪としたアプローチ〜

Avatar for tarappo tarappo
3
290
夢の無限スパゲッティ製造機 #phperkaigi
Avatar for hideki kinjyo o0h
PRO
0
300
品質を経営にどう語るか #jassttokyo / Communicating the Strategic Value of Quality to Executive Leadership
Avatar for kyonmm kyonmm
PRO
2
930
会社紹介資料 / Sansan Company Profile
Avatar for Sansan, Inc. sansan33
PRO
16
410k
WebアクセシビリティをCI/CDで担保する ― axe DevTools × Playwright C#実践ガイド
Avatar for tomokusaba tomokusaba
2
200
LINEヤフーにおけるAIOpsの現在地
Avatar for LINEヤフーTech (LY Corporation Tech) lycorptech_jp
PRO
4
1.5k
Kiro Powers 入門
Avatar for Kazuki Adachi k_adachi_01
0
130
「通るまでRe-run」から卒業！落ちないテストを書く勘所
Avatar for asumikam asumikam
2
430
スピンアウト講座04_ルーティン処理
Avatar for overflow ,Inc overflowinc
0
320
Tebiki Engineering Team Deck
Avatar for Tebiki, Inc. tebiki
0
27k
欠陥分析（ODC分析）における生成AIの活用プロセスと実践事例 / 20260320 Suguru Ishii & Naoki Yamakoshi & Mayu Yoshizawa
Avatar for SHIFT EVOLVE shift_evolve
PRO
0
240

Featured

See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
Avatar for Addy Osmani addyosmani
10
1.1k
Producing Creativity
Avatar for Steve Smith orderedlist
PRO
348
40k
Rails Girls Zürich Keynote
Avatar for Gregor Martynus gr2m
96
14k
The Straight Up "How To Draw Better" Workshop
Avatar for Dennis Kardys denniskardys
239
140k
The Cult of Friendly URLs
Avatar for Andy Hume andyhume
79
6.8k
New Earth Scene 8
Avatar for Sydney Stone popppiees
1
1.8k
Dominate Local Search Results - an insider guide to GBP, reviews, and Local SEO
Avatar for Greg Gifford greggifford
PRO
0
110
The Organizational Zoo: Understanding Human Behavior Agility Through Metaphoric Constructive Conversations (based on the works of Arthur Shelley, Ph.D)
Avatar for Dr. Kim W Petersen kimpetersen
PRO
0
270
For a Future-Friendly Web
Avatar for Brad Frost brad_frost
183
10k
Fight the Zombie Pattern Library - RWD Summit 2016
Avatar for Marcelo Somers marcelosomers
234
17k
Applied NLP in the Age of Generative AI
Avatar for Ines Montani inesmontani
PRO
4
2.2k
Lessons Learnt from Crawling 1000+ Websites
Avatar for Charles Meaden charlesmeaden
PRO
1
1.1k

Transcript

  1. ログ集約基盤をCloudWatchから OpenSearchに変えてみた 1

  2. Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 自己紹介 Twitter 2

  3. 目次 • 背景 • 実装 • 課題 • 改善 •

    よかったこと • まとめ 3

  4. 背景 4

  5. 背景 5 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  6. 実装 6 AWS側でCloudWatchのログを OpenSearchに転送してくれる

  7. 課題 7 すべてのレコードが文字列型で登 録される!!

  8. 改善 8

  9. 改善 9 すべてのレコードが文字列型で登 録される!!

  10. 改善 10 数値型に変換! Fluentdの設定はブログを 御覧ください

  11. よかったこと 11 専用のIAMユーザーを 発行する必要がなくなった

  12. よかったこと 12 ステータスコード割合

  13. よかったこと 13 解決 • ほぼリアルタイムで検索 • 全文検索で検索性向上 • ダッシュボード作成 •

    Google認証で簡単ログイン 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  14. まとめ 14

  15. より詳しい内容は弊社ブログに 15 CloudWatch LogsからOpenSearchへログ集 約を移行した - CUEBiC TEC BLOG (hatenablog.com)

  16. ありがとうございました 16