Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

ログ集約基盤をCloudWatchからOpenSearchに変えてみた

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →
Avatar for YouYou YouYou
August 02, 2022
Technology
510
0

 ログ集約基盤をCloudWatchからOpenSearchに変えてみた

詳細ブログ↓
https://cuebic.hatenablog.com/entry/2022/07/11/154446

Avatar for YouYou

YouYou

August 02, 2022

More Decks by YouYou

See All by YouYou
AWSマネコンに複数のアカウントで入れるようになりました
Avatar for YouYou yuhta28
2
320
今インフラ技術をイチから学び直すなら
Avatar for YouYou yuhta28
1
320
AWSに詳しくない人でも始められるコスト最適化ガイド
Avatar for YouYou yuhta28
3
700
Datadog外形監視基盤をEC2から ECSへ移行してみた
Avatar for YouYou yuhta28
0
1.9k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
Avatar for YouYou yuhta28
1
1.9k
小さなことから始めるAWSコスト最適入門
Avatar for YouYou yuhta28
1
1.5k
Datadogのコストも監視しよう
Avatar for YouYou yuhta28
1
1.1k
Rcloneを使った定期的なストレージ同期
Avatar for YouYou yuhta28
0
890
Pulumiを触ってみよう
Avatar for YouYou yuhta28
1
2.8k

Other Decks in Technology

See All in Technology
人にやさしく、AIにやさしく、書き手を選ばないIaCのガードレール再考 / Rethinking IaC Guardrails for Humans and AI Alike
Avatar for kohbis kohbis
5
2k
2026-09-26 Platform Engineering Kaigi 2026 インフラとアプリの境界線と委譲の設計 / Drawing the Infra and App Line
Avatar for SUZUKI Masashi masasuzu
0
560
生成AIを使って「人が」考える技術 ― AI時代の人機共想と実践ノウハウ｜UNITT AC2026
Avatar for 石井力重 ishiirikie
0
520
AI Native Platform Engineering 〜PlatformとAgileで“作る速さ”を“価値”へ〜
Avatar for Yuya Mizorogi uya116
0
590
認知負荷を吸収し、プロダクトをまたぐPR Preview基盤の設計事例
Avatar for taiki45 taiki45
2
570
OSC2026on_the-world-is-waiting-for-your-voice.pdf
Avatar for Naruhiko Ogasawara naruoga
0
220
1人アドミンな私は AWSアカウント申請をSlackで完結したい！
Avatar for Yosuke Suzuki ysuzuki
0
110
データ品質を壊しながらSnowflakeのAIに分析させてみた
Avatar for かわなご kawanago
0
370
spanner-autoscalerに学ぶ
CRD設計パターン
〜自動化と緊急時対応を両立する
Kubernetesコントローラーの作り方〜
Avatar for tkuchiki tkuchiki
0
220
Argo CDとAtlantisで実現するインフラ管理のセルフサービス化──小規模SREチームで支えるプラットフォーム
Avatar for DAN cassius7
0
270
Incremental HTTP
Avatar for kazuho kazuho
5
1.9k
Oracle Base Database Service 技術詳細
Avatar for oracle4engineer oracle4engineer
PRO
16
120k

Featured

See All Featured
Breaking role norms: Why Content Design is so much more than writing copy - Taylor Woolridge
Avatar for UX Y'all uxyall
1
430
Data-driven link building: lessons from a $708K investment (BrightonSEO talk)
Avatar for Szymon Słowik szymonslowik
1
1.3k
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
55
8.3k
My Coaching Mixtape
Avatar for mlcsv mlcsv
0
330
AI Search:
Where Are We & What Can We Do About It?
Avatar for Aleyda Solis aleyda
0
8k
Save Time (by Creating Custom Rails Generators)
Avatar for Garrett Dimon garrettdimon
PRO
33
5k
The Curse of the Amulet
Avatar for Matthew Lei leimatthew05
3
15k
The Language of Interfaces
Avatar for Des Traynor destraynor
162
27k
Jamie Indigo - Trashchat’s Guide to Black Boxes: Technical SEO Tactics for LLMs
Avatar for Tech SEO Connect techseoconnect
PRO
0
690
Color Theory Basics | Prateek | Gurzu
Avatar for Gurzu gurzu
1
480
Effective software design: The role of men in debugging patriarchy in IT @ Voxxed Days AMS
Avatar for Kenny Baas-Schwegler baasie
1
540
Large-scale JavaScript Application Architecture
Avatar for Addy Osmani addyosmani
515
110k

Transcript

  1. ログ集約基盤をCloudWatchから OpenSearchに変えてみた 1

  2. Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 自己紹介 Twitter 2

  3. 目次 • 背景 • 実装 • 課題 • 改善 •

    よかったこと • まとめ 3

  4. 背景 4

  5. 背景 5 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  6. 実装 6 AWS側でCloudWatchのログを OpenSearchに転送してくれる

  7. 課題 7 すべてのレコードが文字列型で登 録される!!

  8. 改善 8

  9. 改善 9 すべてのレコードが文字列型で登 録される!!

  10. 改善 10 数値型に変換! Fluentdの設定はブログを 御覧ください

  11. よかったこと 11 専用のIAMユーザーを 発行する必要がなくなった

  12. よかったこと 12 ステータスコード割合

  13. よかったこと 13 解決 • ほぼリアルタイムで検索 • 全文検索で検索性向上 • ダッシュボード作成 •

    Google認証で簡単ログイン 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  14. まとめ 14

  15. より詳しい内容は弊社ブログに 15 CloudWatch LogsからOpenSearchへログ集 約を移行した - CUEBiC TEC BLOG (hatenablog.com)

  16. ありがとうございました 16