Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ログ集約基盤をCloudWatchからOpenSearchに変えてみた

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for YouYou YouYou
August 02, 2022
Technology
500
0

 ログ集約基盤をCloudWatchからOpenSearchに変えてみた

詳細ブログ↓
https://cuebic.hatenablog.com/entry/2022/07/11/154446

Avatar for YouYou

YouYou

August 02, 2022

More Decks by YouYou

See All by YouYou
AWSマネコンに複数のアカウントで入れるようになりました
Avatar for YouYou yuhta28
2
290
今インフラ技術をイチから学び直すなら
Avatar for YouYou yuhta28
1
310
AWSに詳しくない人でも始められるコスト最適化ガイド
Avatar for YouYou yuhta28
3
680
Datadog外形監視基盤をEC2から ECSへ移行してみた
Avatar for YouYou yuhta28
0
1.8k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
Avatar for YouYou yuhta28
1
1.9k
小さなことから始めるAWSコスト最適入門
Avatar for YouYou yuhta28
1
1.4k
Datadogのコストも監視しよう
Avatar for YouYou yuhta28
1
1.1k
Rcloneを使った定期的なストレージ同期
Avatar for YouYou yuhta28
0
850
Pulumiを触ってみよう
Avatar for YouYou yuhta28
1
2.7k

Other Decks in Technology

See All in Technology
ruby.wasmとPicoRuby.wasmに対応した仮想DOMライブラリを作ってる話 #kaigieffect_kaigi
Avatar for sue445 sue445
PRO
0
150
DMM.com 購入改善推進チーム におけるCodeRabbitを用いた レビューフロー改善の一例
Avatar for Kanon ysknsid25
2
630
Empower GenAI with Agile - あなたのアジャイルが生成AIのバフになる仕組み
Avatar for Hiroyuki Ito (TheHiro) hageyahhoo
1
180
完全自律ロボットを作りたくて、先に開発を自律させた話(ROS Japan UG #63 LT)
Avatar for ありさん ( ari-san ) rryz09
0
530
Compose 新機能総まとめ / What's New in Jetpack Compose
Avatar for Yuki Anzai yanzm
0
210
kintone の AI コワーカーを、 Anthropic にエージェントを"ホストさせて"作った話 #devkinmeetup
Avatar for Kazuya Sugimoto sugimomoto
0
100
公式ドキュメントの歩き方etc
Avatar for あべ coco_se
0
100
知らん間に、回ってる
Avatar for ming ming_ayami
0
570
人を動かすのは時間ではなく、納得感 〜新任EMが入社3ヶ月、組織を2回変えた話〜
Avatar for KAKEHASHI kakehashi
PRO
3
220
CSに"SLO"は要らない、経営層に"99.9%"は伝わらない - SREを全社に"翻訳"する3原則
Avatar for サイバーセキュリティクラウド cscengineer
PRO
1
4.5k
大量データに対しても、生成AIを用いてリーズナブルにデータ加工をしたい！Databricksのai_queryについて調べてみた
Avatar for Kamoshika kamoshika
1
130
タスクの複雑さでモデルを選ぶ ── Thompson Samplingで動かす“トークン/コスト最適化
Avatar for satoh-y-0323 satohy0323
0
370

Featured

See All Featured
Mozcon NYC 2025: Stop Losing SEO Traffic
Avatar for Sam Torres samtorres
1
320
How to Think Like a Performance Engineer
Avatar for Harry Roberts csswizardry
28
2.7k
Ecommerce SEO: The Keys for Success Now & Beyond - #SERPConf2024
Avatar for Aleyda Solis aleyda
1
2.1k
Winning Ecommerce Organic Search in an AI Era - #searchnstuff2025
Avatar for Aleyda Solis aleyda
1
2.1k
SEO Brein meetup: CTRL+C is not how to scale international SEO
Avatar for Linda Hogenes lindahogenes
1
2.8k
ReactJS: Keep Simple. Everything can be a component!
Avatar for Pedro Nauck pedronauck
666
130k
More Than Pixels: Becoming A User Experience Designer
Avatar for Michelle Schulp Hunt marktimemedia
3
460
The Illustrated Guide to Node.js - THAT Conference 2024
Avatar for David Neal reverentgeek
1
410
Money Talks: Using Revenue to Get Sh*t Done
Avatar for Nikki Halliwell nikkihalliwell
0
320
Building AI with AI
Avatar for Ines Montani inesmontani
PRO
1
1.1k
Measuring Dark Social's Impact On Conversion and Attribution
Avatar for Stephen Akadiri stephenakadiri
2
230
The MySQL Ecosystem @ GitHub 2015
Avatar for Sam Lambert samlambert
251
13k

Transcript

  1. ログ集約基盤をCloudWatchから OpenSearchに変えてみた 1

  2. Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 自己紹介 Twitter 2

  3. 目次 • 背景 • 実装 • 課題 • 改善 •

    よかったこと • まとめ 3

  4. 背景 4

  5. 背景 5 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  6. 実装 6 AWS側でCloudWatchのログを OpenSearchに転送してくれる

  7. 課題 7 すべてのレコードが文字列型で登 録される!!

  8. 改善 8

  9. 改善 9 すべてのレコードが文字列型で登 録される!!

  10. 改善 10 数値型に変換! Fluentdの設定はブログを 御覧ください

  11. よかったこと 11 専用のIAMユーザーを 発行する必要がなくなった

  12. よかったこと 12 ステータスコード割合

  13. よかったこと 13 解決 • ほぼリアルタイムで検索 • 全文検索で検索性向上 • ダッシュボード作成 •

    Google認証で簡単ログイン 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  14. まとめ 14

  15. より詳しい内容は弊社ブログに 15 CloudWatch LogsからOpenSearchへログ集 約を移行した - CUEBiC TEC BLOG (hatenablog.com)

  16. ありがとうございました 16