Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ログ集約基盤をCloudWatchからOpenSearchに変えてみた

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for YouYou YouYou
August 02, 2022
Technology
0
470

 ログ集約基盤をCloudWatchからOpenSearchに変えてみた

詳細ブログ↓
https://cuebic.hatenablog.com/entry/2022/07/11/154446

Avatar for YouYou

YouYou

August 02, 2022
Tweet

More Decks by YouYou

See All by YouYou
AWSマネコンに複数のアカウントで入れるようになりました
Avatar for YouYou yuhta28
2
270
今インフラ技術をイチから学び直すなら
Avatar for YouYou yuhta28
1
270
AWSに詳しくない人でも始められるコスト最適化ガイド
Avatar for YouYou yuhta28
3
650
Datadog外形監視基盤をEC2から ECSへ移行してみた
Avatar for YouYou yuhta28
0
1.7k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
Avatar for YouYou yuhta28
1
1.8k
小さなことから始めるAWSコスト最適入門
Avatar for YouYou yuhta28
1
1.3k
Datadogのコストも監視しよう
Avatar for YouYou yuhta28
1
1k
Rcloneを使った定期的なストレージ同期
Avatar for YouYou yuhta28
0
800
Pulumiを触ってみよう
Avatar for YouYou yuhta28
1
2.6k

Other Decks in Technology

See All in Technology
AIで「ふとした疑問」を即座に検証する 〜定量で圧倒するN1理解〜
Avatar for KAKEHASHI kakehashi
PRO
3
720
大規模な組織におけるAI Agent活用の促進と課題
Avatar for LINEヤフーTech (LY Corporation Tech) lycorptech_jp
PRO
4
4.2k
「静的解析」だけで終わらせない。 SonarQube の最新機能 × AIで エンジニアの開発生産性を本気で上げる方法
Avatar for Wenhan Shi xibuka
2
250
GoとWasmでつくる軽量ブラウザUI
Avatar for kyo keyl0ve
0
130
AI駆動開発とRAGプロダクトへの挑戦の軌跡 - 弁護士ドットコムでの学びから -
Avatar for 弁護士ドットコム bengo4com
2
790
20260222ねこIoTLT　ねこIoTLTをふりかえる
Avatar for フクイ poropinai1966
0
190
Agentic Codingの実践とチームで導入するための工夫
Avatar for LINEヤフーTech (LY Corporation Tech) lycorptech_jp
PRO
0
130
既存のログ監視システムをクラウドっぽく実装してみた
Avatar for tjmtrhs tjmtrhs
0
190
Open Table Formatにおけるストレージ抽象化の比較
Avatar for LINEヤフーTech (LY Corporation Tech) lycorptech_jp
PRO
1
200
Agent Payments Protocolで実装するAIエージェント間取引
Avatar for Hakamada-DentsuSoken tokio007
0
160
社内ワークショップで終わらせない 業務改善AIエージェント開発
Avatar for LINEヤフーTech (LY Corporation Tech) lycorptech_jp
PRO
1
300
チーム開発の基礎_研究を事業につなげるために
Avatar for CyberAgent cyberagentdevelopers
PRO
8
4.3k

Featured

See All Featured
Fireside Chat
Avatar for paigeccino paigeccino
41
3.8k
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
Avatar for Aleyda Solis aleyda
1
1.1k
A Guide to Academic Writing Using Generative AI - A Workshop
Avatar for Kenji Saito ks91
PRO
0
220
The Anti-SEO Checklist Checklist. Pubcon Cyber Week
Avatar for Ryan Jones ryanjones
0
81
Visualization
Avatar for Eitan Lees eitanlees
150
17k
Designing for Timeless Needs
Avatar for Cassini Nazir cassininazir
0
140
16th Malabo Montpellier Forum Presentation
Avatar for AKADEMIYA2063 akademiya2063
PRO
0
59
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
Avatar for Tammy Everts tammyeverts
11
850
The Director’s Chair: Orchestrating AI for Truly Effective Learning
Avatar for Mike Taylor tmiket
1
110
ピンチをチャンスに：未来をつくるプロダクトロードマップ #pmconf2020
Avatar for Aki / @LoveIdahoBurger aki_iinuma
128
55k
The Cost Of JavaScript in 2023
Avatar for Addy Osmani addyosmani
55
9.7k
Abbi's Birthday
Avatar for Violet Bock coloredviolet
2
5k

Transcript

  1. ログ集約基盤をCloudWatchから OpenSearchに変えてみた 1

  2. Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 自己紹介 Twitter 2

  3. 目次 • 背景 • 実装 • 課題 • 改善 •

    よかったこと • まとめ 3

  4. 背景 4

  5. 背景 5 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  6. 実装 6 AWS側でCloudWatchのログを OpenSearchに転送してくれる

  7. 課題 7 すべてのレコードが文字列型で登 録される!!

  8. 改善 8

  9. 改善 9 すべてのレコードが文字列型で登 録される!!

  10. 改善 10 数値型に変換! Fluentdの設定はブログを 御覧ください

  11. よかったこと 11 専用のIAMユーザーを 発行する必要がなくなった

  12. よかったこと 12 ステータスコード割合

  13. よかったこと 13 解決 • ほぼリアルタイムで検索 • 全文検索で検索性向上 • ダッシュボード作成 •

    Google認証で簡単ログイン 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  14. まとめ 14

  15. より詳しい内容は弊社ブログに 15 CloudWatch LogsからOpenSearchへログ集 約を移行した - CUEBiC TEC BLOG (hatenablog.com)

  16. ありがとうございました 16