Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Mapion Log/Monitoring

One compath
March 24, 2017
Technology
0
230

Mapion Log/Monitoring

2017.03.24 WOVN x Mapion 勉強会

One compath

March 24, 2017
Tweet

More Decks by One compath

See All by One compath
社内の制度を使って新規事業を⽴ち上げてみた話 OCEM#3
mapion
0
120
新規事業のアプリ、Flutterで作ってます〜U-ROUTEのポイ活対応編〜 OCEM#3
mapion
0
130
ウォーキングアプリ「aruku&」ってどうやって作ってるの？ OCEM#3
mapion
0
140
ONE COMPATH／ワンコンパス Company Deck For Engineer（会社紹介資料）
mapion
0
4.8k
ONE COMPATHの地図の開発技術～入門編～ OCEM #2
mapion
0
190
脱レガシー! Aurora PostgreSQLに移行してみた OCEM #2
mapion
1
680
エンジニアなので「技術」で仕事を効率化してみた ～Slack連携でチームの生産性が向上～　OCEM#2
mapion
0
170
20221112_FOSS4G2022Online.pdf
mapion
0
1.4k
ONE COMPATH／ワンコンパス　Company Deck（会社資料）
mapion
0
300

Other Decks in Technology

See All in Technology
目の前の仕事と向き合うことで成長できる - 仕事とスキルを広げる / Every little bit counts
soudai
26
7.5k
（機械学習システムでも） SLO から始める信頼性構築 - ゆる SRE#9 2025/02/21
daigo0927
0
170
AndroidXR 開発ツールごとの できることできないこと
donabe3
0
130
The Future of SEO: The Impact of AI on Search
badams
0
220
速くて安いWebサイトを作る
nishiharatsubasa
13
15k
データ資産をシームレスに伝達するためのイベント駆動型アーキテクチャ
kakehashi
PRO
2
580
Classmethod AI Talks(CATs) #17 司会進行スライド(2025.02.19) / classmethod-ai-talks-aka-cats_moderator-slides_vol17_2025-02-19
shinyaa31
0
140
Tech Blogを書きやすい環境づくり
lycorptech_jp
PRO
1
250
Helm , Kustomize に代わる !? 次世代 k8s パッケージマネージャー Glasskube 入門 / glasskube-entry
parupappa2929
0
250
利用終了したドメイン名の最強終活〜観測環境を育てて、分析・供養している件〜 / The Ultimate End-of-Life Preparation for Discontinued Domain Names
nttcom
2
260
地方拠点で エンジニアリングマネージャーってできるの？ 〜地方という制約を楽しむオーナーシップとコミュニティ作り〜
1coin
1
240
転生CISOサバイバル・ガイド / CISO Career Transition Survival Guide
kanny
3
1k

Featured

See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
240
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
RailsConf 2023
tenderlove
29
1k
Unsuck your backbone
ammeep
669
57k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7k
Code Review Best Practice
trishagee
67
18k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Testing 201, or: Great Expectations
jmmastey
42
7.2k
The Invisible Side of Design
smashingmag
299
50k

Transcript

  1. Mapion Log/Monitoring ByɹSuto Mapion Infrastructure Group Hironori Suto.

  2. Logs. (Access log.)

  3. Mapion Log. ֤γεςϜͷཁٻʹԠͯ͡ෳ਺ύλʔϯ ݹ͘ͳΓ͍͗ͯ͢Δ෦෼΋͋ΔͷͰ௚͍͖͍ͯͨ͠ ͱ͜Ζ΋͋Γ·͢ɻ

  4. ELB+S3+Redshift ELB EC2 Access Logs S3 Redshift Other data

  5. ELB+S3+Redshift Pros - Less changes. - Sql like search. Cons

    - Cost.

  6. ELB+S3+Athena ELB EC2 Access Logs S3 Athena

  7. ELB+S3+Athena Pros - Less changes. - Sql like search. -

    Low cost. Cons - Only Access Logs.

  8. ELB+S3+Athena+ re-dash ELB EC2 Access Logs S3 Athena Other data

  9. Re-dash Visualizing tool for any data sources. MySQL,PostgreSQL,Elastic search mongoDB,

    Athena and so on.

  10. Re-dash

  11. EC2(or nova) + fluentd+kibana ELB EC2 Access Proxy Server Fluentd(td-agent)

    EC2 Elastic search + Elastic search service

  12. Pros - Search. - Any logs. - Realtime Watch. Cons

    - Cost. EC2(or nova) + fluentd+kibana

  13. Legacy… Maintenance cost… SCP + awstats.

  14. Monitoring

  15. Monitoring - Zabbix (Helion & AWS) 1 Zabbix Instance →

    AWS(vpc) ≒100 instance 1 Zabbix Instance → Helion ≒100 instance 3 Zabbix Instance → AWS(classic) ≒80 instance

  16. Monitoring - Cloudwatch for AWS system (ELB etc)

  17. AutoScale + Zabbix Zabbix Zabbix API Chef +Script New Server

  18. AutoScale + Zabbix  Zabbix Zabbix API Script Delete Server

  19. AutoScale + Zabbix Zabbix Alert Log.

  20. Service Check(Nagios) ELB AWS Public cloud Nagios