Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
監視入門!監視で困ってませんか?
Search
Show Murai
June 20, 2018
0
300
監視入門!監視で困ってませんか?
Show Murai
June 20, 2018
Tweet
Share
More Decks by Show Murai
See All by Show Murai
システムを構築するときに 気をつける10のこと
showmurai
4
140
AWS vs GCP 今から作るならどちらがいいの 20180330
showmurai
1
1.3k
システムを構築するときに 気をつける10のこと
showmurai
0
1.5k
KubernetesでCLIを快適を使いたい
showmurai
0
1.9k
AWS vs GCP 今から作る ならどっちがいいの!?
showmurai
52
83k
データサイエンスのためのAWSの使い方入門
showmurai
1
930
Featured
See All Featured
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
The Pragmatic Product Professional
lauravandoore
31
6.2k
Optimising Largest Contentful Paint
csswizardry
30
2.8k
Building Adaptive Systems
keathley
36
2.1k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
103
48k
Debugging Ruby Performance
tmm1
72
12k
The Language of Interfaces
destraynor
153
23k
Gamification - CAS2011
davidbonilla
79
5k
No one is an island. Learnings from fostering a developers community.
thoeni
18
2.9k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Into the Great Unknown - MozCon
thekraken
29
1.4k
The Invisible Customer
myddelton
119
13k
Transcript
ࢹೖʂ ࢹͰࠔͬͯ·ͤΜ͔ʁ αϙʔλʔζCoLabษڧձ Jun 20 2018 ଜҪ ᠳଠ࿕
͖ΐ͏ͳ͢͜ͱ 1. ࣗݾհ 2. ࢹͱ 3. ࢹઓུΛ࿅Δ 4. ৭ʑͳࢹͷํ๏πʔϧͷհ 5.
ࢀߟࢿྉ
ࣗݾհ
ࣗݾհ • ଜҪᠳଠ࿕ • @Show_murai • גࣜձࣾ LOB • Site
Reliability Engineer ※ຊͷൃදݸਓͷݟղͰ͋Γɺॴଐ͢Δ৫ͷެࣜݟղͰ͋Γ·ͤΜ
ࣗݾհ • ژग़ ౦ژࡏॅ • ࣾձਓ 6 • ֶੜͷࠒը૾ೝࣝɺ ίϯϐϡʔλϏδϣϯΛݚڀͯ͠·ͨ͠
• ৽ଔͰωοτϫʔΫػثͷ αʔόʔαΠυΤϯδχΞͬͯ·ͨ͠ • લ৬αΠόʔΤʔδΣϯτͰΠϯϑϥΤϯδχΞ • झຯཱྀߦ
ࢹͱ
ࢹΛ͢Δత • γεςϜͷঢ়ଶΛΔ • ݈߁அͷΑ͏ͳͷ • ࠓͷঢ়ଶ͕ద͔Ͳ͏͔ΛΔ • γεςϜোΛݕ͢Δ •
ো࣌ʹ͍ͪૣ͘γεςϜͷ෮چΛࢦ͢ • ϘτϧωοΫΛ୳͢ • γεςϜͷύϑΥʔϚϯε࠷େԽ͢Δॿ͚ͱͳΔ • ଏʹݴ͏ύϑΥʔϚϯεΤϯδχΞϦϯά
ࢹΛ͢ΔϨΠϠʔ • γεςϜϦιʔεϨΠϠʔ • ϋʔυΣΞɺωοτϫʔΫ • OSɺCPUɺMemoryɺDisk༻ྔ • ΞϓϦέʔγϣϯ/ϛυϧΣΞϨΠϠʔ •
γεςϜσʔϞϯϓϩηεɺMySQLɺNginxɺࢹΤʔδΣϯτ • JavaɺRailsΞϓϦέʔγϣϯɺΤϥʔϩά • αʔϏεϨΠϠʔ • HTTPϦΫΤετ͕ਖ਼ৗ͔ɺMySQLͷΫΤϦ͕࣮ߦग़དྷ͍ͯΔ͔ • ΞΫηεͷԠ࣌ؒʹԆ͕ൃੜ͍ͯ͠ͳ͍͔
ࢹʹؔ͢Δ༻ޠ • ࢹϝτϦΫε • औಘ͢Δͷ͜ͱ • ᮢ(͖͍ͪ͠) • ʮ80%Λ͑ͨΒʓʓ͢Δʯͷ80%ͷ͜ͱ •
τϦΨʔ • ࢹͯ͠ಛఆͷ݅ʹͯ·ͬͯ Կ͔ΞΫγϣϯΛ͢Δ͜ͱΛݴ͏ • Ξϥʔτ • τϦΨʔ݅ʹͯ·ͬͨ߹ɺ௨Λߦ͏(On-callɺSMSɺϝʔϧɺSlack…)
ࢹઓུΛཱͯΔ
ࢹͷઓུ • γεςϜʹͱͬͯԿ͕Ұ൪ॏཁ͔Λߟ͑Δ • ϏδωεతͳॏཁͳϙΠϯτΛεςʔΫϗϧμʔʹ֬ೝ͢Δ • HTTPϦΫΤετͷԠઈର1ඵҎԼ • ϩάͷফࣦઈରμϝ •
σʔλϕʔεͷॻ͖ࠐΈઈରʹམͱͤͳ͍ • ࢹ͢Δ߲/ࢹ͠ͳ͍߲ΛܾΊΔ • ࢹγεςϜෛՙʹͳΔ߹͕͋Δ • ࢹ߲͕ଟ͗ͯ͢ԿΛݟΕΑ͍͔ΘΒ͔ͳ͘ͳΔ • ਖ਼͍͠ᮢͷઃఆ • ࢹϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ • ฏۉɺ࠷େ/࠷খɺύʔηϯλΠϧ
ϝτϦΫεͷҙຯΛཧղ͢Δ • ϝτϦΫεͷҙຯΛਖ਼͘͠ཧղ͢Δ • ϩʔυΞϕϨʔδ • ࣮ߦதͷεϨουͱ࣮ߦ͞ΕΔͷΛͬͯΩϡʔΠϯά͞Ε͍ͯΔεϨου ͷ߹ܭϩʔυΞϕϨʔδ • CPUͷ౷ܭใ(vmstat)
• Ϣʔβ࣌ؒɿΧʔωϧίʔυҎ֎ͷ࣮ߦ࣌ؒ • γεςϜ࣌ؒɿΧʔωϧίʔυͷ࣮ߦ࣌ؒ • ΞΠυϧ࣌ؒɿͳʹ࣮ߦ͍ͯ͠ͳ͍࣌ؒ • I/Oͪ࣌ؒɿεϨου͕σΟεΫI/OͷͨΊʹϒϩοΫ͞Ε͍ͯͬͯΔ࣌ؒ • ౪·Εͨ࣌ؒɿԾڥͰ΄͔ͷςφϯτʹαʔϏεΛఏڙͨ࣌ؒ͠
దͳᮢͷܾఆ • ཧ͢ΔγεςϜʹͱͬͯ“ద”ͳᮢ • ex. ϝϞϦΛଟ͘ফඅ͢ΔΑ͏ͳγεςϜͷ߹ɺ ϝϞϦ༻ͷᮢߴΊʹઃఆ͓ͯ͘͠ • “ΦΦΧϛগ”ΛݮΒ͢ •
ᮢʹΑΓΞϥʔτ௨͕ͨ͘͞Μ͖ͯɺ ຊདྷΩϟονΞοϓ͍ͨ͠௨Λݟಀ͞ͳ͍Α͏ʹ͢Δ • ᮢదٓมߋͰ͖ΔΑ͏ʹ͓ͯ͘͠ • ex. ΞϓϦέʔγϣϯͷઃܭมߋͰϝϞϦ༻্͕͕Δ͔͠Εͳ͍
ϨΠϠʔ͝ͱͷࢹ • ୭͕ͲͷϨΠϠʔΛରԠ͢Δ͔༧ΊܾΊ͓ͯ͘ • γεςϜϦιʔεϨΠϠʔ • CPUɺϝϞϦɺσΟεΫɺωοτϫʔΫ… • ରԠऀɿΠϯϑϥΤϯδχΞɺΞϓϦέʔγϣϯΤϯδχΞ •
ΞϓϦέʔγϣϯ/ϛυϧΣΞϨΠϠʔ • ϓϩηεࢹɺΞϓϦέʔγϣϯϩάࢹɺ࣮ߦ࣌ؒࢹɺԆࢹ • ରԠऀɿΞϓϦέʔγϣϯΤϯδχΞɺӡ༻୲ऀ • αʔϏεϨΠϠʔ • ࢮ׆ࢹɺΤϯυϙΠϯτࢹ • ରԠऀɿͯ͢ͷΤϯδχΞɺϓϩδΣΫτϚωʔδϟʔ
ো࣌ͷӡ༻ϑϩʔΛܾΊΔ • ΤεΧϨʔγϣϯϙϦγʔͷ࡞ • ো௨Λड͚औΔਓͷ༏ઌΛܾΊΔ • ΞϥʔτΛड͚औͬͯԿ͔Βௐࠪ͢Δ͔ • Α͘ൃੜ͢ΔΞϥʔτ༧ΊରԠϑϩʔΛ༻ҙ͓ͯ͘͠ •
ex. υΩϡϝϯτͳͲΛ࡞͢Δ • োͷཧ • ͍ͭɺͲͷΑ͏ͳো͕Կ݅ൃੜ͔ͨ͠ཧ͢Δ • ౷ܭใΛऔಘͯ͠Λੳ͢Δ
ࢹπʔϧͷհ
ϞχλϦϯάπʔϧͷհ • Zabbix • Φʔϓϯιʔεͷࢹπʔϧ • ΠϯϑϥϞχλϦϯάʹ͍͍ͯΔ • ΧελϜεΫϦϓτΛ࡞Δ͜ͱͰॊೈʹࢹ͕Մೳ •
Datadog • ༗ྉͷSaaSܕࢹπʔϧ • ओཁΫϥυαʔϏεͱͷ࿈ܞॆ࣮ • APM2017ϦϦʔε͞Εͨ
ϞχλϦϯάπʔϧͷհ • mackerel • ͯͳ͕։ൃɺఏڙ͍ͯ͠Δ༗ྉͷSaaSܕࢹαʔϏε • αϙʔτυΩϡϝϯτ͕ຊޠͳͷͰ҆৺ • Prometheus •
Φʔϓϯιʔεͷࢹπʔϧ • Googleͷࢹπʔϧ”Borgmon”Λࢀߟʹ࡞ΒΕͨ • άϥϑͳͲͷ࡞GrafanaͳͲΛՄࢹԽπʔϧ͕ඞཁ
ϞχλϦϯάπʔϧͷհ • New Relic • ༗ྉͷSaaSܕϞχλϦϯάαʔϏε • ΞϓϦέʔγϣϯࢹ(APM)Ͱओʹར༻͞Ε͍ͯΔҹ • ֤ݴޠͷίʔυʹSDKΛೖΕΔ͜ͱͰࣗಈͰ
ΞϓϦέʔγϣϯͷϝτϦΫεΛϞχλϦϯάͰ͖Δ
ϞχλϦϯάπʔϧͷհ • Pingdom • ࢮ׆ࢹαʔϏε • άϩʔόϧΤϯυϙΠϯτʹରͯ͠ HTTP(S)ϦΫΤετΛ͛ͯ֎ܗࢹΛߦ͏ • PagerDurty
• Πϕϯτ௨Λ͢ΔͨΊͷSaaSܕࢹ௨αʔϏε • On-callɺSMSɺϝʔϧɺSlackͳͲʹରԠ • ΤεΧϨʔγϣϯϙϦγʔͳͲ࡞Մೳ
ੈքͷࢹπʔϧࣄ • SREcon 18ͰͷΞϯέʔτ݁Ռ
ࢀߟࢿྉ
ࢹʹ͍ͭͯͬͱΑ͘Δ • ৄղ γεςϜɾύϑΥʔϚϯε • Brendan Greggஶɺ ༃ߛ ༁ɺඌ ߴ߂
༁ • ύϑΥʔϚϯεΤϯδχΞϦϯάʹ͍ͭͯͷຊ ࢹઃܭ͢ΔͷʹඇৗʹࢀߟʹͳΔ • Monitoring Modern Infrastructure by Datadog • ͜Ε͔ΒͷϞχλϦϯάͲ͏ͨ͠Β͍͍͔ • ΫϥυڥΛ͍ͬͯͯಈతʹϦιʔε͕ มԽ͢Δ߹ͷࢹํ๏ͳͲࢀߟʹͳΔ
Q & A
͋Γ͕ͱ͏͍͟͝·ͨ͠