Monitoring Kubernetes

gcp ja night #29
12 Dec 2014

Transcript

1. Monitoring Kubernetes gcp ja night #29 Hatena Co., Ltd. @stanaka ! 2014/12/12 
2. [PR] Mackerel https://mackerel.io/ 
3. Kubernetes • Docker ΛΫϥελ؅ཧ! • ͍Ζ͍Ζͳ؀ڥͰಈ͔͍ͨ͠ • MackerelͰϦιʔε؅ཧ͍ͨ͠ 
4. 
5. Kubernetes Monitoring
 ʹؔ࿈͢Δཁૉ • kubelet • cAdvisor • heapster 
6. kubelet • ֤ϊʔυ(minion)Ͱಈ࡞ • kubernetes masterͱڠௐಈ࡞ 
7. cAdvisor • Dockerͷ౷ܭ৘ใΛऔಘ • ϗετશମͱίϯςφຖ • DockerҎ֎ͷίϯςφ΋ରԠ  HPPHMFDBEWJTPS
8. heapster • Ϧιʔε৘ใऩूπʔϧ • kubarnetesઐ༻ • InfluxDB΁Πϯϙʔτ  (PPHMF$MPVE1MBUGPSNIFBQTUFS
9. kubarnetesඪ४ϞχλϦϯά 
10. kubarnetesඪ४ϞχλϦϯά • heapster + cAdvisor 
 → InfuxDB & Grafana 
 • Ϋϥελ಺ʹ͋ΔͷͰɺΫϥελΛ མ͢ͱམͪΔ 
11. Minionͷ౷ܭ৘ใऔಘ • http://#{ipaddr}/stats/ • kubeletͷAPI • ཪͰcAdvisor͕ಈ͘  $  curl  http://10.240.153.49:10250/stats/  |  jq  'keys'   [      "name",      “spec",    #  εϖοΫ      “stats",  #  ౷ܭ৘ใ  1ඵ͝ͱ  60ඵؒ෼      "subcontainers"   ]
12. statsͷத਎  $  curl  http://10.240.56.195:10250/stats/90559c9f-­‐8123-­‐11e4-­‐ a0ec-­‐42010af08f91/php-­‐redis  |  jq  ".stats  |  .[]  |  .timestamp"   "2014-­‐12-­‐12T02:41:55.52640117Z"   "2014-­‐12-­‐12T02:41:56.526265405Z"   "2014-­‐12-­‐12T02:41:57.52632129Z"   "2014-­‐12-­‐12T02:41:58.526385146Z"   "2014-­‐12-­‐12T02:41:59.526285874Z"   "2014-­‐12-­‐12T02:42:00.526267704Z"   "2014-­‐12-­‐12T02:42:01.526227391Z"   "2014-­‐12-­‐12T02:42:02.526312936Z"   "2014-­‐12-­‐12T02:42:03.526225182Z"   “2014-­‐12-­‐12T02:42:04.526287033Z"   …  (ҎԼɺ60ඵ෼)
13. statsͷத਎ #2  #  curl  http://10.240.153.49:10250/stats/  |  jq   '.stats  |  .[0]  |  keys'   [      "cpu",      "diskio",      "filesystem",      "memory",      "network",      "timestamp"   ]  
14. statsͷத਎ৄࡉ  UJNFTUBNQ
    DQV
    NFNPSZ
    OFUXPSL
    
    
    \SY UY^@\CZUFT QBDLFUT FSSPST ESPQQFE^
    pMFTZTUFN
    
    
    EFWJDF<>
    
    
    
    
    DBQBDJUZ
    VTBHF
    
    JP@UJNF EJTLJP
    
    
    JP@NFSHFE
    
    
    JP@RVFVFE
    
    
    JP@TFSWJDF@CZUFT
    
    
    
    
    NBKPS
    NJOPS
    
    
    
    
    TUBUT
    
    
    
    
    
    
    "TZOD
    3FBE
    4ZOD
    5PUBM
    8SJUF
    
    
    JP@TFSWJDF@UJNF
    
    
    JP@TFSWJDFE
    
    
    JP@UJNF
    
    
    JP@XBJU@UJNF
    
    
    TFDUPST
    
15. ϞχλϦϯάख๏ • Ϋϥελ্Ͱಈ͍͍ͯΔ΋ͷΛ೺Ѳ • kubecfg list pods • kubecfg get pods/#{ID} • Munion্ͷίϯςφͷঢ়ଶऔಘ • /stats/#{ID}/#{container} 
16. kubecfg list pods • cluster/kubecfg.sh -json list pods  \
    
    
    JUFNT
    <
    
    
    
    
    \
    
    
    
    
    
    JE
    GDFBFDBGG
    
    
    
    
    
    IPTU
    LVCFSOFUFTNJOJPODCVPZBOU[PEJBDJOUFSOBM
    
    
    
    
    
    
    
    
    
    
    
    
    EFTJSFE4UBUF
    \
    
    
    
    
    
    
    
    
    NBOJGFTU
    \
    
    
    
    
    
    
    
    
    
    
    DPOUBJOFST
    <
    
    
    
    
    
    
    
    
    
    
    
    
    \
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    JNBHF
    CSFOEBOCVSOTQIQSFEJT
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    OBNF
    QIQSFEJT
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
17. kubecfg get pods • cluster/kubecfg.sh -json get pods/ 73f777c6-8123-11e4-a0ec-42010af08f91 • Ϩεϙϯε͸ list pods ͱಉ͡ 
18. Munion্ͷίϯςφͷঢ়ଶऔಘ • curl http://10.240.56.195:10250/ stats/90559c9f-8123-11e4- a0ec-42010af08f91/php-redis | jq ".stats | .[] | .timestamp” • Ϩεϙϯε͸/stats/ͱಉ͡ 
19. Φʔτεέʔϧ͍ͤͨ͞ • Ϧιʔε৘ใऔಘ • αΠζมߋ൑அ • αΠζมߋ࣮ߦ(ඞཁ͕͋Ε͹) 
20. podsͷಈతͳαΠζมߋ • resizeͰมߋ  cluster/kubecfg.sh  resize  frontendController  4 $  cluster/kubecfg.sh  list  replicationControllers   Name                                      Image(s)                                      Selector                        Replicas   -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐                          -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐                                  -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐                    -­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐-­‐   frontendController          brendanburns/php-­‐redis          name=frontend              4  
21. Kubenetesҹ৅ • ͍Ζ͍Ζศརʹ࢖͑ͦ͏Ͱເ͸͋Δ • ϓϩμΫγϣϯʹಥͬࠐΉͷ͸·ͩ… • དྷ೥Ն͙Β͍ʹ͸͜ͳΕ͖ͯͦ͏?