WebシステムのパフォーマンスとGo

DeNA.go #3

Transcript

1. WebγεςϜͷ ύϑΥʔϚϯεͱGo DeNA.go #3 id:karupaneura
2. id:karupanerura • ιϑτ΢ΣΞΤϯδχΞ @ DeNA, Co,. LTD. • ͓࢓ࣄ: ϓϥοτϑΥʔϜ։ൃ (Perl/Go/Java/etc..) • ISUCON8: ༧બग़୊νʔϜ (࡞໰ɺϕϯνϚʔΧʔ) • αϚʔΠϯλʔϯγοϓ2019: ΤϯδχΞ޲͚ίʔε։ൃ • ୅දཧࣄ @ Japan Perl Association
3. Goal
4. WebγεςϜʹ͓͚Δຊ౰ͷGoͷڧΈ Λߟ͑௚ͯ͠΋Β͏
5. ໰୊ҙࣝ • ʮͱΓ͋͑ͣGoͰॻ͍͓͚ͯ͹଎͍ΜͰ͠ΐʁʯ • ͍͘ΒLLͱൺ΂ͯϕϯνϚʔΫ͕༏ल͔ͩΒͱ͍ͬͯͦΓΌ… • ʮͰ΋ISUCONͰ༧બ௨աͯ͠ΔͷGoͷνʔϜ͹͔Γ͡ΌΜʯ • ༗རͳଆ໘͸ͨ͘͞Μ͋Δ͚Ͳ…είΞ͕௿͍νʔϜ΋…
6. ݱ࣮ΛݟΑ͏
7. ໰୊ͱ͔ͬ͠Γ޲͖߹͓͏
8. ࠓճ࿩͢͜ͱ • WebγεςϜʹ͓͚ΔύϑΥʔϚϯεͱ͸ͳʹ͔ • Ͳ͏͍ͬͨ΋ͷ͕ϘτϧωοΫʹͳΔͷ͔ • ͦͷͨΊʹGoͷػೳΛͲͷΑ͏ʹ׆༻͢Δͱྑ͍ͷ͔
9. ࠓճ࿩͞ͳ͍͜ͱ • DeNAαϚʔΠϯλʔϯγοϓͷৄࡉ • ͲͷΑ͏ʹܭଌͯ͠ϘτϧωοΫΛൃݟ͢ΔͱΑ͍͔
10. ͦ΋ͦ΋ύϑΥʔϚϯεͬͯͳΜ͚ͩͬʁ
11. WebγεςϜʹ͓͚Δཧ૝తύϑΥʔϚϯε • γεςϜશମͰߟ͑ͨͱ͖... • ୯Ґ࣌ؒ౰ͨΓʹͨ͘͞ΜͷϦΫΤετΛॲཧͰ͖Δ • ಉ࣌ʹෳ਺ͷϦΫΤετΛޮ཰Α͘ॲཧͰ͖Δ • ϦΫΤετ୯ҐͰඞཁͱ͢ΔϦιʔε͕গͳ͘ࡁΉ • ͋·ΓແବʹϦιʔεΛফඅ͠ͳ͍
12. ҰํͰݱ࣮ͷγεςϜͷଟ͘͸ ཧ૝తͳύϑΥʔϚϯεͰ͸ͳ͍
13. ͳͥύϑΥʔϚϯε͸௿Լ͢Δ͔ • γεςϜશମͰߟ͑ͨͱ͖ʹ... • ୯Ґ࣌ؒ౰ͨΓʹͨ͘͞ΜͷϦΫΤετΛॲཧͰ͖ͳ͍ • ಉ࣌ʹෳ਺ͷϦΫΤετΛॲཧ͢Δޮ཰͕ѱ͍ • ϦΫΤετ୯ҐͰඞཁͱ͢ΔϦιʔε͕ଟ͍ • ແବʹϦιʔεΛফඅͯ͠͠·͏
14. ύϑΥʔϚϯεͷ௿ԼཁҼΛഉআ͢Ε͹ ύϑΥʔϚϯε͸޲্Ͱ͖Δ
15. ύϑΥʔϚϯεͷ௿ԼཁҼΛഉআ͢Ε͹ ύϑΥʔϚϯε͸޲্Ͱ͖Δ γεςϜશମͷϘτϧωοΫʹ஫໨͢Δ΂͖
16. ۩ମྫΛҎͯߟ͑ͯΈΔ
17. DeNA αϚʔΠϯλʔϯγοϓ2019 ΤϯδχΞίʔε
18. ՝୊: ΞϓϦέʔγϣϯΛ͍͍ײ͡ʹͤΑ (͍͍ײ͡ʹ͸ύϑΥʔϚϯε΋ؚ·ΕΔ)
19. ΞϓϦέʔγϣϯ঺հ (demo)
20. ύϑΥʔϚϯεཁ݅ ʮ֨҆εϚϗͷൃചΛه೦͠CMʹग़ԋதͷਓؾܳਓ͕ϦΞϧλ ΠϜͰ࣭໰Λड͚෇͚Δઐ໳νϟϯωϧΛ։ઃ͠·͢ɻʯ ͜͜·Ͱ଱͑ΒΕΕ͹ޚͷࣈɺഒͰ΋େৎ෉ͳΒ҆຾Մೳɿ • 5000ൃݴ/ඵ (x2: 10000ൃݴ/ඵ) • 5ສਓͷಉ࣌઀ଓ (10ສಉ࣌઀ଓ)
21. γεςϜߏ੒ਤ • EC2 1୆ • AppͱDBಉډ • ALBͰTLSΛॲཧ • S3/Cloud Frontະ࢖༻
22. ύϑΥʔϚϯεվળͷྲྀΕ for { • ܭଌ • ϘτϧωοΫΛಛఆ • ϘτϧωοΫΛղফ }
23. ύϑΥʔϚϯεվળͷྲྀΕ for { • ܭଌ • ϘτϧωοΫΛಛఆ • ϘτϧωοΫΛղফɹˡɹࠓճ͸͜͜ʹ஫໨ }
24. ࣮ࡍͷύϑΥʔϚϯεվળ
25. վળޙͷγεςϜߏ੒ਤ • App/DB෼཭ • S3/Cloud Front׆༻ • ΄͔MySQLνϡʔχϯά౳
26. ൃݴ͕ଟ͘ͳΔ໰୊΁ͷରࡦ
27. ൃݴ͕ଟ͘ͳΔ໰୊΁ͷରࡦ • νϟοταʔϏεͷൃݴ͕ଟ͍ͱͲ͏ͳΔ͔ • DBͷinsert͕٧·Δ (MySQLͷνϡʔχϯάͰ΋Ұఆվળ͢Δ) • insert͕ͳͥ٧·Δ͔ • DBͷϩοΫΛಉ࣌ଟൃతʹऔΔ͜ͱʹͳΔ͔Β
28. insertͷϩοΫڝ߹ʹͲ͏ରॲ͢Δ͔ • insert͸DBͷϩοΫΛऔΔ͜ͱʹͳΔ • ϩοΫΛऔΔػձΛ΁Β͢͜ͱʹΑͬͯϩοΫڝ߹ΛݮΒͤΔ • ෳ਺ͷൃݴΛ·ͱΊͯinsert͢Δͱ... • 1ճͷϩοΫͰෳ਺ͷൃݴ͕insertͰ͖͓ͯಘ
29. insertΛbufferingͯ͠·ͱΊͯ΍Δ • ൃݴΛόοϑΝϦϯάͯ͠insert͢Δworker goroutineΛ࡞੒ • ϦΫΤετΛॲཧ͢Δgoroutine͔Βchannelܦ༝Ͱ౤͛Δ • channelͰinsertͷ݁ՌΛड͚औΔ • worker͸buffer͕Ұఆ݅਺ཷ·ͬͨͱ͖͔ҰఆͷintervalͰॲཧ
30. ࣮ࡍͷίʔυ • ʢDBνϡʔχϯά͚ͩͰ໰୊Λղফͯ͠͠·ͬͨͷͰະ࣮૷ʣ • DeNA.goͷͨΊʹॻ͖ԼΖͦ͏ͱࢥ͚ͬͨͲؒʹ߹Θͳ͔ͬͨ
31. ಉ࣌઀ଓ਺͕ଟ͘ͳΔ໰୊΁ͷରࡦ
32. ಉ࣌઀ଓ਺͕ଟ͘ͳΔͱ • ൃݴͷऔಘ͕ଟ͘ͳΔ • ࠩ෼͚ͩऔಘ͍ͨ͠ • ͔͠͠৽ணΛpolling͢Δͱൃݴͷগͳ͍νϟϯωϧ͕ਏ͍ • ʢॳظ࣮૷͸શൃݴΛऔΔAPIΛpollingͯ͠Δʣ
33. Server Sent Events • ҰੲલͷComet͕࢓༷Λ੔ཧͯ͠ਖ਼نԽ͞Ε·ͨ͠తͳ΍ͭ • WebSocketΑΓѻ͍͕؆୯ • αʔόʔͱΫϥΠΞϯτͰίωΫγϣϯΛషΓଓ͚Δ • αʔόʔ͔ΒΫϥΠΞϯτʹσʔλΛpushͰ͖Δ (ٯ͸ෆՄ)
34. DBʹϦΫΤετΛඈ͹͞ͳ͍ • ͖ͬ͞ͷ΍ͭͱಉ͡ཁྖͰworker͕࠷৽ͷൃݴΛbuffering͢Δ • DB΁͸worker͚͕ͩpollingͯ͠bufferΛߋ৽͍ͯ͘͠ • client͝ͱʹ࠷ޙͷൃݴΛอ͓͍࣋ͯͯͦ͠ΕҎ߱ͷ෺Λ௨஌ • ௨஌͞Εͨ΋ͷΛServer Sent EventsͰclientʹૹΔ
35. ࣮ࡍͷίʔυ (worker goroutine)
36. ࣮ࡍͷίʔυ (worker goroutine)
37. ࣮ࡍͷίʔυ (worker goroutine)
38. ࣮ࡍͷίʔυ (http handler)
39. ͦͷଞ
40. sync.Pool • ϦΫΤετͷbytes.BufferͳͲΛৗʹ࡞ΔͱGC͕ਏ͍ • sync.PoolΛ࢖͏ͱgoroutine͝ͱʹڝ߹͠ͳ͍Pool͕࡞ΕΔ • ϝϞϦޮ཰͸ྑ͍͕ϝϞϦ͸ফඅ͍ͯ͘͠ͷͰѻ͍ʹ͸஫ҙ
41. encoding/json • ϨεϙϯεΛ࡞Δͷʹඞͣ͠΋ͦΕͱಉαΠζͷόοϑΝΛ࡞ Δඞཁ͸ͳ͍ • ࡞ͬͨͿΜ͔Βૹ͍͚ͬͯ͹Α͍ • ͨͩ͠ (*json.Encoder).Write ͸్தͰerrorΛฦ͠ࢭ·Δ͜ͱ ͕͋Δ • ਖ਼͘͠ϨεϙϯεΛฦͨ͢Ίʹ͸buffer͸ඞཁ
42. io • sync.PoolͰอ࣋ͨ͠bytes.BufferΛhttp.ResponseWriter΁ • bytes.Buffer͸io.WriterToΛ࣮૷͍ͯ͠ΔͷͰWriteToͰ͖Δ • bytes.BufferͷWriteTo͸bytes.Bufferͷposition͚ͩม͍͑ͯ ͖ޮ཰Α͘WriteͰ͖Δ • io.CopyBufferͳͲ΋ศར
43. database/sql • σϑΥϧτͰDBͱͷ઀ଓΛόοϑΝϦϯάͯ͘͠ΕΔ • SetMaxIdleConns/SetMaxOpenConns/SetConnMaxLifetime • ࣮ࡍͷن໛ʹ͋Θͤͯௐ੔͢Δͱ઀ଓ͕࠷దԽͰ͖Δ • SetMaxIdleConnsͷσϑΥϧτ͸2
44. ·ͱΊ
45. ·ͱΊ • Goʹ͚ͨͩ͠Ͱ͸଎͘ͳΒͳ͍ͷͰϦιʔεΛޮ཰Α͘࢖͓͏ • ಛʹϘτϧωοΫʹͳΓ΍͍͢Ϧιʔεʹ஫ҙ • ༨༟͕͋ΔϦιʔεΛ׆༻ͯ͠޻෉͠Α͏ • جຊػೳ΍io, syncͳͲศརͳඪ४ύοέʔδΛ·ͣ׆༻͠Α͏ • ݶΓ͋ΔϦιʔεΛޮ཰Α͘׆༻͢Δϊ΢ϋ΢ͷๅݿ