Finagleを使った広告配信基盤

Transcript

1. FinagleΛ࢖ͬͨ ޿ࠂ഑৴ج൫
2. ࣗݾ঺հ େۂஐٱ COMPANY SERVICE GitHub oomatomo
3. ࿩͢಺༰ ▸ ࣮ࡍʹFinagleΛ࢖ͬͯΈͯɺؾ͍ͮͨTipsతͳ಺༰ ▸ Finagleͷઆ໌͸ɺ͋·Γ͠ͳ͍ɻ
4. ΞδΣϯμ ▸ Finagleͱ͸ʁ ▸ ޿ࠂ഑৴ͷྲྀΕ ▸ ഑৴ج൫ʹؔͯ͠ ▸ Finagleͷίʔυͷߏ੒ ▸ FinagleͷνϡʔχϯάͰͷؾ͖ͮ
5. ΞδΣϯμ ▸ Finagleͱ͸ʁ ▸ ޿ࠂ഑৴ͷྲྀΕ ▸ ഑৴ج൫ʹؔͯ͠ ▸ Finagleͷίʔυͷߏ੒ ▸ FinagleͷνϡʔχϯάͰͷؾ͖ͮ
6. Finagle ▸ ϑΟωʔάϧ ▸ Twitter ͕։ൃͨ͠OSS ▸ RPCγεςϜ
 RPCͷ࣮૷Ͱ͸ͳ͍ ▸ https://twitter.github.io/finagle/ ▸ https://monkey.org/~marius/talks/twittersystems/#1
7. ΞδΣϯμ ▸ Finagleͱ͸ʁ ▸ ޿ࠂ഑৴ͷྲྀΕ ▸ ഑৴ج൫ʹؔͯ͠ ▸ Finagleͷίʔυͷߏ੒ ▸ FinagleͷνϡʔχϯάͰͷؾ͖ͮ
8. ޿ࠂ഑৴ͷྲྀΕ
9. ޿ࠂ഑৴ͷྲྀΕ ഑৴෦෼
10. ޿ࠂ഑৴ͷྲྀΕ ूܭ෦෼
11. ࠓճ͸ ഑৴෦෼ʹ͍ͭͯ ࿩͠·͢
12. ΞδΣϯμ ▸ Finagleͱ͸ʁ ▸ ޿ࠂ഑৴ͷྲྀΕ ▸ ഑৴ج൫ʹؔͯ͠ ▸ Finagleͷίʔυͷߏ੒ ▸ FinagleͷνϡʔχϯάͰͷؾ͖ͮ
13. ഑৴ج൫ʹؔͯ͠
14. ഑৴ج൫ʹؔͯ͠
15. σʔϞϯ༻αʔό ഑৴ج൫ʹؔͯ͠
16. σʔλΛγϦΞϥΠζͯ͠ Redisʹอଘ͢Δ ഑৴ج൫ʹؔͯ͠
17. ActorΛεέδϡʔϦϯάͰ ಈ͔ͯ͠σʔϞϯͱͯ͠ར༻ ͜͜ͷσʔϞϯͷ࣮૷ͷ࢓ํ͸ɺผͷൃදࢿྉʹ͋Γ·͢ɻ
 https://speakerdeck.com/oomatomo/16-adtech-x-scala-meetup-falselt ഑৴ج൫ʹؔͯ͠
18. ޿ࠂ഑৴༻αʔό ഑৴ج൫ʹؔͯ͠
19. ޿ࠂͷϦΫΤετ͸
 ͢΂ͯ޿ࠂ഑৴༻αʔόͷ1୆Ͱ
 ׬݁͢Δ ഑৴ج൫ʹؔͯ͠
20. ΞδΣϯμ ▸ Finagleͱ͸ʁ ▸ ޿ࠂ഑৴ͷྲྀΕ ▸ ഑৴ج൫ʹؔͯ͠ ▸ Finagleͷίʔυͷߏ੒ ▸ FinagleͷνϡʔχϯάͰͷؾ͖ͮ
21. Finagleͷίʔυͷߏ੒ʹؔͯ͠
22. Finagleͷίʔυͷߏ੒ʹؔͯ͠ ϏδωεϩδοΫͷஔ͖৔ Service͔Βݺ͹ΕΔ
 ݱঢ়͸ίʔυྔ͸ଟ͘͸ͳ͍ͷͰ Redis͔Βͷσʔλͷऔಘͷॲཧͱ͔ ΋ॻ͍͍ͯΔ
23. Finagleͷίʔυͷߏ੒ʹؔͯ͠ Ϟσϧͷஔ͖৔ Logic΍ServiceͰར༻͢ΔΫϥε͕
 ॻ͍ͯ͋Δ
24. Finagleͷίʔυͷߏ੒ʹؔͯ͠ FinagleͷServiceͷஔ͖৔ Play FrameworkͰݴ͏
 ControllerΈ͍ͨͳ΋ͷ
25. Finagleͷίʔυͷߏ੒ʹؔͯ͠
26. Finagleͷίʔυͷߏ੒ʹؔͯ͠
27. Finagleͷίʔυͷߏ੒ʹؔͯ͠ ڞ௨ॲཧͷஔ͖৔ Service΍LogicͰར༻͢Δ
 ศརܥͷॲཧ͕͜͜ʹ͋Δ
28. Finagleͷίʔυͷߏ੒ʹؔͯ͠ ϝΠϯΫϥε Router΍HttpαʔόͷىಈͳͲΛ
 ߦ͍ͬͯΔ
29. Finagleͷίʔυͷߏ੒ʹؔͯ͠
30. Finagleͷίʔυͷߏ੒ʹؔͯ͠ graceful stop ͸
 ࣮૷͍ͯ͠ͳ͍ͷͰ
 ࠶ىಈ࣌͸ϩʔυόϥϯαʔ͔Β
 ֎ͯ͠࠶ىಈ͍ͯ͠Δ
31. Finagleͷίʔυͷߏ੒ʹؔͯ͠ ▸ Unitςετ
32. Finagleͷίʔυͷߏ੒ʹؔͯ͠ ▸ Unitςετ https://github.com/twitter/finagle/blob/finagle-6.35.0/finagle-redis/src/test/scala/com/twitter/finagle/redis/RedisTest.scala finagle-redisͷςετίʔυΛࢀߟʹ࡞੒ͨ͠
33. Finagleͷίʔυͷߏ੒ʹؔͯ͠ ▸ Unitςετ
34. Finagleͷίʔυͷߏ੒ʹؔͯ͠ ▸ E2Eςετ
35. Finagleͷίʔυͷߏ੒ʹؔͯ͠ ▸ E2Eςετ
36. Finagleͷίʔυͷߏ੒ʹؔͯ͠ ▸ E2Eςετ ςετ༻ʹαʔόͱΫϥΠΞϯτΛੜ੒͢Δ
37. Finagleͷίʔυͷߏ੒ʹؔͯ͠ ▸ E2Eςετ ϦΫΤετΛੜ੒࣮͠ߦ͢Δ
38. Finagleͷίʔυͷߏ੒ʹؔͯ͠ ▸ E2Eςετ ϨεϙϯεΛνΣοΫ͢Δ
39. ΞδΣϯμ ▸ Finagleͱ͸ʁ ▸ ޿ࠂ഑৴ͷྲྀΕ ▸ ഑৴ج൫ʹؔͯ͠ ▸ Finagleͷίʔυͷߏ੒ ▸ FinagleͷνϡʔχϯάͰͷؾ͖ͮ
40. ͱΓ͋͑ͣɺಈ͘΋ͷ࡞ͬͯ ෛՙςετΛ࣮ࢪͨ͠ɻ
41. 500 QPS ΠϯελϯελΠϓ: c4large
42. ▸ RedisͰ͋ΔҰఆҎ্ίωΫγϣϯ͕૿͑ͳ͍໰୊ ▸ Future(ඇಉظ)Λ׆͔ͨ͠ઃܭ ▸ Routerͷॻ͖ํ࣍ୈͰ
 ϦΫΤετͷͨͼʹΠϯελϯε͕ੜ੒͞ΕΔ໰୊
43. RedisͰ͋ΔҰఆҎ্ ίωΫγϣϯ͕ ૿͑ͳ͍໰୊
44. RedisͰ͋ΔҰఆҎ্ίωΫγϣϯ͕૿͑ͳ͍໰୊ ▸ ௨ৗͷredisͷClientͷ࡞Γํ
45. RedisͰ͋ΔҰఆҎ্ίωΫγϣϯ͕૿͑ͳ͍໰୊ ▸ ௨ৗͷredisͷClientͷ࡞Γํ
46. RedisͰ͋ΔҰఆҎ্ίωΫγϣϯ͕૿͑ͳ͍໰୊ ▸ ௨ৗͷredisͷClientͷ࡞Γํ https://github.com/twitter/finagle/blob/finagle-6.35.0/finagle-redis/src/main/scala/com/twitter/finagle/redis/Client.scala ▸ ࣮ࡍʹClientΛੜ੒͍ͯ͠Δίʔυ(Finagleͷόʔδϣϯ͸ɺ6.35.0)
47. RedisͰ͋ΔҰఆҎ্ίωΫγϣϯ͕૿͑ͳ͍໰୊ ▸ ௨ৗͷredisͷClientͷ࡞Γํ https://github.com/twitter/finagle/blob/finagle-6.35.0/finagle-redis/src/main/scala/com/twitter/finagle/redis/Client.scala ▸ ࣮ࡍʹClientΛੜ੒͍ͯ͠Δίʔυ(Finagleͷόʔδϣϯ͸ɺ6.35.0)
48. RedisͰ͋ΔҰఆҎ্ίωΫγϣϯ͕૿͑ͳ͍໰୊ ▸ ΧελϚΠζͨ͠Clientͷ࡞Γํ ( 1 -> 10000 )
49. 500 QPS → 1350 QPS ΠϯελϯελΠϓ: c4large
50. RedisͰ͋ΔҰఆҎ্ίωΫγϣϯ͕૿͑ͳ͍໰୊ ▸ ΧελϚΠζͨ͠Clientͷ࡞Γํ ( 1 -> 10000 ) ࠷৽൛(6.42.0)Ͱ͸
 Clientͷੜ੒ͷํ๏͕มߋ͞Ε͍ͯΔͨΊ
 ͜ͷॻ͖ํ͸ग़དྷͳ͍ʂʂʂ
51. Future(ඇಉظ)Λ ׆͔ͨ͠ઃܭ
52. Future(ඇಉظ)Λ׆͔ͨ͠ઃܭ ▸ ࠷ॳͷઃܭ
53. Future(ඇಉظ)Λ׆͔ͨ͠ઃܭ ▸ ࠷ॳͷઃܭ
54. Future(ඇಉظ)Λ׆͔ͨ͠ઃܭ ▸ ฒྻͰ͖ΔΑ͏ʹΩʔΛมߋ
55. Future(ඇಉظ)Λ׆͔ͨ͠ઃܭ ▸ ฒྻͰ͖ΔΑ͏ʹΩʔΛมߋ
56. 1350 QPS → 1750 QPS ΠϯελϯελΠϓ: c4large
57. Routerͷॻ͖ํ࣍ୈͰ
 ϦΫΤετͷͨͼʹ Πϯελϯε͕ ੜ੒͞ΕΔ໰୊
58. Routerͷॻ͖ํ࣍ୈͰϦΫΤετͷͨͼʹΠϯελϯε͕ੜ੒͞ΕΔ໰୊ ▸ /user/1 ͷ࣮૷(Before)
59. Routerͷॻ͖ํ࣍ୈͰϦΫΤετͷͨͼʹΠϯελϯε͕ੜ੒͞ΕΔ໰୊ ▸ /user/1 ͷ࣮૷(Before) ͜ͷॻ͖ํΛߦ͏ͱຖճϦΫΤετͷ౓ʹ
 UserService͕ੜ੒͞Ε͓ͯΓແବʹܨ͕Δ
60. Routerͷॻ͖ํ࣍ୈͰϦΫΤετͷͨͼʹΠϯελϯε͕ੜ੒͞ΕΔ໰୊ ▸ /user/1 ͷ࣮૷ (After) RouterଆͰidͷऔಘΛఘΊͯ
 ϦΫΤετͷURL͔Βਖ਼نදݱΛ ࢖ͬͯऔಘ͢ΔΑ͏ʹ͢Δ
61. Routerͷॻ͖ํ࣍ୈͰϦΫΤετͷͨͼʹΠϯελϯε͕ੜ੒͞ΕΔ໰୊ ▸ /user/1 ͷ࣮૷ (After) ࣄલʹServiceΫϥεΛnew͓ͯ͘͠ͱ
 ϦΫΤετͷ౓ʹΠϯελϯε͕ੜ੒͞Εͳ͍
62. 1750 QPS → 1600 QPS ΠϯελϯελΠϓ: c4large
63. 1750 QPS → 1600 QPS ΠϯελϯελΠϓ: c4large Լ͕ͬͨʂʂʂʂʂʂʂʂʂ ਖ਼نදݱͷॲཧͷํ͕ॏ͔ͬͨͷ͔ͳʁʁ ͜ͷमਖ਼͸ෆ࠾༻ʹ͠·ͨ͠ʂ
64. ·ͱΊ
65. ·ͱΊ ▸ Finagle ͍͍ͬ͢Ͷ
66. ऴΘΓ