Klienty HTTP: bohaterowie systemów rozproszonych

Prezentacja z Confitura 2017

Transcript

1. HTTP Clients bohaterowie systemów rozproszonych Adam Dubiel
2. 16 mln użytkowników 350 mikrousług 400 mikrousług 502 mikrousługi 500+ inżynierów
3. Skylab team lead Andamio: JVM service starter Hermes pubsub
4. Klienci HTTP których znamy
5. Klienci HTTP których znamy RestTemplate restTemplate = new RestTemplate(); Client client = ClientBuilder.newBuilder().build(); AsyncRestTemplate asyncRestTemplate = new AsyncRestTemplate(); Retrofit retrofit = new Retrofit.Builder() .baseUrl("https://api.github.com/") .build();
6. Klienci HTTP o których dyskutujemy restTemplate.getForEntity("https://github.com", Map.class); jerseyClient.target("https://github.com").request().get();
7. Klienci dyskutujemy HTTP których o async.getForEntity("https://allegro.pl",Map.class).addCallback( { ResponseEntity<Map> result -> /* success! */ }, { Throwable ex -> /* failure :( */ } ) jersey.target("https://allegro.pl").request().async().get();
10. We need to go deeper RestTemplate.getForEntity -> RestTemplate.doExecute -> HttpAccessor.createRequest -> ClientHttpRequestFactory.createRequest -> SimpleClientHttpRequestFactory -> URL.openConnection -> HttpURLConnection
11. We need to go deeper Client.get -> JerseyInvocation.invoke -> ClientRuntime.invoke -> Connector.apply -> HttpUrlConnector._apply -> DefaultConnectionFactory.getConnection -> URL.openConnection() -> HttpURLConnection
14. Async na pewno daje nam super moc! a może i nie..
15. Async all the things AsyncRestTemplate.getForEntity -> AsyncRestTemplate.doExecute -> AsyncHttpAccessor.createAsyncRequest -> AsyncClientHttpRequestFactory.createAsyncRequest -> ... -> ... -> HttpURLConnection
16. Async all the things Client.async.get -> JerseyInvocation.submit -> ClientRuntime.submit -> Connector.apply -> ... -> ... -> ... -> HttpURLConnection
17. Przestańmy dyskutować o syntax sugar Wrócimy do tego jak rozwiążemy poważne problemy
18. API vs Implementation RestTemplate Jersey AsyncRestTemplate Retrofit HttpURLConnection Apache Client Apache NIO (Async) Client OkHttp
19. API vs Implementation RestTemplate Jersey AsyncRestTemplate Retrofit HttpURLConnection Apache Client Apache NIO (Async) Client OkHttp
20. Jak wybrać implementacje?
21. Wróćmy do korzeni The network is reliable. Latency is zero. Bandwidth is infinite. The network is secure. Topology doesn't change. There is one administrator. Transport cost is zero. The network is homogeneous.
22. Fallacies of distributed computing The network is reliable. Latency is zero. Bandwidth is infinite. The network is secure. Topology doesn't change. There is one administrator. Transport cost is zero. The network is homogeneous.
24. Latency is zero Czy opóźnienia są zerowe? To kiedy muszę czekać? A mogę nie czekać na połączenia? Ke? Nie Przy zestawianiu połączenia i każdym requescie Użyj puli połączeń
25. Pule połączeń
26. Koszt połączenia HTTP TCP jesteś tu ale nie zapominaj o tym!
27. Koszt połączenia conn request / response conn request / response conn request / response conn request / response
28. Koszt połączenia vs sieć jest stabilna conn request / response
29. Koszt połączenia conn request / response request / response request / response request / response
30. https://shkspr.mobi/blog/wp-content/uploads/2016/05/A-pet-cat-typing-on-a-computer-keyboard.jpg
31. Połączenia w puli połączeń available available leased leased
32. Połączenia w puli połączeń leased leased leased leased pending
33. Fallacies of distributed computing The network is reliable. Latency is zero. Bandwidth is infinite. The network is secure. Topology doesn't change. There is one administrator. Transport cost is zero. The network is homogeneous.
34. Network is reliable Czy zależności działają zawsze? Skąd mogę wiedzieć, że nie działają? Ke? Nie Ustawiaj timeouty
35. Timeouts
36. Connection timeout conn request / response hmm działało szybciej.. skoczyć po piwo? dobra, jeszcze chwila i idę o! działa
37. Connection timeout ograniczenie czasu potrzebnego na nawiązanie połączenia default zależy od systemu (mierzone w dziesiątkach sekund) zdrowy default: 200ms (ale zmierz, zanim to ustawisz!)
38. Socket/read timeout conn request / response request response response o, dane lecą ej, dajcie resztę! a gdzie reszta?
39. Socket read/timeout czas pomiędzy odebraniem kolejnych paczek danych default zależy od systemu (mierzone w sekundach) docelowe ustawienie zależy od czasu odpowiedzi poszczególnych zależności
40. Timeouts == fail fast
41. http://cdn.viralscape.com/wp-content/uploads/2014/09/Computer-Cat.jpg
42. Thread model
43. IO thread model Remote Server My Thread 1 conn response
44. NIO thread model Remote Server My Thread 1 OS IO Thread nie blokuj wątku IO!
45. IO vs NIO HttpURLConnection Apache HTTP Client OkHttp Apache Async HTTP Client Netty based Undertow based
46. Wybierając implementację, pytaj czy mam jakąś pulę połączeń i jaki jest jej rozmiar? jakie mam timeouty? jaki jest model wątków?
47. Porozmawiajmy o API Skoro poważne rzeczy mamy za sobą
48. Szefa oszukasz, scrum mastera oszukasz, ale wątków nie oszukasz
49. Jeśli mój kod nie blokuje, to gdzie czekam na odpowiedź?
50. Co chowają przed nami API? MyThread AsyncRestTemplate Remote Server MAGIA...
51. MAGIA... Co chowają przed nami API? MyThread AsyncRestTemplate Remote Server Thread 1 Thread 2 Thread 3 Thread N
52. Wybierając API, pytaj na jakim wątku działa mój kod? jak duża jest pula wątków? jak mogę ją kontrolować?
53. Wybierając klienta HTTP, pytaj czy mam jakąś pulę połączeń i jaki jest jej rozmiar? jakie mam timeouty? jaki jest model wątków? na jakim wątku działa mój kod? jak duża jest pula wątków? jak mogę ją kontrolować?
54. github.com/adamdubiel @dubieladam allegro.pl/praca
55. Wybierając klienta HTTP, pytaj czy mam jakąś pulę połączeń i jaki jest jej rozmiar? jakie mam timeouty? jaki jest model wątków? na jakim wątku działa mój kod? jak duża jest pula wątków? jak mogę ją kontrolować?