Distribuerede systemer på CBS, 7. september 2017 - skalering, del 1

Slides til undervisningen i distribuerede systemer på CBS d. 7. september 2017 omhandlende skalering.

Transcript

1. Velkommen til min undervisning. Distribuerede systemer på CBS, september 2017, DS-bogens kapitel 6 og 7
2. Kasper Tidemann. Det er mit navn.
3. Det er mit selskab, hvorfra min verden går.
4. Jeg er softwareudvikler. 00010101100101010010 01110001010010100010 11010101000001010011 00001001100101001001 00010101110101010110 10100101000010111100
5. Jeg har blandt andet arbejdet for Facebook.
6. Hvorfor står jeg her? Der er tre ting, som jeg gerne vil lære jer.
7. I skal blive gode til faget. Håndværk, håndværk, håndværk.
8. I skal blive gode til at tale. Det er det bedste råd, som jeg kan give jer.
9. I skal forfølge jeres drømme. Fundamentet for at blive et bedre menneske.
10. kt@tdmn.co. Skriv til mig, hvis I har brug for hjælp.
11. Hvad er distribuerede systemer? Et fag på CBS, ja, men hvad går det egentlig ud på?
12. Når to eller flere computere opfører sig som en. Det er den praktiske definition.
13. Når der er flere versioner af sandheden, som to eller flere computere skal blive enige om. Det er den filosofiske definition.
14. Et eksempel fra bankverdenen.
15. Når Nets går ned, så bliver køen i Netto lang.
16. Hvordan går det med bogen?
17. Indirekte kommunikation. Kapitel 6 i DS-bogen.
18. Et eksempel på direkte kommunikation.
19. Et andet eksempel på direkte kommunikation.
20. Hvad sker der inde i et kabel? Et lille tillægsspørgsmål omkring volt, høje og lave værdier og synkronisering mellem enheder.
21. Når to enheder taler med hinanden gennem en tredje, fx en server.
22. Når man skriver sammen på facebook, så er facebook mellemled.
23. Indirekte kommunikation foregår altid mellem mindst to parter, der taler sammen via et mellemled. Husk det til eksamen.
24. Hvorfor ikke bare kommunikere direkte? Det kunne der jo være flere gode grunde til…
25. Værsgo at hilse på publish-subscribe. En metode til at abonnere på og distribuere data.
26. Det nævnes blandt andet i RFC 3903. Den omhandler Session Initiation Protocol, der blandt andet bruges til beskedudveksling.
27. RFC er en forkortelse af Request for Comment - hele Internettet er bygget op omkring det.
28. I kender publish-subscribe fra stort set alt. Publish-subscribe nævnes sjældent, men anvendelsen er hyppig.
29. Det bliver brugt i en masse populære services.
30. Det bliver ofte kaldt noget andet, fx real time eller instant. Eller pub-sub, men det er mere moderne og Web 4.0-agtigt at sige real time.
31. Bemærk at nogle implementationer omtaler det kanaler, andre rum (rooms). En enhed kan abonnere på en kanal. Når der sker noget på kanalen, så får alle abonnenter besked. * ! /chat/cbs /chat/cbs ! *
32. Det fungerer ofte via WebSockets eller long-polling. Eller pub-sub, men det er mere moderne og Web 4.0-agtigt at sige real time.
33. HTTP er en protokol, som er baseret på request-response. Man skal spørge om noget før man får noget retur. Ligesom når I går ind på Google.
34. WebSockets er en protokol, hvor en server kan sende data til en klient uden at klienten har spurgt først. WebSockets er det nye og smarte.
35. Tre eksempler fra den virkelige verden. faye.getClient().publish(‘chat’, { username: ‘Kasper’, message: ‘Hello!’ }); socket.on(‘chat’, function(message) { socket.broadcast.emit(‘message’, { username: ‘Kasper’, message: ‘Hello!’ }); }); sock.on(‘connection’, function(c) { c.on(‘message’, function(message) { c.write(‘Hello!’); }); });
36. Lad os se nærmere på Socket.io. Det er en meget populær publish-subscribe-implementation.
37. Her sendes den samme besked til alle abonnenter. socket.on(‘message’, function(message) { socket.broadcast.emit(‘message’, { username: ‘Kasper’, message: ‘Hello!’ }); });
38. Når beskeder sendes til alle, så er der tale om flooding. Et koncept, der kan være både godt og skidt alt efter omstændighederne.
39. Her sendes beskeden kun til én abonnent med et givent id. socket.on(‘message’, function(message) { socket.broadcast.to(id).emit(‘message’, { username: ‘Kasper’, message: ‘Hello!’ }); });
40. Prøv selv på https://socketio-chat.now.sh/. Live-chat midt i undervisningen - wow!
41. Pause.
42. Er der nogen udfordringer forbundet med publish-subscribe? … det virker jo meget smart, det hele.
43. … med andre ord: ja, der er udfordringer. 2. Skalering foregår typisk via en database, fx Redis, som ofte skal køre i et cluster. 3. Heartbeating kan udgøre en væsentlig mængde trafik og kræve flere ressourcer end selve beskederne, der bliver sendt frem og tilbage. 1. Publish-subscribe kræver ofte en vis mængde systemressourcer. 4. Publish-subscribe er ofte implementeret via WebSockets, men mange firewalls tillader ikke protokollen.
44. Lad os tale lidt om heartbeating. Det lyder som noget dating-halløj. Er det sådan noget med Tinder?
45. Husk også keepalive-funktionen i TCP-protokollen - regn dog ikke med den. Socket 1 Socket 2 – Er du der? – Ja, hvad med dig?
46. Som regel bruger man ikke kun publish-subscribe, men også HTTP-requests og så fremdeles. Det gælder fx facebook-chatten, der både understøtter det ene og det andet.
47. Dermed er publish-subscribe et eksempel på noget, der kan hjælpe med at skalere. Skalering er nøglen i de fleste distribuerede systemer.
48. Vi skal lige tale om det, der kan ske, når man skifter fra P2P og til indirekte kommunikation.
49. Microsoft ødelagde Skype. Skype was the first peer-to-peer IP telephony network. The network contains three types of entities: supernodes, ordinary nodes, and the login server. Previously, any client with good bandwidth, no restrictions due to firewall or NAT, and adequate processing power could become a supernode. In 2012, Microsoft altered the design of the network, and brought all supernodes under their control as hosted servers in data centres.
50. Det er et eksempel på scaling-gone-wrong. Det handler om at bruge den rette teknologi i den rette sammenhæng. Hvem ved, måske de ændrer det igen en dag?
51. Det bringer os videre til at tale om message queues. Et segway, som de kalder det ovre på den anden side af Atlanten.
52. Generelt set er det smart at kunne parkere noget et sted. … til senere brug.
53. Atomicitet? Det dækker over at noget enten sker til fulde eller slet ikke sker. Den kan sørge for at modtage beskeder og sende dem videre til behandling både en-efter-en og parallelt for bedre udnyttelse af ressourcer på tværs af netværk. En message queue skaber løs kobling mellem applikationer. Den skaber asynkronitet og sikrer atomicitet.
54. Et billede af en typisk beskedkø. Sender Producer Message queue Receiver Consumer Worker
55. Det kan fx være RabbitMQ, ZeroMQ eller Resque. <kode /> <kode />
56. Ovenstående kunne være koden til en receiver. connection = Bunny.new() connection.start channel = connection.create_channel queue = channel.queue(‘køen til Nexus’) queue.subscribe(:block => true) do puts “Okay, jeg henter øl!” end
57. Den ene versus den anden. vs. Publish- subscribe Real-time Sporadisk Forbinder klienter Ingen ambition om konsistens Message queues Kronologisk Struktureret Forbinder servere Konsistent afvikling
58. Nu skal vi tale om operativsystemer. Sagt på en anden måde: vi bevæger os nu til kapital 7 i DS-bogen.
59. Hvad er et operativsystem? Kom gerne med et par eksempler.
60. Netværksbaserede og fuldt ud distribuerede - sidstnævnte er en pipe dream.
61. Plan 9 var Rob Pikes drøm om et operativsystem, hvor alle ressourcer var distribuerede.
62. Hvad er der i øvrigt med den mand og jordegern?
63. Et netværksbaseret operativsystem består af applikationer, selve systemet og hardwaren. Applikationer Operativsystem Hardware
64. På min computer har jeg adgang til en række ressourcer til venstre i Finder. ftp://top-secret-data.nsa.gov/ http://www.google.com/ smb://192.168.1.2/fællesdrev
65. Hvad består et operativsystem af? Altså udover Word og PowerPoint og alt for mange e-mails.
66. Et operativsystem har en kerne, som er det sted, hvor det hele foregår. Eller på engelsk: kernel.
67. Kernen taler med applikationerne for at give dem adgang til CPU, RAM og enheder. Applikationer Kernen CPU RAM Enheder
68. Kernen taler også med USB-porte, keyboardet og alt muligt andet. Kernen er en slags koordinator, der sørger for at programmer kan få adgang til processoren, at der kan gemmes data i hukommelsen og så videre. Kernen sørger fx for virtuel adressering af hukommelse, så programmer ikke behøver kende til og tage hensyn til hinanden under afvikling.
69. Her ses kernen i Mac OS X 10.11.6.
70. Her ligger kernen i Mac OS X El Capitan. Slet den ikke!
71. Fra Apples Kernel Programming Guide under afsnittet Keep Out. You must be exceptionally careful to ensure that your code does not cause the system to crash, does not provide any unauthorized user access to someone else’s files or memory, does not introduce remote or local root exploits, and does not cause inadvertent data loss or corruption. Kernel programming is a black art that should be avoided if at all possible.
72. Det er det her der sker, når man starter en computer med x86-arkitektur. Ved opstart bliver kernen indlæst i hukommelsen af en boot loader. Så starter den og indtræder i protected mode, hvor den kan bruge virtuel adressering mv. BIOS MBR Boot loader Kernen starter real address mode
73. Hexley fra Mac OS X og Beastie fra FreeBSD.
74. Hallo, hvad sker der for treforken!? Det virker da ret djævleagtigt og satanisk!
75. fork() er et systemkald til at kopiere processer. Eller som GitHub siger: fork you!
76. Forking er grundlæggende for den måde som operativsystemer fungerer på. En proces er en instans af noget, der bliver afviklet. En proces har en mængde ressourcer til rådighed og har mulighed for at afvikle tråde og andre processer. Bemærk: når en proces starter en anden proces, så bliver den proces gaflet. Den nedarver sin forælders omgivelser, men får tildelt en separat plads i hukommelsen.
77. Her har jeg startet Skype via en terminal og har dermed forket terminal-processen.
78. Det er nødvendigt at bruge hukommelse når en fork muterer. Copy-on-Write sørger for at fork() ikke bruger hukommelse før det er nødvendigt.
79. Og ja, det er der også. Men hov. Hvis en proces er en kopi af en anden proces, så må der jo være en til at starte med?
80. Se hvad der står i htop - der står launchd. Launch daemon.
81. Pause.
82. Ikke det ene uden det andet. Man kan ikke nævne processer uden også at nævne tråde.
83. Basalt set, i hvert fald. En tråd er et redskab, som en proces kan bruge til at afvikle en instruktion. En tråd deler hukommelsesområde med sin proces og er afhængig af selvsamme. En proces har altid som minimum én tråd. En tråd kan fx indeholder en instruktion om at dividere to tal, som kernen så kan udføre - resultatet kommer derefter tilbage i processen.
84. Visuelt set. Proces Tråd Kernen
85. Forskellen på multithreading med en og flere processer. Kernen Tråd 4 Tråd 3 Tråd 2 Tråd 1 Kernen Tråd 2 Tråd 1 Kernen Tråd 3 Tråd 2 Tråd 1
86. Det hedder også et PID, process id. Man bruger ofte en semafor til at låse en proces, så et program ikke kan startes flere gange.
87. Ligesom i et TV-køkken! Nu kører det. Demonstration.
88. Et koncept, der er blevet meget populært de senere år. Virtualisering.
89. På den måde kan man fx spare udgifter til servere, fordi flere systemer kan køre på én server. Virtualisering er en form for distribuering af et system, der giver mulighed for afvikling af enten delvist afhængige eller uafhængige miljøer. Udnyttelsen af ressourcer på en computer - altså CPU, RAM og så videre - er ofte ikke effektiv over tid, hvorfor det giver mening at virtualisere på den ene eller anden facon.
90. Seriøst, de pjækker hele tiden. De fleste servere laver ikke dagens gode gerning.
91. uptime fortæller om belastningen det sidste minut, de sidste 5 minutter og de sidste 15.
92. I kender måske nogle af ovenstående virksomheder og teknologier.
93. Det er det nye sort. Bare vent. Der findes noget, der hedder distribueret schedulering.
94. Metoderne til afvikling af noget, der er scheduleret. First-In-First-Out er den mest simple form for scheduling, hvor instruktioner afvikles i den rækkefølge, som de modtages i. Shortest-Remaining-Time afvikler instruktioner, der tager kortest tid, først. Det kan resultere i starvation af længerevarende processer. Round-Robin giver alle instruktioner en del af den samlede CPU- tid. Hvis en instruktion ikke når at blive færdig indenfor tidsrammen, så går turen videre til den næste.
95. I skal sgu lige have en af mange røverhistorier. En lille historie fra San Francisco.
96. twitter sparede 32% på deres serverbudget. +
97. Netflix og Amazon var bedste venner lige indtil Netflix fik regningen.
98. For en god ordens skyld. Opsummering.
99. Jeg glæder mig til at se jer næste gang. Tak for i dag!