詳解Spark出版イベントでの発表資料

http://connpass.com/event/30375/

Transcript

1. σʔλ෼ੳۀքͷཧ૝ͱݱ࣮
   ʙ4QBSLීٴͷྺ࢙Λఴ͑ͯʙ Լాྙେʢ!SJOEBJʣ
2. ࣗݾ঺հ w גࣜձࣾϒϨΠϯύουͰٕज़ྖҬͷࡶ༻Λ୲ ౰͍ͯ͠·͢
   w σʔλαΠΤϯςΟετͱΤϯδχΞ͕Ұମʹ ͳͬͨ૊৫ͮ͘Γʹᬏਐத
   w ࠷ۙϓϦηʔϧε΍࠾༻׆ಈͳΜ͔΋͍ͯ͠Δ ͷͰ΍΍ԿͰ΋԰ײ͕ɾɾɾ
3. ʮσʔλαΠΤϯεʯΈ͍ͨͳΩʔϫʔυͰ
   ॻ੶΍ϜοΫຊʹؔΘΒͤͯ௖͘ػձ͕͋Γ·ͨ͠
   ݸਓతʹ͸ʮ෼ੳʯʮΤϯδχΞϦϯάʯʮϏδωεʯ
   ͷόϥϯεͷྑ͍ਓͰ͋Γ͍ͨͳɺͱࢥ͏ࠓ೔͜ͷ͝Ζ
4. ࣥචࢀՃͷܦҢ w લ৬ͰҰॹͩͬͨੴ઒͞Μʹ༠ΘΕͯ
   w ͪΐ͏Ͳࣗ෼΋4QBSLʹ஫໨࢝͠Ί͍ͯΔࠒʹ ੴ઒͞Μ΋4QBSLʹຊ֨తʹऔΓ૊ΜͰ͍Δͱ͍ ͏ۮવ͕ʂ
   w 4USBUB
   
   )BEPPQ
   8PSME
   ΛҰॹʹ८Γ· ͨ͠
5. .BQ3ͷ5FE
   %VOOJOHͱͷҰຕ
   !TUSBUB
6. ݴ͍͍ͨ͜ͱ w 4QBSLొ৔࣌ʹࢲ͸ເͱϩϚϯΛݟ·ͨ͠ʂ
   w ͔͠͠ɺݱ࣮͸େมݫ͍͠ͷͰ͢ʂ
   w Έͳ͞Μɺ΋ͬͱ4QBSLؚΊͯେن໛σʔλ΍ ػցֶशΛΨϯΨϯ࢖͓͏ͱͯ͠େ͍ʹࠔͬͯ ͍ͩ͘͞ʂʂ
7. ڞஶऀͷํʑͷ෼ྨ w ࣄۀձࣾ
   w ϦΫϧʔτɺ%..DPNɺ4NBSU/FXT
   w ϕϯμʔʢϓϥοτϑΥʔϚʔʣ
   w )PSUPO8PSLT
   *#.
   w ϕϯμʔʢίϯαϧɺ4*ܥʣ
   w ϒϨΠϯύου
8. ͦΕͰ͸4QBSLීٴͷ ྺ࢙ͱզʑͷาΈΛ
   ͓࿩͠·͢
9. ೥ w 4QBSL͕".1-BCͷϓϩδΣΫτͱͯ͠ొ৔
   w ೔ຊͩͱ͔֬·ͩ)BEPPQ͕ྲྀߦͩ͢͠௚લ͘ Β͍Ͱ͠ΐ͏͔ʁ
10. ೥ʙ೥ w ೔ຊͰ΋8FCܥاۀΛத৺ʹ)BEPPQ͕ͲΜͲ ΜྲྀߦΓ͸͡Ί·ͨ͠
    w ͳ͓ɺ๭ࣾͰ͸ଞͷ8FCܥاۀΑΓগ͠஗Εͯ )BEPPQͷಋೖ͕೥ࠒʹ࢝·ͬͨهԱ͕͋ Γ·͢
11. ๭ࣾͷσʔλ෼ੳ؀ڥ w )BEPPQ)JWFΛத৺ʹਾ͑ͨσʔλ෼ੳج൫͕ ࡞ΒΕ͍ͯ·ͨ͠
    w ௕͔͚࣌ؒͯॲཧ͍ͯͨ͠ن໛ͷσʔλΛΠ ϯλϥΫςΟϒʹॲཧͰ͖Δ͚ͩͰେײಈʂ
12. )JWFͱ.BIPVUΛར༻ͨ͠
    ޿ࠂ঎඼։ൃΛߦ͍·ͨ͠
    ʮσʔλαΠΤϯςΟετཆ੒ಡຊʯ ʹͦͷ࿩Λࣥච͠·ͨ͠
    ͋ɺ͔֬·ͩ޷ௐͷΑ͏Ͱ
    ୈ൛͕ग़Δͱ͔Ͱͳ͍ͱ͔ )BEPPQΛ׆༻ͨ͠ϓϩμΫτ ։ൃ
13. ೥ w 4QBSL͕"QBDIF
    4PGUXBSF
    'PVOEBUJPO "4' ʹدଃ͞Εɺ"QBDIF
    4QBSLͱͳΔ
    w %BUBCSJDLT͕ελʔτ
    w ೔ຊͰ͸4QBSL͸·ͩ·ͩແ໊ͩͬͨ͸ͣ
14. w ͕ɺͲͪΒ͔ͱݴ͏ͱʮूܭʯͳײ͡
    w େن໛σʔλʹର͢Δػցֶशͦͷଞͷχʔζ͕ ͦ͜·Ͱͳ͍ʁ
    w 8FCܥاۀͷϩάղੳͱ͔ϚʔέςΟϯά σʔλͷ෼ੳͱ͔ͦͷล͘Β͍ʁ
    w ͋·Γࣾ֎ʹཔΜͰ΍Δέʔε͸ଟ͘ͳͦ͞͏ େن໛σʔλॲཧͱݴ͑͹ )BEPPQͱ͍͏࣌୅ʹಥೖ
15. ೥ w ࢲͱ4QBSL͕ຊ֨తʹग़ձͬͨ೥
    w ৭ʑ͋ͬͯ4QBSLͰϏδωεΛ΍͍ͬͯΔΠϯ υاۀ΁ͷࢹ࡯஄ؙग़ுʹ͍͖·ͨ͠
    w ׂͱૣΊʹඈͼͭ͘Ϣʔβʔ͕ग़࢝Ί͖ͯͨ͘ Β͍ʁ
16. 4QBSLͷୈҰҹ৅ w 1ZUIPO΍3ͷΠϯλʔϑΣʔε͕͋Δʂ͢͝ ͍ʂ
    w ϦΞϧλΠϜॲཧ΋ಉ͡Α͏ʹॻ͍࣮ͯݱͰ͖Δ ͩͬͯʂ͍͢͝ʂ
    w ΤίγεςϜ͕Α͘ߟ͑ΒΕ͍ͯΔʂ͍͢͝ʂ
17. IUUQTPHJSBSEPUXPSEQSFTTDPNSEETBSFUIFOFXCZUFDPEFPGBQBDIFTQBSL
18. σʔλαΠΤϯςΟετ΋Τ ϯδχΞ΋๊͍͑ͯΔฐࣾͷ Α͏ͳاۀ΋औΓ૊Ή΂͖ʂ
19. ೥ʹ޲͖߹ͬͨݱ࣮ w ϒϨΠϯύουࣾͱͯ͠ɼϏδωεϞσϧతʹ 4QBSLΛ࠾༻͍ͯ͘͠ϝϦοτ͕େ͖͘ͳ͍
    w σʔλ෼ੳΛ౰֘اۀͷ֎෦Ͱҕୗ͞Εͯߦ ͏ձࣾͷ໋॓ͷ༷ͳ࿩ɾɾɾ
    w ͦͷҰํͰɺࣄۀձࣾͷํʑ͕ͲΜͲΜࣄྫ Λग़ͯ͘͠Δɾɾɾ͏Β΍·͍͠ɾɾɾ
20. ʢ࠶ܝʣڞஶऀͷํʑͷ෼ྨ w ࣄۀձࣾ
    w ϦΫϧʔτɺ%..DPNɺ4NBSU/FXT
    w ϕϯμʔʢϓϥοτϑΥʔϚʔʣ
    w )PSUPO8PSLT
    *#.
    w ϕϯμʔʢίϯαϧɺ4*ܥʣ
    w ϒϨΠϯύου
21. Կ͔৽͍ٕ͠ज़ ࣄۀձࣾ ϓϥοτϑΥʔϚʔ ίϯαϧ4* ϏδωεͱηοτͰߟ͑Δͱ ͨͿΜ͜Μͳײ͡Ͱ͢ ৽͍ٕ͠ज़͕ඞཁͱ ͞ΕΔ·ͰҰ൪ԕ͍
22. ϒϨΠϯύουͰ௚໘࣮ͨ͠৘ w ͦ΋ͦ΋ΫϥΠΞϯτʹ4QBSLͷΑ͏ͳϓϩμΫτΛ࠾ ༻͢Δχʔζ͕ඞཁ
    w 4QBSLͷಋೖ͔Βʢσʔλ෼ੳج൫ߏஙʣ෼ੳ·Ͱɺ ͱ͍͏χʔζΛ͍࣋ͬͯΔͷ͸΄ΜͷҰѲΓ
    w 4QBSLͷϝϦοτ͕ग़ͯ͘Δͷ͸શମͷΦϖϨʔγϣϯ ͱηοτͰ͋Γɺ੾Γग़͞ΕΔ෼ੳ෦෼ͷΈͰ͸30*త ͳԸܙ͕গͳͯ͘ఏҊ͢ΔϝϦοτͱͱͯ͠΋ɺࣗࣾ಺ ͷ෼ੳͷج൫ͱͯ͠ϝϦοτͱͱͯ͠΋ऑ͍ɾɾɾPS[
23. ͦ͜Ͱࢲୡ͸Ͳ͏͔ͨ͠ʁ w %FMUB$VCFͱ͍͏ࣗࣾ։ൃͷϓϩμΫτͰ࠾༻ ͠·ͨ͠
    w ࣗࣾϓϩμΫτ΋͍࣋ͬͯΔͷ͕ٹ͍ͩͬͨ
    w ͜ͷลͷ࿩͸͜ͷޙɺฐࣾࢣԬͷύʔτͰ࿩ ͕Ͱ͖Ε͹ͱ
24. ༨ஊɿਂ૚ֶशͷొ৔ w ਂ૚ֶशͷ౸དྷʹΑͬͯ·ͨগ͠෼ੳϏδωε ք۾ͷτϨϯυ͕มΘΓͭͭ͋Γ·͢
    w ʮૣ͘ॲཧ͕Ͱ͖ͨํ͕ྑ͍ʯ͔Βʮ͕͔࣌ؒ ͔ͬͯ΋ྑ͍ʢͱ͍͏͔͔͔Δͷ͸࢓ํͳ͍ʣ ͷͰ͔ͬ͠Γͱͨ͠Ϟσϧ͕࡞ΒΕΔ͜ͱ͕ॏ ཁʯ
25. ਓͰ΋͋Δఔ౓Ͱ͖͍ͯΔͱ͜ΖΛػցతʹ΍Δ͜ͱͰ
    ޮ཰ԽΛਤΔ
    30*ޮՌΛదਖ਼ʹଌΕΔΑ͏ʹ౤ࢿΛ͍ͨ͠ ෼ੳػցֶशΛத৺ʹ͜Ε·Ͱશ͘ߟ͑΋͔ͭͳ͔ͬͨ
    ΠϊϕʔγϣϯΛى͍ͨ͜͠ʢىͤ͜ΔͰ͠ΐʁʣ ๻ΒͷॴʹདྷΔ૬ஊ ͪΐͬͱ͸4QBSLͳͲΛఏҊ͠΍͍͢؀ڥʹͳ͖ͬͯͨʁ
26. ·ͱΊ w ݱঢ়͸ɺϏδωεͱ͓ͯ͠࢓ࣄͰ4QBSLΛΰϦΰ Ϧ৮Δػձ͕࣋ͪʹ͍͘
    w ͜ΕΛଧഁ͢Δʹ͸ɺ΋ͬͱ4QBSLͷ෼ੳ؀ڥ Λඞཁͱ͠ಋೖΛݕ౼͍ͯͨ͠Γɺ࣮ࡍʹ࣋ͬ ͍ͯͯ׆༻ʹࠔ͍ͬͯΔΑ͏ͳاۀ͕ඞཁ
    w ΋ͬͱ4QBSLΑྲྀߦͬͯ͘Εʂ
27. $IBOHF
    UP
    .PSPPLBTBO
28. σʔλϚωδϝϯτπʔϧ %FMUB$VCFͰͷ4QBSLར༻ ࢣԬҰ੒
29. ࣗݾ঺հ w גࣜձࣾϒϨΠϯύουͰΤϯδχΞͯ͠·͢
    w ݩʑ͸)BEPPQ΍Γͨͯ͘ೖࣾ͠·͕ͨ͠ɺ͍ Ζ͍Ζ΍ͬͯ·͢
    w ࠷ۙ͸ͳ͔ͥ0QFO*%
    $POOFDU࢖ͬͨೝূαʔ ό࡞ͬͯ·͢
30. 4QBSLͱͷग़ձ͍ w ܰ͘৮ͬͨͷ͸೥͔Βɺຊ֨తʹۀ຿Ͱ࢖ ͍ͩͨ͠ͷ͸೥͔Β
    w ͦͷੲʹ)BEPPQͷ/BUJWF"1*ͰͷΞϓϦέʔγϣ ϯΛ։ൃɾӡ༻ͯͨ͠ͷͰɺ1ZUIPO࢖͑ͨΓ݁ ߹͕؆୯ʹग़དྷͨΓͰɺʮ͓͓ʔʯͬͯͳΔ
31. ຊ೔࿩͢͜ͱ w %FMUB$VCFͱ͍͏ϓϩμΫτͰ4QBSLΛಋೖ͠ ͨ࿩Λ͠·͢
32. %FMUB$VCF w ϓϥΠϕʔτ%.1
    3UPBTUFSͰอ͍࣋ͯ͠Δ ߦಈϩά౳͔ΒηάϝϯτΛ࡞੒͢Δπʔϧ
33. %FMUB$VCF w ։ൃ͸೥͔Β։࢝ɺਖ਼ࣜϦϦʔε͸೥
    w ։ൃ։͔࢝Β೥͘Β͍Ͱ͕͢ɺ͍Ζ͍ΖͳมભΛ ؚΊͯ࿩͍ͯ͜͠͏͔ͱࢥ͍·͢
34. ॳظɿ೥ʙ w ߦಈϩάΛखಈͰݕࡧͯ͠ηάϝϯτΛ࡞੒
    w ηάϝϯτಉ࢜Λֻ͚͋ΘͤͨΓͱ͔৭ʑ
35. ॳظɿ೥ʙ w "84্ʹ1SFTUPΫϥελΛ૊ΜͰੜϩάݕࡧ
    w σʔλαΠζతʹ͸਺5# Web Servers Elastic Load Balancing Presto Cluster Coordinator Workers
36. தظɿ೥ʙ w ػೳతʹϚχΞοΫ࿏ઢ
    w ޿ࠂӡ༻ͷख͕͔͔ؒΒͳ͍Α͏ͳϥΠτͳײ ͡ͷ࿏ઢ͕ཁ๬ͱͯ͠ଟʑ͋Γ
37. தظɿ೥ʙ w ͦ͜ͰҰ࿈ͷྲྀΕΛࣗಈԽͯ͠Έͨ
    w ͜ͷϢʔβͷΫϥελϦϯάʹ4QBSLΛ࢖༻ ࣗಈͰϢʔβΛ ΫϥελϦϯά ࣗಈͰ"#ςετ ͯ͠࠷దԽ
38. தظɿ೥ʙ w &.3ͷ:"3/্Ͱ4QBSL
    w &5-ɾूܭɿ4QBSL$PSFɺ4QBSL42-
    w ΫϥελϦϯάɿ.-MJC Amazon EMR Web Servers Elastic Load Balancing Presto Cluster Coordinator Workers
39. தظɿ೥ʙ w ͳͥ4QBSLΛબΜ͔ͩʁ
    w ͸͍ɺ൒͹ແཧ໼ཧͰ͢
    w ͨͩɺಋೖ͠ऴΘͬͯΈΔͱɺ&5-ɾूܭɾػցֶ श͕ಉҰͷϓϥοτϑΥʔϜɾݴޠɾϑϨʔϜϫʔ ΫͰ࣮૷Ͱ͖ͨͷ͸େ͖͔ͬͨͰ͢
    w ։ൃظؒ΋ݕূؚΊͯϲ݄ఔ౓
40. ݱࡏ
    ೥ʙ w :"3/ͱ1SFTUPͰΫϥελͭ͋ΔͷΠϠ
    w 1SFTUPແͯ͘͠4QBSL42-ʢ+%#$ʣʁ Amazon EMR Web Servers Elastic Load Balancing Presto Cluster Coordinator Workers
41. ݱࡏ
    ೥ʙ w 1SFTUP͸ແ͍ͤͯ͘·ͤΜɻɻɻ
    w 4QBSL͸γϟοϑϧ࣌ʹσΟεΫॻࠐ͕͋ΔͷͰɺ ΦϯϥΠϯ͔ΒͷݕࡧੑೳͰ1SFTUPʹ܉഑
42. ݱࡏ
    ೥ʙ w ࠷ऴతʹ͸&.3্ʹ1SFTUPΫϥελΛҠಈͤ͞ ͯӡ༻ͯ͠·͢ Web Servers Elastic Load Balancing Amazon EMR ΦϯϥΠϯܥ όονܥ
43. ·ͱΊ w %FMUB$VCFͱ͍͏ϓϩμΫτͰ4QBSLΛಋೖͯ͠Έ ͨ࿩Λ͠·ͨ͠
    w 4QBSL͸৭ʑͳίϯϙʔωϯτ͕ඪ४Ͱೖ͍ͬͯͯɺ .BQ3FEVDFʹൺ΂૬౰ෑډ͕௿͘ͳ͍ͬͯ·͢
    w ΋ͬͱ4QBSLΑྲྀߦͬͯ͘Εʂ