サーバーレスとスケーラブルなデータ集計 / Aggregate Processing with Serverless

AWS Summit Tokyo での発表資料です。
https://aws.amazon.com/jp/summits/tokyo-2019/aws-expo/

HiCustomerではエンジニアを募集しています。興味をお持ちの方はぜひ採用サイトにお立ち寄りください。
https://hicustomer.jp/recruit/engineer/

Transcript

1. αʔόʔϨεͱ
   εέʔϥϒϧͳσʔλूܭ 
   )J$VTUPNFS
   JOD
   ංલ༸༎
   !IJ[FOZ ελʔτΞοϓͰͷಋೖࣄྫͱ
   ࣌ܥྻσʔλूܭͷΞʔΩςΫνϟ
2. w )J$VTUPNFS
   JOD
   w ංલ༸༎
   w !IJ[FOZ
   w ΤϯδχΞڞಉ૑ۀऀ
   w ࢁͳͲΛ૸Γ·͢
3. ໨࣍  ϓϩμΫτͱνʔϜ
    ΞϓϦέʔγϣϯߏ੒
    σʔλूܭॲཧͷΞʔΩςΫνϟ
4. ϓϩμΫτͱνʔϜ
5. ϢʔβʔΛʮϑΝϯʯʹม͑Δ
   ΧελϚʔαΫηε؅ཧϓϥοτϑΥʔϜ ͱ͸
6. ͱ͸ w αϒεΫϦϓγϣϯͷ཭୤๷ࢭར༻֦େΛ໨ࢦ͢νʔϜ͕Ϣʔβʔ
   w #UP#
   4BB4ϓϩμΫτͷӡӦاۀ޲͚αʔϏε
   w 4BB4ͷར༻ঢ়گΛ෼ੳՄࢹԽ͢ΔҰछͷ؂ࢹαʔϏε
7. Ͳ͏΍Δͷ͔ ϔϧεείΞ
   w ΧελϚʔ 4BB4ͷސ٬ ͷϔϧεείΞΛϩά͔Βࢉग़
   w ར༻ਐ౓ εςʔδ ʹԠͨ͡είΞϦϯάϧʔϧΛద༻
   Πϯδέʔλʔ
   w ར༻௿ԼͳͲΛݕ஌͠୲౰ऀʹΞϥʔτΛૹ৴
   ϨϙʔςΟϯά
   w ϔϧεείΞ౳ͷϝτϦοΫΛ෼ੳ͠ɺνʔϜͷύϑΥʔϚϯεΛධՁ
8. νʔϜߏ੒ ϓϩδΣΫτΦʔφʔ
   υϝΠϯΤΩεύʔτ
   σβΠφʔ
   ΤϯδχΞ *DPO
   NBEF
   CZ
   'SFFQJL
   GSPN
   XXXqBUJDPODPN
   ʜ
   ϑϧλΠϜ ʜ
   ύʔτλΠϜ #&
   
   '& αϙʔτ '& ୅ද
   
   ླ໦ $4
   
   ߴڮ
9. ։ൃख๏ ݴޠ
   w (P5ZQF4DSJQU
   ΞʔΩςΫνϟ
   w αʔόʔϨε
   "1*
   (BUFXBZ-BNCEB%ZOBNP%#
   w 41"
   7VFKT7VFY
   ϓϩδΣΫτ؅ཧ
   w εΫϥϜ
   ;FO)VC/PUJPO
10. ΞϓϦέʔγϣϯߏ੒
11. ॲཧͷྲྀΕ w ֤ࣾͷ4BB4ϓϩμΫτ͔ΒૹΒΕͯ͘ΔΧελϚʔͷߦಈϩάΛऩू͢Δ
    w ʮ௚ۙO೔ؒͰΠϕϯτ"͕NճҎ্ߦΘΕͨʯʮܖ໿ߋ৽೔·ͰO೔Ҏ಺ʯͳͲͷϧʔϧʹج͖ͮΧελϚʔͷ
 εςʔλε
    είΞεςʔδ
    Λࢉग़͢Δ
    w ΧελϚʔͷεςʔλεΛμογϡϘʔυͰՄࢹԽ͢Δ
12. ٕज़తಛ௃ͱ՝୊ ΠϕϯτυϦϒϯͳγεςϜ
    w σʔλͷ౤ೖΛى఺ʹείΞܭࢉ΍௨஌Πϕϯτ͕࿈࠯తʹ૸Δ
    ߴස౓ʹॻ͖ࠐΈ͕ൃੜ͢Δ
    1VCMJD
    "1*
    w ЌϦϦʔε͔࣌ΒൺֱతߴτϥϑΟοΫʹ଱͑Δඞཁ͕͋ͬͨ
    w 8SJUFͷΈ
    w ແఀࢭӡ༻
    ௿ස౓͕ͩෳࡶͳΫΤϦ͕ൃੜ͢Δ
    1SJWBUF
    "1*
    w μογϡϘʔυͷΞϓϦέʔγϣϯ͔Βݺͼग़͞ΕΔ
    w 3FBE͕ϝΠϯ
    w සൟʹσϓϩΠ͍ͨ͠
13. ΞʔΩςΫνϟ
14. ूܭॲཧͷΞʔΩςΫνϟ ࣌ܥྻσʔλूܭ࣌ͷ՝୊
15. ूܭॲཧͷ՝୊ w 3%#ʹ׳Ε͍ͯΔͱ%%#͸ूܭͰෆศΛײ͡΍͍͢
    w 42-ͷΑ͏ͳදݱྗΛظ଴͢Δͱ΢οͱͳΔ
    w ༻్ʹ߹ΘͤͯΞʔΩςΫνϟΛมߋͨ͠ࣄྫͷ঺հ
16. Ϣʔεέʔε
    w ϝτϦοΫͷࢉग़
    w ϨϙʔςΟϯά
    w ΞυϗοΫͳ෼ੳ ूܭର৅
    w Χ΢ϯλ
    w εςʔτ ॲཧͷ෼ྨ ର৅ͱϢʔεέʔεʹΑΓཁ͕݅ҟͳΔ
17. ूܭର৅ छྨͷ࣌ܥྻσʔλ Χ΢ϯλ
    w ྦྷܭ਺ͷࢦඪ
    w 17਺ͳͲ
    w ूܭظؒ͝ͱʹϦηοτ͞ΕΔεςʔτ
    εςʔτ
    w ͋Δ࣌఺ͷঢ়ଶΛද͢ࢦඪ
    w ϥΠηϯε਺ͳͲ
    w ਺஋จࣈྻਅِ஋೔෇ͳͲ
18. Ϣʔεέʔε ϝτϦοΫͷࢉग़
    w ΧελϚʔͷϔϧεείΞ΍εςʔδͳͲ
    w ೔ʑͷ$4ۀ຿
    ϨϙʔςΟϯά
    w ϝτϦοΫͷ෼෍΍ਪҠͷՄࢹԽ
    w $4νʔϜͷύϑΥʔϚϯεධՁ͕໨త
    ΞυϗοΫͳ෼ੳ
    w ೚ҙͷΫΤϦͷ࣮ߦ
    w ΩϟύγςΟϓϥχϯά΍σʔλυϦϒϯͳػೳઃܭ͕໨త छྨͷϢʔεέʔε
19. ࠓճऔΓ্͛Δࣄྫ w ೔࣌ͰͷϔϧεείΞͷ෼෍ͷਪҠͷूܭΛߟ͑Δ ϨϙʔςΟϯά Ϣʔεέʔε
    w ϝτϦοΫͷࢉग़
    w ϨϙʔςΟϯά
    w ΞυϗοΫͳ෼ੳ ूܭର৅
    w Χ΢ϯλ
    w εςʔτ
20. εςʔτσʔλͷ࣋ͪํ w ঢ়ଶ͕มΘͬͨ࣌఺ͷϩάΛ%ZOBNP%#ʹอ࣋
21. εςʔτσʔλͷ࣋ͪํ w ͜ͷΑ͏ͳσʔλߏ଄͕ΧελϚʔ͝ͱʹอ࣋͞ΕΔ
    w ΧελϚʔ਺͸ςφϯτ͋ͨΓ਺ඦ͔Β਺ສ
    w มߋ͕͚͋ͬͨ࣌ͩσʔλ͕ॻ͖ࠐ·ΕΔ
22. εςʔτσʔλͷ࣋ͪํ w ॲཧ͸εςοϓ
     ूܭظؒ͝ͱʹର৅ͷू߹Λநग़
     
    ͷू߹Λूܭ
    w ౰೔ͷϩά͕ͳ͍৔߹͸௚લͷσʔλ͕ूܭର৅ͱͳΔͱ͜Ζ͕ϙΠϯτ
23. มߋલͷΞʔΩςΫνϟ w %ZOBNP%#
    
    -BNCEB
    w લ೔·Ͱͷσʔλ͸ूܭࡁΈͷςʔϒϧ͔Β3FBE
    w ౰೔ͷσʔλ͸࠷৽ͷεςʔτΛΦϯϥΠϯͰूܭ
24. ՝୊ w ߏ଄্/ ͕ආ͚ΒΕͣεέʔϧͰ͖ͳ͍
    w ࠶ूܭ΋ߴίετͳͷͰσΟϝϯγϣϯͷ௥ՃͳͲ͕ؾܰʹͰ͖ͳ͍
25. ूܭॲཧͷΞʔΩςΫνϟ Ξϓϩʔν
26. ํ਑ w ूܭॲཧ͸Ͱ͖Δ͚ͩΫΤϦΤϯδϯʹ೚ͤΔ
    w ΦϯϥΠϯόονͷ྆࣠Ͱݕ౼
    w ݱঢ়ͷσʔλετΞͱଞͷूܭϢʔεέʔε΋ߟྀʹೖΕΔ
    w %%#Ҏ֎ͷσʔλετΞΛซ༻࣮ͯ͠ݱ͢Δํ਑
27. બ୒ࢶ  &MBTUJDTFBSDI
     "VSPMB
     4
    
    "UIFOB
    
    (MVF
     4
    
    (MVF
28. 
    &MBTUJDTFBSDI ྑ͍఺
    w ֤εςοϓΛ࣮ݱ͢Δूܭؔ਺͸༻ҙ͞Ε͍ͯΔ
    w ΦϯϥΠϯͰͷ࢖༻ʹ଱͑Δఔ౓ʹߴ଎
    ѱ͍఺
    w εςοϓͷ݁ՌΛJOEFYʹอଘ͠ͳ͍ͱεςοϓͷ࣮ߦ͕ࠔ೉
    w શΧελϚʔͷ೔࣌ͷεφοϓγϣοτΛ&4্ʹอ࣋͢Δͷ͸ߴίετ 1JQFMJOF
    "HHSFHBUJPOͰͰ͖ͳ͘΋ͳ͍͕ແཧے
29. 
    "VSPMB ྑ͍఺
    w 42-͕ॻ͚ΔͷͰεςοϓɺΛΫΤϦͰදݱՄೳ
    w 3FBE͸ΦϯϥΠϯͰͷ࢖༻ʹ଱͑ΒΕΔఔ౓ʹߴ଎
    ѱ͍఺
    w 8SJUF͕ߴස౓ͳϢʔεέʔεͰ͸όοϑΝϦϯά͕ඞཁͦ͏
    w ଞͷީิͱൺ΂ͯεέʔϧΞ΢τ࣌ͷڍಈ͕ෆ҆ఆ
    w Tఔ౓ͷແԠ౴͕ߟ͑ΒΕΔ
30. 
    4
    
    "UIFOB
    
    (MVF ྑ͍఺
    w 42-͕ॻ͚ΔͷͰεςοϓɺΛΫΤϦͰදݱՄೳ
    w σʔλྔͷ૿ՃʹΑΔίετΠϯύΫτ͕ൺֱత௿͍
    w ΞυϗοΫͳ෼ੳج൫ͱͯ͠΋࢖༻Ͱ͖Δ
    ѱ͍఺
    w Ϩεϙϯεʹ਺ඵ͔͔ΔͨΊόονͰͷࣄલूܭ͕ඞਢ
    w σʔλετΞ͕෼ࢄ͢Δ͜ͱʹΑΔΞʔΩςΫνϟͷෳࡶԽ͸ආ͚ΒΕͳ͍
31. 
    4
    
    "UIFOB
    
    (MVF
32. 
    4
    
    (MVF ྑ͍఺
    w 
    ΑΓγϯϓϧ
    ѱ͍఺
    w ਓͷνʔϜͰӡ༻͢Δʹ͸ϝϯςφϯείετ͕ߴ͍ҹ৅
33. ࠷ऴతͳߏ੒
34. IUUQTXXXXBOUFEMZDPNQSPKFDUT ΤϯδχΞืूதʂ
35. ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ 
    )J$VTUPNFS
    JOD
    ංલ༸༎
    !IJ[FOZ