Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWSとGCPのいいとこどりでつくる分析基盤のきほん

chie8842
October 09, 2017

 AWSとGCPのいいとこどりでつくる分析基盤のきほん

DevfestTokyo2017の登壇資料です。 #DevfestTokyo #DevfestTokyo2017 #GDG #DevFest17

chie8842

October 09, 2017
Tweet

More Decks by chie8842

Other Decks in Technology

Transcript

  1. ࣗݾ঺հ $IJF)BZBTIJEB  5XJUUFS!DIJF (JU)VCDIJF  3FUUZ*OD 4PGUXBSF&OHJOFFS  

     ($1"84ػցֶश1ZUIPO4DBMB$MPKVSF%#WJN ম೑ϐΞϊςχεεϊϘ  2
  2. ৽͍͠෼ੳج൫ʹٻΊΒΕΔ΋ͷ •  ෼ੳऀʹͱͬͯ࢖͍΍͍͢ –  42-΍ͦΕʹ४ͣΔΫΤϦݴޠ͕ར༻Ͱ͖Δ –  Ϩεϙϯε΍εϧʔϓοτ •  ௥Ճ։ൃɾӡ༻͕͠΍͍͢ – 

    ྻมߋ౳͕ॊೈʹͰ͖Δ –  ෳࡶͳ&5-ॲཧʹॊೈʹରԠͰ͖Δ •  ίετʢΠχγϟϧϥϯχϯάʣ͕ݱ࣮తͰ͋Δ •  εέʔϥϒϧͰ͋Δ –  ෼ੳର৅σʔλͷछྨ΍αΠζ͕૿͑ͯ΋ରԠͰ͖Δ "84ͱ($1ͷ͍͍ͱ͜ͲΓͨ͠෼ੳج൫ 11
  3. ͭͬͨ͘෼ੳج൫ 3FUUZαʔϏεج൫ 3FUUZ෼ੳج൫ʢ"84ʣ 3FUUZ෼ੳج൫ʢ($1ʣ Kinesis S3 EMR (Spark) S3 EC2

    EC2 RDS(MySQL) 分析者 プランナ σʔλϨΠΫ σʔλՃ޻ πʔϧ %8)ɾ%. 13
  4. σʔλϨΠΫɿ4 •  ඇߏ଄Խσʔλͷอଘ •  αʔϏεͷಈ͍͍ͯΔ؀ڥʢ"84ʣʹ͍ۙ৔ॴʹσʔλ Λอ࣋͢Δ΄͏͕౎߹͕Α͍ –  ωοτϫʔΫసૹίετ –  ؅ཧ͠΍͢͞

    •  ಉ͡όέοτ಺Ͱ΋ϓϨϑΟοΫε΍λάΛར༻ͨ͠ॊ ೈͳϥΠϑαΠΫϧͷӡ༻ •  ,JOFTJT'JSFIPTFΛར༻͢Δ͜ͱͰ͔ΜͨΜʹ೔࣌͝ͱʹ σΟϨΫτϦΛ෼͚ͯอଘͰ͖Δ 14
  5. %8)ɾ%.ɿ#JH2VFSZ •  ෼ੳऀʹͱͬͯ࢖͍΍͍͢ –  4UBOEBSE42-͕ར༻Ͱ͖Δ –  6%'΍8JOEPXؔ਺΋࢖͑Δ –  εϓϨουγʔτ΍QBOEBTEBUBGSBNFͱͷ࿈ܞ • 

    ޙͷςʔϒϧઃܭมߋ͕͠΍͍͢ –  ςʔϒϧ΁ͷྻ௥Ճ͕Ͱ͖Δ •  ҆ఆͨ͠ϨΠςϯγͱεϧʔϓοτ •  ϝϯςφϯεϑϦʔ •  ࣌ؒ՝ۚͰͳ͘ΫΤϦ՝ۚ •  3FE4IJGU΍"UIFOBΛ࢖͏৔߹ͱൺ΂ͯɺ"84͔Β ($1΁ͷσʔλసૹ͕ൃੜ͢Δ͕ɺ ӡ༻ίετͷ࡟ݮͰ૬ࡴͰ͖Δൣғͩͬͨ 15
  6. %8)੡඼ൺֱ 3FE4IJGU "UIFOB #JH2VFSZ /8సૹίετ Ϧʔδϣϯ಺ Ϧʔδϣϯؒసૹ ౦ژˠόʔδχ Ξ 

    Πϯλʔωοτ ӽ͠ͷసૹ ՝ۚํࣜ Քಇ࣌ؒ՝ۚ ΫΤϦ՝ۚ ΫΤϦ՝ۚ 6%' ˓ ✗ ˓ ΧϥϜมߋ ˓ ✗ ˚ ج൫ӡ༻ ඞཁ ඞཁ ΄ͱΜͲͳ͠ ΫΤϦ νϡʔχϯά ඞཁ ඞཁ ΄ͱΜͲͳ͠ ΫΤϦݴޠ TUBOEBSE42- QSFTUP TUBOEBSE42- ࣌఺ ੨จࣈ͸ࠓճͷཁ݅ʹద͍ͯ͠Δ͜ͱΛࣔ͢ 16
  7. &.3 4QBSL σʔλՃ޻ •  αʔϏεଆͷϩάઃܭͷؔ܎ͰɺҎԼ͕ඞཁͩͬͨɻ –  ෆཁͳϩάग़ྗ͕શମͷׂΛ઎ΊΔͨΊɺ#JH2VFSZ΁సૹ͢ ΔલʹϑΟϧλॲཧ –  42-ͰදݱͰ͖ͳ͍ඇߏ଄Խσʔλʹର͢Δෳࡶͳ&5-ॲཧ

    •  ϩά͕૿େͯ͠΋Ϋϥελ୆਺Λ૿΍͢͜ͱͰεέʔϧ Ͱ͖Δ •  42-Ͱࡁ·ͤΒΕΔ΋ͷ͸#JH2VFSZ্ͰՃ޻ σʔλՃ޻ᶃʢ4QBSLʣ σʔλՃ޻ ᶄʢ42-ʣ 17
  8. ࢖ΘΕΔ෼ੳج൫ߏஙͷίπ •  ૣ͘࡞ͬͯ΋௕͘࢖͑ͳ͍΋ͷΛ࡞ͬͯ΋ҙຯ͕ͳ͍ •  %8)ͷ৔߹ɺج൫෦෼͸ʮ࡞ͬͯյͯ͠ʯ͕؆୯ʹ͸ ͢·ͳ͍ɻ •  ج൫෦෼͸৻ॏʹܾΊͨ 5⽉ 6⽉

    ཁ݅ώΞϦϯάɺ੡඼ɾٕज़બఆɺ1P$ &5-εΫϦϓτ࡞੒ɾ ؀ڥߏங ͬͪ͜ʹ͔͚࣌ؒͨɻ ͪΌΜͱ࢖ΘΕΔ෼ੳج൫͕Ͱ͖ͨʂ 18
  9. ༻ޠ •  σʔλϨΠΫ –  Ճ޻લͷੜϩάΛอଘ͢Δ৔ॴ •  %8) –  ෼ੳ͠΍͍͢Α͏ʹՃ޻͞ΕͨσʔλΛ֨ೲ͢Δσʔλϕʔε • 

    %. –  ෼ੳ༻్ʹԠͯ͡ूܭޙͷσʔλͳͲΛ֨ೲ͢ΔͳͲɺαϯυ ϘοΫεతʹ͔ͭ͏ͨΊͷσʔλϕʔε •  σʔλՃ޻πʔϧ –  ϩάΛ෼ੳ͠΍͍͢ܗʹ੔ܗ͢Δπʔϧ •  ϫʔΫϑϩʔΤϯδϯ –  Ұ࿈ͷσʔλॲཧͷϑϩʔΛ؅ཧ͢Δπʔϧ 20