Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Rettyの分析基盤におけるAWS活用術

chie8842
October 20, 2017

 Rettyの分析基盤におけるAWS活用術

#xtechjaws #xtechjaws01
2017/10/20 X-Tech JAWS の資料

chie8842

October 20, 2017
Tweet

More Decks by chie8842

Other Decks in Technology

Transcript

  1. ࣗݾ঺հ $IJF)BZBTIJEB  5XJUUFS!DIJF (JU)VCDIJF  3FUUZ*OD 4PGUXBSF&OHJOFFS  

    "84($1ػցֶश1ZUIPO4DBMB$MPKVSF%#WJN ম೑ϐΞϊςχεεϊϘ  2
  2. ৽͍͠෼ੳج൫ʹٻΊΒΕΔ΋ͷ •  ෼ੳऀʹͱͬͯ࢖͍΍͍͢ –  42-΍ͦΕʹ४ͣΔΫΤϦݴޠ͕ར༻Ͱ͖Δ –  Ϩεϙϯε΍εϧʔϓοτ •  ௥Ճ։ൃɾӡ༻͕͠΍͍͢ – 

    ྻมߋ౳͕ॊೈʹͰ͖Δ –  ෳࡶͳ&5-ॲཧʹॊೈʹରԠͰ͖Δ •  ίετʢΠχγϟϧϥϯχϯάʣ͕ݱ࣮తͰ͋Δ •  εέʔϥϒϧͰ͋Δ –  ෼ੳର৅σʔλͷछྨ΍αΠζ͕૿͑ͯ΋ରԠͰ͖Δ Ϋϥ΢υͷྑ͞Λϑϧ׆༻ͨ͠෼ੳج൫ 11
  3. ͭͬͨ͘෼ੳج൫ 3FUUZαʔϏεج൫ 3FUUZ෼ੳج൫ʢ"84ʣ 3FUUZ෼ੳج൫ʢ($1ʣ Kinesis S3 EMR (Spark) S3 EC2

    EC2 RDS(MySQL) 分析者 プランナ σʔλϨΠΫ σʔλՃ޻ πʔϧ %8)ɾ%. 13
  4. ෼ੳج൫ͷ໾ׂ 16 σʔλϨΠΫ %8) σʔλͷऩूɾ ஝ੵ৔ॴ %. ΞυϗοΫ෼ੳ ༻σʔλϕʔε ໨తผʹՃ޻ɾू໿

    ͞Εͨσʔλϕʔε ΍Γ͍ͨ͜ͱ͕ҧ͏ͷͰඞཁͳཁ݅΋ҧ͏ɻ ҰՕॴͰҰ౓ʹ΍Ζ͏ͱ͠ͳ͍ɻ ͦΕͧΕͷཁ݅ʹ͋ͬͨίϯϙʔωοτΛར༻ ॲཧΛ෼͚Δ
  5. σʔλϨΠΫɿ4 •  ඇߏ଄Խσʔλͷอଘ •  ֦ுੑɾ଱ٱੑ͕୲อ͞ΕΔ •  αʔϏεͷಈ͍͍ͯΔ৔ॴͱಉ͡ϦʔδϣϯʹσʔλΛ อ͍࣋ͨ͠ ৔߹ʹΑͬͯ͸όοΫΞοϓɺ؂ࠪϩάɺকདྷతͳ σʔλϏδωε౳ͷཁ݅΋ߟྀ

     –  ωοτϫʔΫసૹίετ –  ؅ཧ͠΍͢͞ •  ಉ͡όέοτ಺Ͱ΋ϓϨϑΟοΫε΍λάΛར༻ͨ͠ॊ ೈͳϥΠϑαΠΫϧͷӡ༻ •  ,JOFTJT'JSFIPTFΛར༻͢Δ͜ͱͰ͔ΜͨΜʹ೔࣌͝ͱʹ σΟϨΫτϦΛ෼͚ͯอଘͰ͖Δ 18
  6. %8)ɾ%.ɿ#JH2VFSZ •  ෼ੳऀʹͱͬͯ࢖͍΍͍͢ –  4UBOEBSE42-͕ར༻Ͱ͖Δ –  6%'΍8JOEPXؔ਺΋࢖͑Δ –  εϓϨουγʔτ΍QBOEBTEBUBGSBNFͱͷ࿈ܞ • 

    ޙͷςʔϒϧઃܭมߋ͕͠΍͍͢ –  ςʔϒϧ΁ͷྻ௥Ճ͕Ͱ͖Δ •  ҆ఆͨ͠ϨΠςϯγͱεϧʔϓοτ •  ϝϯςφϯεϑϦʔ •  ࣌ؒ՝ۚͰͳ͘ΫΤϦ՝ۚ •  σϝϦοτɿ3FE4IJGU΍"UIFOBΛ࢖͏৔߹ͱൺ΂ͯɺ "84͔Β($1΁ͷσʔλసૹίετ͕͔͔Δ 19
  7. αʔϏε֦େʹ൐͏σʔλྔ૿Ճ •  3FUUZͷ৔߹     21 ೥݄ສ66 ೥݄ສ66

    ໿೥Ͱഒɻࠓޙ΋૿͑ଓ͚Δɻ ࠷ॳ͔Βεέʔϥϒϧͳઃܭʹ͓ͯ͘͠ ඞཁ͕͋Δɻ
  8. σʔλྔ૿ՃͰؾʹ͢΂͖ϙΠϯτ •  σʔλ஝ੵ༰ྔ –  4ɺ#JH2VFSZΛ࠾༻͢Δ͜ͱͰΫϦΞ •  &5-ॲཧ –  σʔλ͕૿͑ͯ΋ಉ͡ΞʔΩςΫνϟͰॲཧՄೳ͔ – 

    ॲཧ͕࣌ؒݱ࣮త͔ •  σʔλసૹ –  σʔλ͕૿͑ͯ΋ಉ͡ΞʔΩςΫνϟͰॲཧՄೳ͔ –  ॲཧ͕࣌ؒݱ࣮త͔ –  సૹίετ͕ڐ༰ൣғ͔ 22
  9. &5-͔&-5͔ʁ &5-ɿ&YUSBDUˠ5SBOTGPSNˠ-PBE –  σʔλΛ੔ܗ͔ͯ͠Β%8)ʹϩʔυ͢Δ &-5ɿ&YUSBDUˠ-PBEˠ5SBOTGPSN –  σʔλΛ%8)ʹϩʔυ͔ͯ͠Β%8)্ͰσʔλΛ੔ܗ͢Δ 23 •  3FUUZͷ৔߹

    –  ෆཁͳϩάग़ྗ͕શମͷׂΛ઎ΊΔͨΊɺωοτϫʔΫ సૹྔΛߟྀͯ͠%8)ʹೖΕΔલʹϑΟϧλ͍ͨ͠ –  42-Ͱදݱͮ͠Β͍ෳࡶͳ&5-ॲཧΛߦ͍͍ͨ  ˠ%8)ʹೖΕΔલʹσʔλ੔ܗɻ ʢͨͩ͠42-ͰॲཧͰ͖Δ΋ͷ͸#JH2VFSZ্Ͱॲཧʣ
  10. &5-ॲཧɿ&.3 4QBSL  ˙4QBSL •  42-Ͱදݱͮ͠Β͍ඇߏ଄Խσʔλʹର͢Δ ෳࡶͳ&5-ॲཧ – ࣌ܥྻσʔλͷ4FTTJPOJ[FͳͲ •  ෼ੳऀʹೃછΈਂ͍1ZUIPOͰॲཧ͕هड़Ͱ͖Δ

    •  42-ͱҟͳΓϞδϡʔϧʹ෼͚ͯςετ͕Ͱ͖Δ ˞4QBSLͷৄࡉ͸1Z$PO+1ͷൃදࢿྉࢀর σʔλՃ޻ᶃʢ4QBSLʣ 25 σʔλՃ޻ ᶄʢ42-ʣ
  11. σʔλྔ૿ՃͰؾʹ͢΂͖ϙΠϯτ •  σʔλ஝ੵ༰ྔ –  4ɺ#JH2VFSZΛ࠾༻͢Δ͜ͱͰΫϦΞ •  &5-ॲཧ –  σʔλ͕૿͑ͯ΋ಉ͡ΞʔΩςΫνϟͰॲཧՄೳ͔ – 

    ॲཧ͕࣌ؒݱ࣮త͔ •  σʔλసૹ –  σʔλ͕૿͑ͯ΋ಉ͡ΞʔΩςΫνϟͰॲཧՄೳ͔ –  ॲཧ͕࣌ؒݱ࣮త͔ –  సૹίετ͕ڐ༰ൣғ͔ 26
  12. ෼ੳج൫͋Δ͋Δ •  ࡞ͬͯΈ͚ͨͲ࢖ΘΕͳ͍ –  ཁ݅ͱ߹Θͳ͍ –  εέʔϧͰ͖ͣ࡞Γ௚͠ –  ͳΜ͔࢖͍ʹ͍͘ • 

    ӡ༻͕ΊΜͲ͍͘͞ •  ਵ࣌ͷཁ݅มߋʹ଱͑ΒΕͳ͍ 32 ҰਓͰ๊͑ࠐΉͱ͍ͨ΁Μͳ͜ͱʹɻ
  13. ෼ੳج൫ߏஙͷਐΊํᶃ •  ૣ͘࡞ͬͯ΋௕͘࢖͑ͳ͍΋ͷΛ࡞ͬͯ΋ҙຯ͕ͳ͍ •  %8)ͷ৔߹ɺج൫෦෼͸ʮ࡞ͬͯյͯ͠ʯ͕؆୯ʹ͸ ͢·ͳ͍ɻ •  ج൫෦෼͸৻ॏʹܾΊͨ 5⽉ 6⽉

    ཁ݅ώΞϦϯάɺ੡඼ɾٕज़બఆɺ1P$ &5-εΫϦϓτ࡞੒ɾ ؀ڥߏங ͬͪ͜ʹ͔͚࣌ؒͨɻ ͪΌΜͱ࢖ΘΕΔ෼ੳج൫͕Ͱ͖ͨʂ 33
  14. ෼ੳج൫ߏஙͷਐΊํᶄ •  ෼ੳऀࣗ਎͕͋Δఔ౓ӡ༻Ͱ͖ΔΑ͏ʹ͢Δ –  ϑϧϚωʔδυαʔϏεΛ࢖͏ –  &NCVMLͷઃఆϑΝΠϧ͸෼ੳऀ͕ࣗ෼Ͱ௥Ճɻ ௥Ճ͞ΕͨΒࣗಈͰ"JSqPXδϣϒʹऔΓࠐ·ΕΔ Α͏ʹ͢Δ – 

    4QBSLʹΑΔਖ਼نදݱநग़ͷ৚݅มߋ΋ɺઃఆ༻ͷ ςΩετϑΝΠϧͷର৅ߦΛมߋ͢Δ͚ͩ –  Τϥʔൃੜ࣌͸#BDLMPHͰϨϙʔτͯ͠*TTVF؅ཧɻ ؆୯ͳΤϥʔ͸ؾ͍ͮͨਓ͕௚͢ɻ 34
  15. ෼ੳͷͨΊʹ޻෉ʢۤ࿑ʣͨ͜͠ͱ ͷҰ෦  •  ,JOFTJT'JSFIPTF͸ʮσʔλൃੜ࣌ࠁʯͰͳ͘ʮσʔλ౸ ண࣌ࠁʯͰσΟϨΫτϦ͕෼͔ΕΔɻ ೔લͷσʔλΛ෼ੳ͠Α͏ͱ͢Δͱɺσʔλ͕଍Γͳ ͍͜ͱʹͳΔ ˠ&.3Ͱͷ&5-Ͱʮσʔλൃੜ࣌ࠁʯΛ࢖͏Α͏ʹɻ • 

    #JH2VFSZ͸EBUFϑΥʔϚοτ͸(.5ͷΈɻ ɹˠ&5-Ͱ࣌ؒޙͷ࣌ࠁͷΧϥϜ΋࡞੒ •  σʔλϕʔε͔Βऔಘ͢ΔςʔϒϧͱϩάςʔϒϧͷΧ ϥϜͷܕΛ͋ΘͤΔ •  (PPHMF"OBMZUJDTʹ͋Θͤͯ66*%ͱ4FTTJPO*%Λ&5-Ͱ෇ ༩ 36
  16. ༻ޠ •  σʔλϨΠΫ –  Ճ޻લͷੜϩάΛอଘ͢Δ৔ॴ •  %8) –  ෼ੳ͠΍͍͢Α͏ʹՃ޻͞ΕͨσʔλΛ֨ೲ͢Δσʔλϕʔε • 

    %. –  ෼ੳ༻్ʹԠͯ͡ूܭޙͷσʔλͳͲΛ֨ೲ͢ΔͳͲɺαϯυ ϘοΫεతʹ͔ͭ͏ͨΊͷσʔλϕʔε •  σʔλՃ޻πʔϧ –  ϩάΛ෼ੳ͠΍͍͢ܗʹ੔ܗ͢Δπʔϧ •  ϫʔΫϑϩʔΤϯδϯ –  Ұ࿈ͷσʔλॲཧͷϑϩʔΛ؅ཧ͢Δπʔϧ 38