Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Spark + S3 + R3 을 이용한 데이터 분석 시스템 만들기

VCNC
December 20, 2014

Spark + S3 + R3 을 이용한 데이터 분석 시스템 만들기

Spark
- 최대한 메모리를 활용하는 MapReduce
- 훨씬 다양한 API (distinct, groupByKey, sort, join, …)
- 재사용하는 데이터는 cache
- Map같은 연산은 lazy 하게 처리
Spark + S3
- 로그를 저장해 주는 HDFS layer를 따로 운영하지 않아도 됨
- s3n / s3 file system을 통해서 Hadoop에 잘 integration 되어 있음
- S3 EC2 간 데이터 전송이 무료!
Spark + R3 instance
• R3 instance
- 최근에 출시된, 메모리 optimized instance
- 메모리 244GB ( r3.8xlarge기준 )
- 320GB SSD x 2 (Shuffle 결과 임시 저장할 때 유리함)
- Spark에 최적화된 instance type
결론
Spark + S3 + R3 instance 조합으로 처리 용량을 늘리거나 줄일 수 있는 자유도가 있고 직접 운영하지 않아도 되는 10배 이상 빠른 분석 시스템을 만들었습니다

VCNC

December 20, 2014
Tweet

More Decks by VCNC

Other Decks in Programming

Transcript

  1. ࠺౟ਦ ↟ ழ೒ٜਸਤೠݽ߄ੌࢲ࠺झ ↟ ই੉ಪ উ٘۽੉٘য೒ܻா੉࣌ઁҕ ↟ ଻౴ ӝ֛ੌ ࢎ૓

    ݫݽ ஫ܽ؊ӝמઁҕ ↟ ੹ࣁ҅ীࢲ݅ ׮਍۽٘ BTPG  ↟ IUUQCFUXFFOVT ↟ IUUQFOHJOFFSJOHWDODDPLS
  2. ӝઓؘ੉ఠ࠙ࢳदझమ ↟ ݒੌجܻח઱ӝ੸ੋ࠙ࢳ੘সҗ0OEFNBOE࠙ࢳ੉ਃҳؽ ↟ ࢲߡо+TPOਵ۽۽Ӓܳթӣ ↟ \XIP\BEESFTTYYYYYY VTFS*E VTFS"HFOU#FUXFFO 4)7&,"OESPJELP@,3

    ^ XIBU \PCKFDU*E@YYYY QBSFOU*E PCKFDU5ZQF64&3@5)3&"%@.&44"( & NFTTBHF\MFOHUI^^ IPX\BDUJPO"%%^ XIFO\UJNF.JMMJT ^ WFSTJPO^ ↟ ࢲߡীࢲೞܖীೠߣঀ4۽স۽٘ ↟ ഥࢎղীؘ੉ఠ࠙ࢳਊ)%'4 )#BTF .BQ3FEVDF௿۞झఠઓ੤ ↟ ইஜী4۽ࠗఠ۽Ӓܳ߉ই৬ࢲ)#BTFী॔ইࠗ਺ ↟ ࠙ࢳਸج۰Ѿҗܳ.Z42-ਸ੷੢ೣ
  3. ؀উݽ࢝ ↟ &MBTUJD4FBSDI ↟ ؘ੉ఠо݆ਵݶוܻ׮חফӝоj ↟ )%'4 .BQ3FEVDF )#BTFઁѢ 

    ↟ ৈ੹൤JOEFYJOH੉೙ਃೠؘj ↟ 4QBSL ↟ ߄׮ѤցীࢲIPUೞ׮חؘj
  4. ↟ ୭؀ೠݫݽܻܳഝਊೞח.BQ3FEVDF ↟ ഻ঁ׮নೠ"1* ↟ EJTUJODU HSPVQ#Z,FZ TPSU KPJO j

    ↟ ੤ࢎਊೞחؘ੉ఠחDBDIF ↟ .BQэ਷ো࢑਷MB[Zೞѱ୊ܻ
  5. 4QBSL৘ઁݫࣁ૑ࠁմਬ੷ࣻ ↟ WBMMPHTTDUFYU'JMF tTONZMPHTMPHT u  ↟ WBMNTH-PHTMPHTGJMUFS @DPOUBJOT t"%%@.4(u

     ↟ WBMNTH6TFSTNTH-PHTNBQ @UP"DUJPO-PHVTFS*E EJTUJODU ↟ WBMNTH6TFS$PVOUTNTH6TFSTDPVOU
  6. 1$ࢎਊ۝$PIPSUҳೞӝ ↟ WBMMPHTTDUFYU'JMF tTOMPHTCFUXFFOMPH   ↟ WBMQD""TMPHTGJMUFS @DPOUBJOT t#FUXFFO1$u

    NBQ @UP""  ↟ WBMQD6TFS%BUFTQD""TNBQ MPH MPHVTFS*E GPSNBUGPSNBU MPHXIFOUJNF.JMMJT EJTUJODU ↟ WBMQD6TFS'JSTU%BUFQD6TFS%BUFTHSPVQ#Z,FZ NBQ LW LW@ LW@UP-JTUTPSUFEIFBE  ↟ WBMQD6TFS'JSTU%BUF"DUJWF%BUFQD6TFS'JSTU%BUFKPJO QD6TFS%BUFT  ↟ WBMSFTVMUQD6TFS'JSTU%BUF"DUJWF%BUFNBQ @@  SFEVDF#Z,FZ @ @ TPSU#Z,FZ USVF
  7. 4QBSL 3JOTUBODF ↟ 3JOTUBODF ↟ ୭Ӕী୹दػ ݫݽܻPQUJNJ[FEJOTUBODF ↟ ݫݽܻ(# SYMBSHFӝળ

     ↟ (#44%Y ↟ 4IVGGMFѾҗ੐द੷੢ೡٸਬܻೣ ↟ 4QBSLী୭੸ചػJOTUBODFUZQF
  8. 4QBSL۽৤ӟറj ↟ ֙஖ؘ੉ఠী؀೧ࢲ࠙ࢳਸ೧ࠁҊरয ↟ җѢীח׼ੌ࠙ࢳਸ઺ױदఃݶࢲয়ېѦܻח࠙ࢳਸجܻӝয۰਑ ↟ അ੤ח׼ੌ࠙ࢳҗदр੉য়ېѦܻח࠙ࢳਸزदীप೯оמ ↟ ࠺౟ਦ੄ߡӒ੉ग୶੸ী௾ب਑੉ؽ ↟

    যڃਬ੷оজ੉۽Ӓইਓغ঻׮חؘ੉ਬܳݽܰѷ׮ ↟ ࢲߡ੄ߡӒ ਬ੷੄׳੹੄೯زী੄೧ࢲࢤӟޙઁ ↟ ׳஖੄೧׼ਬ੷੄೯ز۽Ӓ৬&YDFQUJPO۽Ӓܳ࠺Ү࠙ࢳೞৈਗੋߊѼ ↟ ૓ੑ੢߷੉ծইઉ؊݆਷ѐߊ౱ਗٜ੉ؘ੉ఠ࠙ࢳীҙबਸо૑ӝद੘ೣ