Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤

Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤

Amazon Redshift事例祭り 2020での発表資料です。Redshiftをデータ活用基盤の中心で使っていくうえで特に障害となった4つの課題について解決策を述べます。

Minero Aoki

August 06, 2020
Tweet

More Decks by Minero Aoki

Other Decks in Technology

Transcript

  1. ࣗݾ঺հ ‣ ੨໦ๆ࿠ʢ͓͖͋ΈͶΖ͏ʣ ‣ ݩ3VCZίϛολʔ ‣ લ৬ฒྻ3%#.4ϕϯμʔ ‣ ฒྻσʔλϕʔεͱग़ձ͏ ‣

    ݱ৬ΫοΫύου ‣ ෼ੳαʔϏεʮͨ΂ΈΔʯͷ։ൃ ‣ σʔλ׆༻ج൫ͷߏங ‣ ΫοΫύουͷϦΞʔΩςΫνϟ
  2. ෼ੳܥͷσʔλϑϩʔ 3FETIJGUETYMBSHFº 5# OPEFTMJDF όϧΫ ΤΫεϙʔτ 12 +%#$ .Z42-ɾ 1PTUHSF42-

    qVFOUE Ϛελʔ ϩά +40/ 4 όονδϣϒɾ ଞγεςϜ 5BCMFBV  3FEBTI ؅ཧը໘ ͳͲ 8PSLEBZ 4BMFTGPSDF ;FOEFTL τϥϯβ Ϋγϣϯ ςʔϒϧఔ౓ ຊऑ ຊऑ ϩά αϚϦʔ αϚϦʔ 42-όον໿ຊ 12 +%#$ #*ܥ
  3. w ϨγϐݕࡧΠϯσοΫεߏங w ݩσʔλͷूܭɾऔಘ෦෼Λத৺ʹ3VCZίʔυΛ42-΁ม׵ͨ͠ɻ w Ϩγϐͷ෼͔ͪॻ͖ͳͲͷෳࡶͳ෦෼͸3VCZʹ෼཭ɻ w 3FETIJGUʹม׵ͨ͠෦෼͸਺ेഒʹߴ଎ԽͰ͖ͨɻ w Ϣʔβʔʹ͍ۙ഑ૹϙΠϯτͷݕग़

    w HFPTQBUJBMؔ਺Λ࢖ͬͯ༣ศ൪߸͔Β࠷΋͍ۙϙΠϯτΛݕग़ͨ͠ɻ w ݕࡧޠͷස౓෼ੳ w ୯ޠͷ෼ׂͱਖ਼نԽ͚ͩΛ6%'Ͱ࣮૷͠ɺ࢒Γ͸͢΂ͯ42-Խͨ͠ɻ 3FETIJGUԽͨ͠ૉ௚Ͱͳ͍ॲཧͷྫ
  4. 3FETIJGU 4 w 1SJTNʢ಺੡ʣʹΑΔϩʔυ w 1BSRVFUͷϚʔδͱɺ೚ҙλΠϜκʔϯͰͷύʔςΟγϣχϯά͕Մೳ w 1SJTNৄࡉIUUQTUFDIMJGFDPPLQBEDPNFOUSZ ղܾࡦ4QFDUSVNΛ࢖͍੾Δ ֎෦

    ςʔϒϧ +40/ +40/ +40/ 1SJTN4USFBN 1BSRVFU 1BSRVFU MJWFPCKFDUT 1BSRVFU 1SJTN .FSHF 1BSRVFU NFSHFEPCKFDUT ౸ண͍ͩ͠ॲཧ ໿࣌ؒ ͝ͱ (MVFΧλϩά Ͱ੾Γସ͑
  5. w σΟεΫ଍Γͳ͍໰୊ w ίϛοτ͕஗͗͢Δ໰୊ w WBDVVNTPSUPOMZ໰୊ w σʔλೖΕ௚͠໰୊ w จࣈྻͷ௕͞଍Γͳ͔ͬͨ໰୊

    w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍໰୊ 4QFDUSVN1SJTNಋೖޙ ͳ͘ͳͬͨ ͳ͘ͳͬͨ ͕Μ͹ͬͯղܾͨ͠ 1BSRVFUͰղܾ ܕਪ࿦Ͱղܾ༧ఆ ͳ͘ͳͬͨ
  6. w ݪҼ5BCMFBV͔ΒͷΫΤϦʔ w ڊେͳϩάΛԿ೥෼΋ॲཧ͢Δ w ϩάಉ࢜Λෆ౳߸ͰൣғδϣΠϯ w 6%'Λ࢖͍·͍ͬͯ͘Δ w ୡ੒͍ͨ͜͠ͱ

    w ଞͷΫΤϦʔ͕ఀࢭ͢Δɾ஗͘ͳΓ͗͢ΔͷΛආ͚͍ͨ w ڊେΫΤϦʔ͸࣌ؒ಺ʹऴΘΕ͹Α͍ ෛՙͷεύΠΫ
  7. औΓࠐΜͰ͍ΔϚελʔςʔϒϧ %#λΠϓ ςʔϒϧ਺ γεςϜ ִؒ ํࣜ .Z42-  1JQFMJOFE.JHSBUPSʢ಺੡ʣ ೔࣍

    શߦચ͍ସ͑ 1PTUHSF42-  "84%BUBCBTF.JHSBUJPO4FSWJDF ೔࣍ શߦચ͍ସ͑ %ZOBNP%#  %ZOBNP%#4USFBNTˠ1SJTN ৗ࣌ ࠩ෼ߋ৽
  8. w ΞϓϦ%#ˠ3FETIJGUͷ໰୊ w ϩʔυͷස౓Λ೔࣍ΑΓ্͍͛ͨ w ςʔϒϧ͝ͱʹϩʔυઃఆ͕ඞཁ w όονͰϩʔυ׬ྃΛ଴ͭͷΛ๨Ε͕ͪ w 3FETIJGUˠΞϓϦ%#ͷ໰୊

    w ௨ৗ4&-&$5͸ΞϓϦͷϝϞϦ͕ᷓΕΔͷͰ࢖͑ͳ͍͕ɺΧʔ ιϧ͸MFBEFSOPEFͷෛՙ͕ߴ͍ w σʔλΛಡΉ్தͰ%#ίωΫγϣϯ͕੾ΕΔͱ࠶։Ͱ͖ͳ͍ w 6/-0"%ΛશϓϩάϥϚ͕ॻ͘ͷ͸೉͍͠ ΞϓϦ%#࿈ܞͷ໰୊