Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤

Amazon Redshift事例祭り 2020での発表資料です。Redshiftをデータ活用基盤の中心で使っていくうえで特に障害となった4つの課題について解決策を述べます。

Transcript

1. ΫοΫύουגࣜձࣾ
   ੨໦ๆ࿠ ΅͘ͷ͔Μ͕͍͑ͨ͞
   ͖ΐ͏ͷσʔλ׆༻ج൫ ʙσʔλϨΠΫͬͯݴ͏ͳʙ
2. ࣗݾ঺հ ‣ ੨໦ๆ࿠ʢ͓͖͋
   ΈͶΖ͏ʣ
   ‣ ݩ3VCZίϛολʔ
   ‣ લ৬
   ฒྻ3%#.4ϕϯμʔ
   ‣ ฒྻσʔλϕʔεͱग़ձ͏
   ‣ ݱ৬
   ΫοΫύου
   ‣ ෼ੳαʔϏεʮͨ΂ΈΔʯͷ։ൃ
   ‣ σʔλ׆༻ج൫ͷߏங
   ‣ ΫοΫύουͷϦΞʔΩςΫνϟ
3. σʔλͷՁ஋Λ
   ࠷΋ߴΊΔʹ͸ʁ
4.  ୭Ͱ΋෼ੳͰ͖Δ
    ͢΂ͯΛ෼ੳͰ͖Δ
5.  42-த৺
   42-Ͱׂͷॲཧ͕ߦ͑Δɻ࢒Γׂ͸ద౰ͳݴޠͰॲཧͰ͖Δɻ෼ੳऀ͸42-Λॻ͘લఏɻ
    ੍໿ͷͳ͍σʔλॲཧ
   σʔλͷαΠζ΍ग़ॴɺछྨʹΑͬͯͰ͖Δ͜ͱΛ੍ݶ͞Εͨ͘ͳ͍ɻ
    ϑϧΦʔϓϯ
   
   ੑળઆ
   Ͱ͖Δ͔͗Γଟ͘ͷ৘ใɺՄೳͳ͔͗Γڧ͍ݖݶΛ͢΂ͯͷϢʔβʔʹग़͢ɻ ΫοΫύουʹ͓͚Δ
   σʔλ෼ੳج൫ߏஙͷϙϦγʔ
6. ෼ੳܥͷσʔλϑϩʔ 3FETIJGU
   ETYMBSHF
   º
   
   5#
   
   OPEF
   TMJDF όϧΫ
   ΤΫεϙʔτ 12
   +%#$ .Z42-ɾ
   1PTUHSF42- qVFOUE Ϛελʔ ϩά
   +40/ 4 όονδϣϒɾ
   ଞγεςϜ 5BCMFBV
   3FEBTI ؅ཧը໘
   ͳͲ 8PSLEBZ
   4BMFTGPSDF
   ;FOEFTL τϥϯβ
   Ϋγϣϯ ςʔϒϧఔ౓ ຊऑ ຊऑ ϩά αϚϦʔ αϚϦʔ 42-όον
   ໿ຊ 12
   +%#$ #*ܥ
7. w ϨγϐݕࡧΠϯσοΫεߏங
   w ݩσʔλͷूܭɾऔಘ෦෼Λத৺ʹ3VCZίʔυΛ42-΁ม׵ͨ͠ɻ
   w Ϩγϐͷ෼͔ͪॻ͖ͳͲͷෳࡶͳ෦෼͸3VCZʹ෼཭ɻ
   w 3FETIJGUʹม׵ͨ͠෦෼͸਺ेഒʹߴ଎ԽͰ͖ͨɻ
   w Ϣʔβʔʹ͍ۙ഑ૹϙΠϯτͷݕग़
   w HFPTQBUJBMؔ਺Λ࢖ͬͯ༣ศ൪߸͔Β࠷΋͍ۙϙΠϯτΛݕग़ͨ͠ɻ
   w ݕࡧޠͷස౓෼ੳ
   w ୯ޠͷ෼ׂͱਖ਼نԽ͚ͩΛ6%'Ͱ࣮૷͠ɺ࢒Γ͸͢΂ͯ42-Խͨ͠ɻ 3FETIJGUԽͨ͠ૉ௚Ͱͳ͍ॲཧͷྫ
8. ࠓ೔ϑΥʔΧε͢Δ
   ͭͷ՝୊
9. 
   ڊେςʔϒϧ 
   ෛՙͷεύΠΫ 
   ΞϓϦ%#࿈ܞ 
   ੑળઆ%8)
10. ՝୊
    ڊେςʔϒϧ
11. w গ਺ͷڊେͳϩά͕େ൒ͷ༰ྔΛ઎Ί͍ͯΔ
    w ͳ͔ͥڊେͳϩά΄Ͳߴස౓ʹϩʔυ͠ͳ͚Ε͹ͳΒͳ͍
    w খ͍͞ϩά΋਺͚ͩ͸ͨ͘͞Μ͋Δʢݏ͕Β͔ͤʁʂʣ ϩάͷঢ়گ QW@MPH
    5# JNQSFTTJPOT
    5# ॏཁϩά܈
    ݸͰ5# ༗৅ແ৅ͷϩά܈
    ݸऑͰ5# ෼ ࣌ؒʙ
    ͝ͱ ෼ ෼ ෼
12. w σΟεΫ଍Γͳ͍໰୊
    w ίϛοτ͕஗͗͢Δ໰୊
    w WBDVVN
    TPSU
    POMZ໰୊
    w σʔλೖΕ௚͠໰୊
    w จࣈྻͷ௕͞଍Γͳ͔ͬͨ໰୊
    w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍໰୊ ಺෦ςʔϒϧϩάͷ໰୊
13. 3FETIJGU 4 w 1SJTNʢ಺੡ʣʹΑΔϩʔυ
    w 1BSRVFUͷϚʔδͱɺ೚ҙλΠϜκʔϯͰͷύʔςΟγϣχϯά͕Մೳ
    w 1SJTNৄࡉ
    IUUQTUFDIMJGFDPPLQBEDPNFOUSZ ղܾࡦ
    4QFDUSVNΛ࢖͍੾Δ ֎෦
    ςʔϒϧ +40/ +40/ +40/ 1SJTN
    4USFBN 1BSRVFU 1BSRVFU MJWF
    PCKFDUT 1BSRVFU 1SJTN
    .FSHF 1BSRVFU NFSHFE
    PCKFDUT ౸ண͍ͩ͠ॲཧ ໿࣌ؒ
    ͝ͱ (MVFΧλϩά
    Ͱ੾Γସ͑
14. w σΟεΫ଍Γͳ͍໰୊
    w ίϛοτ͕஗͗͢Δ໰୊
    w WBDVVN
    TPSU
    POMZ໰୊
    w σʔλೖΕ௚͠໰୊
    w จࣈྻͷ௕͞଍Γͳ͔ͬͨ໰୊
    w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍໰୊ 4QFDUSVN
    
    1SJTNಋೖޙ ͳ͘ͳͬͨ ͳ͘ͳͬͨ ͕Μ͹ͬͯղܾͨ͠ 1BSRVFUͰղܾ ܕਪ࿦Ͱղܾ༧ఆ ͳ͘ͳͬͨ
15. w ڊେͳςʔϒϧͷ৔߹ɺ4QFDUSVN͸಺෦ςʔϒϧͱಉ౳ɺ΋͠ ͘͸଎͍৔߹͢Β͋Δɻ
    w ஗͍৔߹΋͍͍ͤͥ ͍ͯͲͳͷͰڐ༰Ͱ͖Δɻ 4QFDUSVNͷ࣮ߦ଎౓͸Ͳ͏͔ʁ
16. w ڊେͳςʔϒϧ͸4QFDUSVNʹҠͯ͠͠·ͬͨͷͰɺ3"͸͋· ΓϝϦοτ͕ͳ͍ɻ
    w 1SJTNͰղܾͨ͠໰୊͕෮׆ͯ͠͠·͏ͷͰɺϩάΛ಺෦ςʔϒ ϧʹ໭͢͜ͱ͸͋Γ͑ͳ͍ɻ
    w ͍·ͷͱ͜Ζ3"΁ͷҠߦ༧ఆ͸ͳ͠ɻ৽ػೳ͍ͩ͠ɻ 3"͸Өڹ͕͋Δ͔ʁ
17. ௨ৗεΩʔϚ w ֎෦εΩʔϚʢFYUFSOBM
    TDIFNBʣΛϢʔβʔʹ௚઀࢖ΘͤΔ΂ ͖Ͱͳ͍ɻ
    w ֎෦εΩʔϚʹ͸Ϗϡʔ͕࡞Εͳ͍ͷͰɺޓ׵ੑΛอͭͨΊͷॲ ཧΛೖΕΔ༨஍͕ͳ͍ɻ
    w ௨ৗͷεΩʔϚʹ4QFDUSVNςʔϒϧΛࢀর͢ΔϏϡʔΛ࡞Γɺ ͦͪΒΛݟͤΔ΄͏͕Α͍ɻ 5JQT
    ֎෦εΩʔϚ͸ެ։͠ͳ͍ Ϗϡʔ ֎෦εΩʔϚ ςʔϒϧ ެ։͠ͳ͍ʂ Ϗϡʔ͚ͩΛݟͤΔ
18. ՝୊
    ෛՙͷεύΠΫ
19. ͋Γ͕ͪͳ$16࢖༻཰άϥϑ
20. w ݪҼ
    5BCMFBV͔ΒͷΫΤϦʔ
    w ڊେͳϩάΛԿ೥෼΋ॲཧ͢Δ
    w ϩάಉ࢜Λෆ౳߸ͰൣғδϣΠϯ
    w 6%'Λ࢖͍·͍ͬͯ͘Δ
    w ୡ੒͍ͨ͜͠ͱ
    w ଞͷΫΤϦʔ͕ఀࢭ͢Δɾ஗͘ͳΓ͗͢ΔͷΛආ͚͍ͨ
    
    w ڊେΫΤϦʔ͸࣌ؒ಺ʹऴΘΕ͹Α͍ ෛՙͷεύΠΫ
21. w ϝϦοτ
    ॏ͍ΫΤϦʔ͕૸͍ͬͯͯ΋ଞͷΫΤϦʔ͕ࢭ·Βͳ ͍ɻฏۉ͍ͯͲΫΤϦʔͷ଴ͪ࣌ؒΛ୹͔͘Ͱ͖ͨɻ
    w σϝϦοτ
    ஋ஈ͕ߴ͍ɻ3*ͷΑ͏ͳίετ௿ݮͷ࢓૊Έ͕ͳ͍ ͠ɺෛՙͷ௿͍࣌ؒ΋ίετ͕Լ͕Βͳ͍ɻ ղܾࡦ
    $PODVSSFODZ
    4DBMJOHͱ6TBHF
    -JNJU 3FETIJGUΫϥελʔͷΩϟύγςΟʢ3*ͰΧόʔʣ $PODVSSFODZ
    4DBMJOHͰ
    ্৐ͤ 6TBHF
    -JNJUͰ੍ݶ UJNF Ϋϥελʔͷෛՙ
22. ‣ "VUP8-.Λ༗ޮʹ͢ΔͱɺΫΤϦʔͷ༏ઌ౓Ͱ$16ɾ*0Λ੍ ޚͰ͖Δɻ
    w ϝϦοτ
    ࣮ߦ࣌ؒͷ௕͍ΫΤϦʔͷ༏ઌ౓ΛԼ͛Δ͜ͱͰɺॏ ͍ΫΤϦʔ͸Ώͬ͘Γ࣮ߦͭͭ͠ɺଞͷΫΤϦʔ΁ͷӨڹ͸཈͑ ΒΕΔɻ
    w σϝϦοτ
    ॏ͍ΫΤϦʔ͸ΑΓ஗͘ͳΔɻ
    w ༏ઌ౓ͷܾΊ͔ͨ͸Α͘ݕ౼͍ͨ͠ ղܾࡦ
    "VUP8-.ʢݕূதʣ
23. ՝୊
    ΞϓϦ%#࿈ܞ
24. औΓࠐΜͰ͍ΔϚελʔςʔϒϧ %#λΠϓ ςʔϒϧ਺ γεςϜ ִؒ ํࣜ .Z42-  1JQFMJOFE
    .JHSBUPSʢ಺੡ʣ ೔࣍ શߦચ͍ସ͑ 1PTUHSF42-  "84
    %BUBCBTF
    .JHSBUJPO
    4FSWJDF ೔࣍ શߦચ͍ସ͑ %ZOBNP%#  %ZOBNP%#
    4USFBNT
    ˠ
    1SJTN ৗ࣌ ࠩ෼ߋ৽
25. w ΞϓϦ%#
    ˠ
    3FETIJGUͷ໰୊
    w ϩʔυͷස౓Λ೔࣍ΑΓ্͍͛ͨ
    w ςʔϒϧ͝ͱʹϩʔυઃఆ͕ඞཁ
    w όονͰϩʔυ׬ྃΛ଴ͭͷΛ๨Ε͕ͪ
    w 3FETIJGU
    ˠ
    ΞϓϦ%#ͷ໰୊
    w ௨ৗ4&-&$5͸ΞϓϦͷϝϞϦ͕ᷓΕΔͷͰ࢖͑ͳ͍͕ɺΧʔ ιϧ͸MFBEFS
    OPEFͷෛՙ͕ߴ͍
    w σʔλΛಡΉ్தͰ%#ίωΫγϣϯ͕੾ΕΔͱ࠶։Ͱ͖ͳ͍
    w 6/-0"%ΛશϓϩάϥϚ͕ॻ͘ͷ͸೉͍͠ ΞϓϦ%#࿈ܞͷ໰୊
26. w খ͍͞ςʔϒϧʹ͍ͭͯ͸ɺ'FEFSBUFE
    2VFSZܦ༝ʹ੾Γସ͑Δ ͜ͱͰ͍·͙͢͢΂ͯΛղܾͰ͖Δ
    w େ͖͍ςʔϒϧ͸ఆظతʹ3FETIJGU΁Ωϟογϡ ղܾࡦ
    'FEFSBUFE
    2VFSZʢݕূதʣ
27. w όονδϣϒ͸ݪଇ2VFVFSZʢ಺੡ʣΛ࢖ͬͯόϧΫΤΫεϙʔ τΛ͍ͯ͠Δɻ
    w 2VFVFSZ͸)551
    "1*ͰΫΤϦʔΛड͚෇͚ͯ6/-0"%͠ɺͦ ͷ4
    63-Λฦ͢αʔϏεɻ
    w Χʔιϧͱ͸ҟͳΓɺΞϓϦʢόονδϣϒʣଆ͕4͔Β௚઀ σʔλΛಡΉͷͰ3FETIJGUͷෛՙ͕͍ܰɻ ղܾࡦ
    )551
    "1*ͰͷΤΫεϙʔτ 4 $47 3FETIJGU ςʔϒϧ 2VFVFSZ όονδϣϒ 6/-0"% δϣϒଆ͕ಡΈࠐΈ
28. ՝୊
    ੑળઆ%8)
29. w ͍͘Βੑળઆͱ͸͍͑ɺશһʹ3FETIJGUεʔύʔϢʔβʔΛղ์ ͢Δ͜ͱ͸͕͢͞ʹͰ͖ͳ͍ɻ࠷௿ݶɺߦಈΛ؂ࠪͰ͖Δඞཁ͕ ͋Δɻ
    w ݖݶཁٻΛਃ੥ࣜʹ͢ΔͱɺͦΕΛॲཧ͢Δσʔλج൫νʔϜ͕ ϘτϧωοΫʹͳΔɻ
    w 3FETIJGUͷσϑΥϧτͩͱɺ࡞੒͞Εͨ௚ޙͷςʔϒϧ͸Φʔφ ʔҎ֎ಡΊͳ͍ɻ͔͠͠શһ͕ςʔϒϧΛ࡞Δͨͼʹ(3"/5͢ Δͷ΋ඇݱ࣮తɻ ੑળઆ%8)ͷ՝୊
30. w ݸਓ༻Ϣʔβʔͷ࡞੒ɺύεϫʔυϦηοτɺݸਓ༻εΩʔϚͷ ࡞੒ɺεΩʔϚݖݶͷऔಘͳͲΛίϯιʔϧ͔Βߦ͑Δ
    w ͍ͭͰʹ3FETIJGUͷϩʔυΤϥʔ΍4্ͷϩά΋ݟΒΕΔ ղܾࡦ
    %8)ίϯιʔϧʢ಺੡ʣ
31. w BMUFS
    EFGBVMU
    QSJWJMFHFTจΛ࢖͏ͱɺ3FETIJGUϢʔβʔ͝ͱɾε ΩʔϚ͝ͱʹσϑΥϧτͷݖݶΛઃఆ͢Δ͜ͱ͕Ͱ͖Δɻ
    w σϑΥϧτͰQVCMJDʢશϢʔβʔʣͷTFMFDUݖݶ͕෇͘Α͏ʹ͠ ͓͚ͯ͹ϑϧΦʔϓϯʹͰ͖Δɻ ղܾࡦ
    BMUFS
    EFGBVMU
    QSJWJMFHF
32. ·ͱΊ
33. ڊେςʔϒϧ
    ෛՙͷεύΠΫ
    ΞϓϦ%#࿈ܞ
    ੑળઆ%8) ࠓ೔͓࿩ͨͭ͠͠ͷ՝୊
34. ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠