Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤
Search
Minero Aoki
August 06, 2020
Technology
2
900
Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤
Amazon Redshift事例祭り 2020での発表資料です。Redshiftをデータ活用基盤の中心で使っていくうえで特に障害となった4つの課題について解決策を述べます。
Minero Aoki
August 06, 2020
Tweet
Share
More Decks by Minero Aoki
See All by Minero Aoki
Data Engineering Study #20 "Introduction to Data Analytics with SQL" Book
aamine
15
5k
Treasure Data TechTalk 2022 - TD CDP in 30 minutes
aamine
1
2.3k
Why Cookpad Is Choosing Redshift as Our Data Platform
aamine
5
2.9k
Cookpad TechKitchen #8: Breaking BatchJobs Beautifully
aamine
3
1.4k
Cookpad 2016 Summer Intern: Programming Paradigm
aamine
4
19k
Other Decks in Technology
See All in Technology
分布で見る効果検証入門 / ai-distributional-effect
cyberagentdevelopers
PRO
4
700
visionOSでの空間表現実装とImmersive Video表示について / ai-immersive-visionos
cyberagentdevelopers
PRO
1
110
Autify Company Deck
autifyhq
1
39k
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introduction and Case Studies on Implementing and Operating System Risk Records for Product Teams
taddy_919
1
170
新卒1年目が向き合う生成AI事業の開発を加速させる技術選定 / ai-web-launcher
cyberagentdevelopers
PRO
7
1.5k
ガバメントクラウド先行事業中間報告を読み解く
sugiim
1
1.4k
AIを駆使したゲーム開発戦略: 新設AI組織の取り組み / sge-ai-strategy
cyberagentdevelopers
PRO
1
130
Datachain会社紹介資料(2024年11月) / Company Deck
datachain
3
16k
いまさらのStorybook
ikumatadokoro
0
140
わたしとトラックポイント / TrackPoint tips
masahirokawahara
1
240
現地でMeet Upをやる場合の注意点〜反省点を添えて〜
shotashiratori
0
530
ガバメントクラウド単独利用方式におけるIaC活用
techniczna
3
270
Featured
See All Featured
How to Ace a Technical Interview
jacobian
275
23k
Writing Fast Ruby
sferik
626
61k
Why You Should Never Use an ORM
jnunemaker
PRO
53
9k
How to train your dragon (web standard)
notwaldorf
88
5.7k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
25
1.8k
How STYLIGHT went responsive
nonsquared
95
5.2k
Designing for humans not robots
tammielis
249
25k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
33k
Designing for Performance
lara
604
68k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
7
150
Transcript
ΫοΫύουגࣜձࣾ੨ๆ ΅͘ͷ͔Μ͕͍͑ͨ͞ ͖ΐ͏ͷσʔλ׆༻ج൫ ʙσʔλϨΠΫͬͯݴ͏ͳʙ
ࣗݾհ ‣ ੨ๆʢ͓͖͋ΈͶΖ͏ʣ ‣ ݩ3VCZίϛολʔ ‣ લ৬ฒྻ3%#.4ϕϯμʔ ‣ ฒྻσʔλϕʔεͱग़ձ͏ ‣
ݱ৬ΫοΫύου ‣ ੳαʔϏεʮͨΈΔʯͷ։ൃ ‣ σʔλ׆༻ج൫ͷߏங ‣ ΫοΫύουͷϦΞʔΩςΫνϟ
σʔλͷՁΛ ࠷ߴΊΔʹʁ
୭ͰੳͰ͖Δ ͯ͢ΛੳͰ͖Δ
42-த৺ 42-Ͱׂͷॲཧ͕ߦ͑ΔɻΓׂదͳݴޠͰॲཧͰ͖Δɻੳऀ42-Λॻ͘લఏɻ ੍ͷͳ͍σʔλॲཧ σʔλͷαΠζग़ॴɺछྨʹΑͬͯͰ͖Δ͜ͱΛ੍ݶ͞Εͨ͘ͳ͍ɻ ϑϧΦʔϓϯੑળઆ Ͱ͖Δ͔͗Γଟ͘ͷใɺՄೳͳ͔͗Γڧ͍ݖݶΛͯ͢ͷϢʔβʔʹग़͢ɻ ΫοΫύουʹ͓͚Δ
σʔλੳج൫ߏஙͷϙϦγʔ
ੳܥͷσʔλϑϩʔ 3FETIJGUETYMBSHFº 5# OPEFTMJDF όϧΫ ΤΫεϙʔτ 12 +%#$ .Z42-ɾ 1PTUHSF42-
qVFOUE Ϛελʔ ϩά +40/ 4 όονδϣϒɾ ଞγεςϜ 5BCMFBV 3FEBTI ཧը໘ ͳͲ 8PSLEBZ 4BMFTGPSDF ;FOEFTL τϥϯβ Ϋγϣϯ ςʔϒϧఔ ຊऑ ຊऑ ϩά αϚϦʔ αϚϦʔ 42-όονຊ 12 +%#$ #*ܥ
w ϨγϐݕࡧΠϯσοΫεߏங w ݩσʔλͷूܭɾऔಘ෦Λத৺ʹ3VCZίʔυΛ42-มͨ͠ɻ w Ϩγϐͷ͔ͪॻ͖ͳͲͷෳࡶͳ෦3VCZʹɻ w 3FETIJGUʹมͨ͠෦ेഒʹߴԽͰ͖ͨɻ w Ϣʔβʔʹ͍ۙૹϙΠϯτͷݕग़
w HFPTQBUJBMؔΛͬͯ༣ศ൪߸͔Β࠷͍ۙϙΠϯτΛݕग़ͨ͠ɻ w ݕࡧޠͷසੳ w ୯ޠͷׂͱਖ਼نԽ͚ͩΛ6%'Ͱ࣮͠ɺΓͯ͢42-Խͨ͠ɻ 3FETIJGUԽͨ͠ૉͰͳ͍ॲཧͷྫ
ࠓϑΥʔΧε͢Δ ͭͷ՝
ڊେςʔϒϧ ෛՙͷεύΠΫ ΞϓϦ%#࿈ܞ ੑળઆ%8)
՝ڊେςʔϒϧ
w গͷڊେͳϩά͕େͷ༰ྔΛΊ͍ͯΔ w ͳ͔ͥڊେͳϩά΄Ͳߴසʹϩʔυ͠ͳ͚ΕͳΒͳ͍ w খ͍͞ϩά͚ͩͨ͘͞Μ͋Δʢݏ͕Β͔ͤʁʂʣ ϩάͷঢ়گ QW@MPH 5# JNQSFTTJPOT
5# ॏཁϩά܈ݸͰ5# ༗ແͷϩά܈ݸऑͰ5# ࣌ؒʙ͝ͱ
w σΟεΫΓͳ͍ w ίϛοτ͕͗͢Δ w WBDVVNTPSUPOMZ w σʔλೖΕ͠ w จࣈྻͷ͞Γͳ͔ͬͨ
w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍ ෦ςʔϒϧϩάͷ
3FETIJGU 4 w 1SJTNʢʣʹΑΔϩʔυ w 1BSRVFUͷϚʔδͱɺҙλΠϜκʔϯͰͷύʔςΟγϣχϯά͕Մೳ w 1SJTNৄࡉIUUQTUFDIMJGFDPPLQBEDPNFOUSZ ղܾࡦ4QFDUSVNΛ͍Δ ֎෦
ςʔϒϧ +40/ +40/ +40/ 1SJTN4USFBN 1BSRVFU 1BSRVFU MJWFPCKFDUT 1BSRVFU 1SJTN .FSHF 1BSRVFU NFSHFEPCKFDUT ౸ண͍ͩ͠ॲཧ ࣌ؒ ͝ͱ (MVFΧλϩά ͰΓସ͑
w σΟεΫΓͳ͍ w ίϛοτ͕͗͢Δ w WBDVVNTPSUPOMZ w σʔλೖΕ͠ w จࣈྻͷ͞Γͳ͔ͬͨ
w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍ 4QFDUSVN1SJTNಋೖޙ ͳ͘ͳͬͨ ͳ͘ͳͬͨ ͕Μͬͯղܾͨ͠ 1BSRVFUͰղܾ ܕਪͰղܾ༧ఆ ͳ͘ͳͬͨ
w ڊେͳςʔϒϧͷ߹ɺ4QFDUSVN෦ςʔϒϧͱಉɺ͠ ͍͘߹͢Β͋Δɻ w ͍߹͍͍ͤͥ ͍ͯͲͳͷͰڐ༰Ͱ͖Δɻ 4QFDUSVNͷ࣮ߦͲ͏͔ʁ
w ڊେͳςʔϒϧ4QFDUSVNʹҠͯ͠͠·ͬͨͷͰɺ3"͋· ΓϝϦοτ͕ͳ͍ɻ w 1SJTNͰղܾ͕ͨ͠෮׆ͯ͠͠·͏ͷͰɺϩάΛ෦ςʔϒ ϧʹ͢͜ͱ͋Γ͑ͳ͍ɻ w ͍·ͷͱ͜Ζ3"ͷҠߦ༧ఆͳ͠ɻ৽ػೳ͍ͩ͠ɻ 3"Өڹ͕͋Δ͔ʁ
௨ৗεΩʔϚ w ֎෦εΩʔϚʢFYUFSOBMTDIFNBʣΛϢʔβʔʹΘͤΔ ͖Ͱͳ͍ɻ w ֎෦εΩʔϚʹϏϡʔ͕࡞Εͳ͍ͷͰɺޓੑΛอͭͨΊͷॲ ཧΛೖΕΔ༨͕ͳ͍ɻ w ௨ৗͷεΩʔϚʹ4QFDUSVNςʔϒϧΛࢀর͢ΔϏϡʔΛ࡞Γɺ ͦͪΒΛݟͤΔ΄͏͕Α͍ɻ
5JQT֎෦εΩʔϚެ։͠ͳ͍ Ϗϡʔ ֎෦εΩʔϚ ςʔϒϧ ެ։͠ͳ͍ʂ Ϗϡʔ͚ͩΛݟͤΔ
՝ෛՙͷεύΠΫ
͋Γ͕ͪͳ$16༻άϥϑ
w ݪҼ5BCMFBV͔ΒͷΫΤϦʔ w ڊେͳϩάΛԿॲཧ͢Δ w ϩάಉ࢜Λෆ߸ͰൣғδϣΠϯ w 6%'Λ͍·͍ͬͯ͘Δ w ୡ͍ͨ͜͠ͱ
w ଞͷΫΤϦʔ͕ఀࢭ͢Δɾ͘ͳΓ͗͢ΔͷΛආ͚͍ͨ w ڊେΫΤϦʔ࣌ؒʹऴΘΕΑ͍ ෛՙͷεύΠΫ
w ϝϦοτॏ͍ΫΤϦʔ͕͍ͬͯͯଞͷΫΤϦʔ͕ࢭ·Βͳ ͍ɻฏۉ͍ͯͲΫΤϦʔͷͪ࣌ؒΛ͔͘Ͱ͖ͨɻ w σϝϦοτஈ͕ߴ͍ɻ3*ͷΑ͏ͳίετݮͷΈ͕ͳ͍ ͠ɺෛՙͷ͍࣌ؒίετ͕Լ͕Βͳ͍ɻ ղܾࡦ$PODVSSFODZ4DBMJOHͱ6TBHF-JNJU 3FETIJGUΫϥελʔͷΩϟύγςΟʢ3*ͰΧόʔʣ $PODVSSFODZ4DBMJOHͰ ্ͤ
6TBHF-JNJUͰ੍ݶ UJNF Ϋϥελʔͷෛՙ
‣ "VUP8-.Λ༗ޮʹ͢ΔͱɺΫΤϦʔͷ༏ઌͰ$16ɾ*0Λ੍ ޚͰ͖Δɻ w ϝϦοτ࣮ߦ࣌ؒͷ͍ΫΤϦʔͷ༏ઌΛԼ͛Δ͜ͱͰɺॏ ͍ΫΤϦʔΏͬ͘Γ࣮ߦͭͭ͠ɺଞͷΫΤϦʔͷӨڹ͑ ΒΕΔɻ w σϝϦοτॏ͍ΫΤϦʔΑΓ͘ͳΔɻ w
༏ઌͷܾΊ͔ͨΑ͘ݕ౼͍ͨ͠ ղܾࡦ"VUP8-.ʢݕূதʣ
՝ΞϓϦ%#࿈ܞ
औΓࠐΜͰ͍ΔϚελʔςʔϒϧ %#λΠϓ ςʔϒϧ γεςϜ ִؒ ํࣜ .Z42- 1JQFMJOFE.JHSBUPSʢʣ ࣍
શߦચ͍ସ͑ 1PTUHSF42- "84%BUBCBTF.JHSBUJPO4FSWJDF ࣍ શߦચ͍ସ͑ %ZOBNP%# %ZOBNP%#4USFBNTˠ1SJTN ৗ࣌ ࠩߋ৽
w ΞϓϦ%#ˠ3FETIJGUͷ w ϩʔυͷසΛ࣍ΑΓ্͍͛ͨ w ςʔϒϧ͝ͱʹϩʔυઃఆ͕ඞཁ w όονͰϩʔυྃΛͭͷΛΕ͕ͪ w 3FETIJGUˠΞϓϦ%#ͷ
w ௨ৗ4&-&$5ΞϓϦͷϝϞϦ͕ᷓΕΔͷͰ͑ͳ͍͕ɺΧʔ ιϧMFBEFSOPEFͷෛՙ͕ߴ͍ w σʔλΛಡΉ్தͰ%#ίωΫγϣϯ͕ΕΔͱ࠶։Ͱ͖ͳ͍ w 6/-0"%ΛશϓϩάϥϚ͕ॻ͘ͷ͍͠ ΞϓϦ%#࿈ܞͷ
w খ͍͞ςʔϒϧʹ͍ͭͯɺ'FEFSBUFE2VFSZܦ༝ʹΓସ͑Δ ͜ͱͰ͍·͙ͯ͢͢ΛղܾͰ͖Δ w େ͖͍ςʔϒϧఆظతʹ3FETIJGUΩϟογϡ ղܾࡦ'FEFSBUFE2VFSZʢݕূதʣ
w όονδϣϒݪଇ2VFVFSZʢʣΛͬͯόϧΫΤΫεϙʔ τΛ͍ͯ͠Δɻ w 2VFVFSZ)551"1*ͰΫΤϦʔΛड͚͚ͯ6/-0"%͠ɺͦ ͷ463-Λฦ͢αʔϏεɻ w ΧʔιϧͱҟͳΓɺΞϓϦʢόονδϣϒʣଆ͕4͔Β σʔλΛಡΉͷͰ3FETIJGUͷෛՙ͕͍ܰɻ ղܾࡦ)551"1*ͰͷΤΫεϙʔτ
4 $47 3FETIJGU ςʔϒϧ 2VFVFSZ όονδϣϒ 6/-0"% δϣϒଆ͕ಡΈࠐΈ
՝ੑળઆ%8)
w ͍͘Βੑળઆͱ͍͑ɺશһʹ3FETIJGUεʔύʔϢʔβʔΛղ์ ͢Δ͜ͱ͕͢͞ʹͰ͖ͳ͍ɻ࠷ݶɺߦಈΛࠪͰ͖Δඞཁ͕ ͋Δɻ w ݖݶཁٻΛਃࣜʹ͢ΔͱɺͦΕΛॲཧ͢Δσʔλج൫νʔϜ͕ ϘτϧωοΫʹͳΔɻ w 3FETIJGUͷσϑΥϧτͩͱɺ࡞͞ΕͨޙͷςʔϒϧΦʔφ ʔҎ֎ಡΊͳ͍ɻ͔͠͠શһ͕ςʔϒϧΛ࡞Δͨͼʹ(3"/5͢
Δͷඇݱ࣮తɻ ੑળઆ%8)ͷ՝
w ݸਓ༻Ϣʔβʔͷ࡞ɺύεϫʔυϦηοτɺݸਓ༻εΩʔϚͷ ࡞ɺεΩʔϚݖݶͷऔಘͳͲΛίϯιʔϧ͔Βߦ͑Δ w ͍ͭͰʹ3FETIJGUͷϩʔυΤϥʔ4্ͷϩάݟΒΕΔ ղܾࡦ%8)ίϯιʔϧʢʣ
w BMUFSEFGBVMUQSJWJMFHFTจΛ͏ͱɺ3FETIJGUϢʔβʔ͝ͱɾε ΩʔϚ͝ͱʹσϑΥϧτͷݖݶΛઃఆ͢Δ͜ͱ͕Ͱ͖Δɻ w σϑΥϧτͰQVCMJDʢશϢʔβʔʣͷTFMFDUݖݶ͕͘Α͏ʹ͠ ͓͚ͯϑϧΦʔϓϯʹͰ͖Δɻ ղܾࡦBMUFSEFGBVMUQSJWJMFHF
·ͱΊ
ڊେςʔϒϧ ෛՙͷεύΠΫ ΞϓϦ%#࿈ܞ ੑળઆ%8) ࠓ͓ͨͭ͠͠ͷ՝
͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠