Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
etl-in-the-media-company
Search
Masatoshi Shimada
September 19, 2017
Technology
7
5.7k
etl-in-the-media-company
ETLの実際
- 分析基盤刷新PoC
- ETL実例紹介
- ETLでぶつかった壁
Masatoshi Shimada
September 19, 2017
Tweet
Share
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
データプラットフォーム技術におけるメダリオンアーキテクチャという考え方/DataPlatformWithMedallionArchitecture
smdmts
6
720
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
7.4k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
980
Sparkから利用するAirframe/Spark-With-Airframe
smdmts
0
1.7k
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.6k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
0
1.7k
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
smdmts
5
2.3k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
760
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
3.7k
Other Decks in Technology
See All in Technology
NewSQLや分散データベースを支えるRaftの仕組み - 仕組みを理解して知る得意不得意
hacomono
PRO
3
230
CDK Toolkit Libraryにおけるテストの考え方
smt7174
1
450
AI エージェントと考え直すデータ基盤
na0
18
7.3k
「Chatwork」のEKS環境を支えるhelmfileを使用したマニフェスト管理術
hanayo04
1
240
敢えて生成AIを使わないマネジメント業務
kzkmaeda
2
510
How to Quickly Call American Airlines®️ U.S. Customer Care : Full Guide
flyaahelpguide
0
240
推し書籍📚 / Books and a QA Engineer
ak1210
0
120
いつの間にか入れ替わってる!?新しいAWS Security Hubとは?
cmusudakeisuke
0
160
関数型プログラミングで 「脳がバグる」を乗り越える
manabeai
2
220
TableauLangchainとは何か?
cielo1985
1
150
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
55
22k
DatabricksにOLTPデータベース『Lakebase』がやってきた!
inoutk
0
150
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
830
Site-Speed That Sticks
csswizardry
10
700
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
How to Ace a Technical Interview
jacobian
278
23k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Building Adaptive Systems
keathley
43
2.7k
Rails Girls Zürich Keynote
gr2m
95
14k
It's Worth the Effort
3n
185
28k
The Cult of Friendly URLs
andyhume
79
6.5k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Transcript
ಈըܥϝσΟΞاۀͰ ߦΘΕ͍ͯΔ&5-ͷ࣮ࡍ ౡాխ!TNENUT
ࣗݾհ w ౡాխ!TNENUT w ιϑτΣΞΤϯδχΞ w 4DBMBc1ZUIPOc+BWBc(PMBOHc%%% w
גࣜձࣾΤϒϦʔॴଐ w %&-*4),*5$)&/σʔλੳܥશൠ୲
ΞϓϦհ
࣍ w ੳج൫৽1P$ w &5-࣮ྫհ w &5-ͰͿ͔ͭͬͨน
ੳج൫৽1P$
4JOHMFTPVSDFPGUSVUI The state of your whole application is stored in
an object tree within a single store. by redux. w ΞϓϦέʔγϣϯͷঢ়ଶҰݩཧ͞ΕΔ͖ Ͱ͋Δ w ϏοάσʔλͰҰͭͷॴʹूͯ͠ɺ42- ͰݕࡧՄೳʹ͓͖ͯ͘͠Ͱ͋Δ w ݱ࣮తʹاۀͷσʔλ༷ʑͳܗͰଘࡏ͠ ͓ͯΓ݁߹͢Δ͜ͱ͍͠
γεςϜߏਤʢॳʣ "1*αʔό ࠂޮՌଌఆ Πϕϯτܭଌ "UIFOB #JH2VFSZ ݁߹͕ग़དྷͳ͍ͨΊɺ 4405͕ຬͨͤͳ͍ ՄࢹԽ %8)
ॳͷੳج൫ʹ͓͚Δ՝ w εΩϟϯྔʢΫΤϦ՝ۚʣ͕ʑ૿େ͍ͯͨ͠ w ΫΤϦɺ5#ͷεΩϟϯ͕ଟ w #2ͷσʔλߏ͕ෳࡶͰ42-͕ಡঢ়ଶ w Ϩίʔυܕͷղ͕ओͳݪҼ w
"UIFOBͱ#JH2VFSZͷ+0*/͕ग़དྷͳ͍ w SFEBTIͳΒ݁߹Մೳ w ͔͠͠σʔλ࿈Λॏࢹͨͨ͠Ίߟྀ֎ͱͨ͠ w ࠂޮՌଌఆͷϩά͕࿈ܞ͞Ε͍ͯͳ͍ "UIFOB #JH2VFSZ
w 4405͕࣮ݱ͞Ε͍ͯΔ͜ͱ w εΩϟϯྔΛؾʹ͢Δ͜ͱແ͍ੳج൫Ͱ͋Δ͜ͱ w ੳ༻42-ɺͳΔ͘؆қͳ42-ͱ͍ͨ͠ w ಛघͳ8JOEPXؔ+0*/ͷআڈΛఆ w ඇΤϯδχΞ͚ʹੳͷෑډΛԼ͍͛ͨ
w ϨίʔυͷߏՄมͰεΩʔϚϨεʹ͍ͨ͠ w શͯϑϧϚωʔδυͰ࣮ݱ͞ΕΔ͜ͱ ৽ੳج൫ʹ͚ͨ1P$
৽ੳج൫ʹ͚ͨ1P$ w Ϧιʔε՝ۚͰ͋Δ͜ͱ w ϑϧϚωʔδυɾδϣϒεέδϡʔϥ͕ଘࡏ͢Δ͜ͱ w ϑϧϚωʔδυɾόϧΫΠϯϙʔτ͕ଘࡏ͢Δ͜ͱ w εΩʔϚϨε%#ͰεΩʔϚࣗಈߋ৽͕ଘࡏ͢Δ͜ͱ w
3&45ͰσʔλೖՄೳͳίʔϧόοΫ༻ͷΤϯυϙ Πϯτ͕ଘࡏ͢Δ͜ͱ w σʔλ࿈ܞʢ*NQPSU&YQPSU ͕༰қͰ͋Δ͜ͱ
"1*αʔό ࠂޮՌଌఆ Πϕϯτܭଌ %BUB-BLF %8) 4405 1P$ ୡ σʔλ͕Ұݩཧ͞ΕΔͨΊ ͲͷΑ͏ͳσʔλͰ݁߹Մೳ
#JH2VFSZ ՄࢹԽ 3&45"1* $PODMVTJPO
&5-࣮ྫհ
&5-࣮ྫհ "1*αʔό ࠂޮՌଌఆ Πϕϯτܭଌ %BUB-BLF %8) #JH2VFSZ ՄࢹԽ 3&45"1* ͜ͷ෦ͷ
'JSFCBTF"OBMZUJDT w #BB4πʔϧ w ओʹ"#ςετɺϓογϡ௨ɺΠϕϯτϩ άܭଌͰར༻͍ͯ͠Δ w #JH2VFSZʹΠϕϯτܭଌϩά͕࿈ܞՄೳ w #JH2VFSZͰੜϩάΛੳʹճ͍͕ͯͨ͠ɺɹ
εΩϟϯྔ૿େͱ42-ಡԽ͕͋ͬͨ
'JSFCBTF 4%, #JH2VFSZ 5SFBTVSF %BUB ($4 4 &.3 5SFBTVSF8PSLqPX 'JSFCBTF
"OBMZUJDT &5-"SDIJUFDUVSF .3FDPSE%BZ
'JSFCBTF 4%, &5-"SDIJUFDUVSF 'JSFCBTF "OBMZUJDT #JH2VFSZ 5SFBTVSF %BUB ($4 4
&.3 ϑϧϚωʔδυ .3FDPSE%BZ 5SFBTVSF8PSLqPX
5SFBTVSF8PSLqPX w %JHEBHͷϑϧϚʔωδυδϣϒεέδϡʔϥ w 3VCZ1ZUIPO4IFMM͕͑ͳ͍ w Πϯϑϥૢ࡞"84-BNCEBΛར༻͢Δ w "84($1$-*Λ-BNCEBͰىಈ͢Δ w
&.3ΦϖϨʔλΑΓॊೈʹ੍ޚ͔ͨͬͨ͠ w ॲཧܥϑϧϚωʔδυͳαʔόϨεߏ
%JHEBH8PSLqPX CR@FYUSBDU #JH2VFSZ ($4 TUFQ IUUQ "1*(BUFXBZ -BNCEB &.3 ($4
4 5% TUFQ 45&1 #JH2VFSZ͔Β($4ʹμϯϓ 45&1 ($4͔Β&.3Ͱ5%ʹ࿈ܞ
&NCVMLPO&.3 &.3 w .BQ3FEVDF&YFDVUPSΛར༻͢Εɺɹ )BEPPQΫϥελʔ্Ͱࢄ࣮ߦͰ͖Δ IUUQTHJTUHJUIVCDPNTNENUTDGEFCFCEEDBCCCE IUUQRJJUBDPNKPLFSJUFNTECBFCGBBF w Լهͷ̎εςοϓͰར༻ՄೳʢUIBOLT!KPLFS
w MPH༻ͷ+"3Λ&.3֤ϊʔυʹࣄલʹϩʔυ w ϚελʔϊʔυͰ.BQ3FEVDF&YFDVUPSΛ ར༻ͯ͠&NCVMLΛىಈ͢Δ
($4 4 4 5% 4UFQ"730ʢ#JH2VFSZʣ+40/ʢ3FDPSE&WFOUʣ 4UFQ+40/ʢ3FDPSE&WFOUʣ1MB[NB%# 5% "730ʢ3FDPSE.BOZ&WFOUʣΛɺ +40/ʢ3FDPSE&WFOUʣʹม͍ͯ͠Δ %BUB$POOFDUPSͰ+40/ͷ+40/ܕΛղ͢ΔͨΊɺ
5%ΦϓγϣϯͷFYQMPEF@KTPO@DPMVNOTΛར༻͍ͯ͠Δ FYQMPEF@KTPO@DPMVNOT%BUB$POOFDUPSઐ༻Ͱ&.3͔Βར༻Ͱ͖ͳ͍ &.3Ͱ࣮ߦͯͬ͠ͱߴԽ͍ͨ͠ͷͰ044൛Ͱ͜ͷΦϓγϣϯΛެ։ͯ͠ཉ͍͠ʢཁʣ &NCVML࣮ߦܭը
Ϩίʔυͷঢ়ଶભҠ $ % " # ' $ % " #
& ' Ћ Ћ Ћ Ћ Ћ Ћ Ћ Ϩίʔυ ܕ" ຌྫ ׂ & " # $ % & ' Ћ Ћ Ћ " # $ % & ' ൃࢄ ܕ# ܕ$ 4UFQ"730+40/ʢ3FDPSE&WFOUʣ 4UFQ+40/ʢ3FDPSE&WFOUʣ1MB[NB%# 5%
$PODMVTJPO w .BQ3FEVDF&YFDVUPSΛར༻ͯ͠&.3Ͱࢄ࣮ ߦ͢Δ͜ͱͰେྔσʔλͷऔΓࠐΈΛՄೳͱͨ͠ w ϨίʔυΠϕϯτʹׂ͢Δ͜ͱͰੳ༻42- ͷқΛԼ͛ΔࣄΛ࣮ݱͨ͠ w ྻࢦ%#Λੜ͔ͯ͠+40/Λൃࢄͤ͞Δ͜ͱͰɺε ΩʔϚཧίετͷݮΛ࣮ݱͨ͠
w ϑϧϚωʔδυͰ&5-Λ࣮ݱ͢Δ͜ͱͰཧίετ ݮΛ࣮ݱͨ͠
&5-ͰͿ͔ͭͬͨน
'JSFCBTFऔΓࠐΈ༻ &NCVMLϓϥάΠϯ͕ͳ͍
&NCVMLϓϥάΠϯ͕ͳ͍ 'JSFCBTFऔΓࠐΈ༻ ແ͔ͬͨΒ࡞Δ
&NCVMLϓϥάΠϯ͕ͳ͍ 'JSFCBTFऔΓࠐΈ༻ ແ͔ͬͨΒ࡞Δ ͦͯ͠ɺΈ߹ΘͤΔ
ՌҰཡ w FNCVMLpMUFSLFZ@JO@SFEJT w FNCVMLpMUFSKTPO@LFZ@KPJOFS w FNCVMLGPSNBUUFSGBTU@KTPOM w FNCVMLQBSTFSpSFCBTF@BWSP w
FNCVMLEFDPEFSSFNPWF@OPOTUBOEBSE@VUG@CZUFT w FNCVMLPVUQVUqVFOUEʢFYQFSJNFOUBMBTXBJUJOHGPS+BWB w FNCVMLPVUQVULFZ@UP@SFEJT ͱͷ֨ಆͷɺੜ͞ΕͨϓϥάΠϯ
&NCVMLϓϥάΠϯΈ߹Θͤհ &NCVMLΛར༻ͨ͠ େྔϨίʔυࠩ࿈ܞͷհ
&NCVMLϓϥάΠϯΈ߹Θͤհ w ຊϨίʔυ#2ͷຊςʔϒϧ JOUSBEBZ ʹ࿈ܞ͞ΕΔ w ఆࠁʢே࣌ࠒʣʹຊςʔϒϧ͔Βࡢςʔϒϧ͕࡞͞ ΕͯຊϨίʔυ͕ࡢςʔϒϧʹҠಈ͢Δ w ࠷େͰաڈલ·ͰͷΠϕϯτϩά͕ςʔϒϧʹఆࠁ
ʢே࣌ࠒʣͰ࿈ܞ͞ΕΔ w ࡢ͕࡞ɺ̎લɾ̏લ͕هͷ̏छྨ w ͲͷϨίʔυ͕ه͞Ε͔ͨ42-Ͱ͔Βͳ͍ #JH2VFSZ
&NCVMLϓϥάΠϯΈ߹Θͤհ ຊ ࡢ લ લ աڈϩά ੵΈ্͛ ఆࠁʢே࣌ࠒͷڍಈʣ ࡞ ه
ه JOUSBEBZ #JH2VFSZ
&NCVMLϓϥάΠϯΈ߹Θͤհ Ұࡢ ຊ࿈ܞ͍ͨ͠σʔλ ࡢ࿈ܞࡁΈ w ຊ࿈ܞ͍ͨ͠σʔλΛநग़͢Δʹɺશྔσʔλͱࡢ࿈ ܞࡁΈσʔλͱ%J⒎ΛऔΔඞཁ͕͋Δ ɹʢ3FETIJGUʢ42-ʣͰ࣮ݱՄೳ͕ͩ&NCVMLͰ࣮ݱ͔ͨͬͨ͠ʣ શྔ ͷϨίʔυʹ͍ͭͯղ͢ΔͱԼهͷΑ͏ʹͳΔ
ʹ
&NCVMLϓϥάΠϯΈ߹Θͤհ ࿈ܞࡁΈσʔλ 4UFQ FNCVMLPVUQVULFZ@UP@SFEJT 4UFQ શྔσʔλʢ.%ʣ ʹ ຊ࿈ܞϨίʔυ FNCVMLpMUFSLFZ@JO@SFEJT
#JH2VFSZ 4UFQ FNCVMLQBSTFSpSFCBTF@BWSP ࿈ܞࡁΈσʔλʢ.%ʣ ࿈ܞࡁΈσʔλʢ.%ʣ શྔσʔλ
&NCVMLϓϥάΠϯΈ߹Θͤհ w Έ߹Θͤͯ͏&NCVMLϓϥάΠϯ w େྔσʔλͷࠩΛൈͨ͘ΊʹɺϩʔυࡁΈͷঢ়ଶ͕ඞཁͱ ͳΓ3FEJTͷ4FUΛར༻ͨ͠ w BLLBΛར༻্ͯ͠ྲྀ͔ΒྲྀΕΔϨίʔυ 1BHF ΛόοϑΝϦ
ϯάͯ͠ɺҰఆྔஷ·͔ͬͯΒϑϥογϡ͢Δ͜ͱͰɺ3FEJT ͷ͍߹Θͤޮ্Λૂͬͨ FNCVMLPVUQVULFZ@UP@SFEJT FNCVMLpMUFSLFZ@JO@SFEJT
$PODMVTJPO w &NCVMLϓϥάΠϯΛΈ߹Θ࣮ͤͯߦܭըΛߟྀ͢ Εɺଟछଟ༷ͳ&5-͕࣮ݱՄೳͱͳΔ w ྑ͍&NCVMLϓϥάΠϯ͕ແ͔ͬͨΒ13͢Δ͔ɹ ࡞ͬͯ044Ͱެ։͠Α͏ ࠔͬͨΒ5XJUUFSͰͭͿ͘ͱ৭ʑͱڭ͑ͯ͘ΕΔʢUIBOLT!IJSPZTBUP w
&NCVMLϓϥάΠϯ։ൃʹ4DBMBڧྗͳϒΩʹͳΔ BLLBͱ͔DJSDFͱ͔DBUTͱ͔TDBMB[ͱ͔TIBQFMFTTͱ͔
ձࣾ֓ཁ FOOD FAMILY BEAUTY NEWS ಈըΛ௨ͯ͡ ੈքΛͬͱָ͘͠ ͬͱॆ࣮ͨ͠ຖʹ
https://corp.every.tv/recruits We are hiring! Chief Dog Officer EVE
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠