Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
etl-in-the-media-company
Search
Masatoshi Shimada
September 19, 2017
Technology
7
5.7k
etl-in-the-media-company
ETLの実際
- 分析基盤刷新PoC
- ETL実例紹介
- ETLでぶつかった壁
Masatoshi Shimada
September 19, 2017
Tweet
Share
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
データプラットフォーム技術におけるメダリオンアーキテクチャという考え方/DataPlatformWithMedallionArchitecture
smdmts
6
2.2k
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
7.9k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
990
Sparkから利用するAirframe/Spark-With-Airframe
smdmts
0
1.7k
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.6k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
0
1.7k
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
smdmts
5
2.3k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
770
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
3.8k
Other Decks in Technology
See All in Technology
衝突して強くなる! BLUE GIANTと アジャイルチームの共通点とは ― いきいきと活気に満ちたグルーヴあるチームを作るコツ ― / BLUE GIANT and Agile Teams
naitosatoshi
0
280
AWSで推進するデータマネジメント
kawanago
0
730
Nstockの一人目エンジニアが 3年間かけて向き合ってきた セキュリティのこととこれから〜あれから半年〜
yo41sawada
0
110
サンドボックス技術でAI利活用を促進する
koh_naga
0
110
「魔法少女まどか☆マギカ Magia Exedra」のグローバル展開を支える、開発チームと翻訳チームの「意識しない協創」を実現するローカライズシステム
gree_tech
PRO
0
420
ZOZOマッチのアーキテクチャと技術構成
zozotech
PRO
2
860
Bye-Bye Query Spaghetti: Write Queries You'll Actually Understand Using Pipelined SQL Syntax
tobiaslampertlotum
0
120
AI時代に非連続な成長を実現するエンジニアリング戦略
sansantech
PRO
3
890
絶対に失敗できないキャンペーンページの高速かつ安全な開発、WINTICKET × microCMS の開発事例
microcms
0
360
生成AI時代のデータ基盤設計〜ペースレイヤリングで実現する高速開発と持続性〜 / Levtech Meetup_Session_2
sansan_randd
1
100
Oracle Cloud Infrastructure:2025年8月度サービス・アップデート
oracle4engineer
PRO
0
160
実践アプリケーション設計 ①データモデルとドメインモデル
recruitengineers
PRO
5
1.4k
Featured
See All Featured
The Language of Interfaces
destraynor
160
25k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
910
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
A designer walks into a library…
pauljervisheath
207
24k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
790
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Being A Developer After 40
akosma
90
590k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Speed Design
sergeychernyshev
32
1.1k
Transcript
ಈըܥϝσΟΞاۀͰ ߦΘΕ͍ͯΔ&5-ͷ࣮ࡍ ౡాխ!TNENUT
ࣗݾհ w ౡాխ!TNENUT w ιϑτΣΞΤϯδχΞ w 4DBMBc1ZUIPOc+BWBc(PMBOHc%%% w
גࣜձࣾΤϒϦʔॴଐ w %&-*4),*5$)&/σʔλੳܥશൠ୲
ΞϓϦհ
࣍ w ੳج൫৽1P$ w &5-࣮ྫհ w &5-ͰͿ͔ͭͬͨน
ੳج൫৽1P$
4JOHMFTPVSDFPGUSVUI The state of your whole application is stored in
an object tree within a single store. by redux. w ΞϓϦέʔγϣϯͷঢ়ଶҰݩཧ͞ΕΔ͖ Ͱ͋Δ w ϏοάσʔλͰҰͭͷॴʹूͯ͠ɺ42- ͰݕࡧՄೳʹ͓͖ͯ͘͠Ͱ͋Δ w ݱ࣮తʹاۀͷσʔλ༷ʑͳܗͰଘࡏ͠ ͓ͯΓ݁߹͢Δ͜ͱ͍͠
γεςϜߏਤʢॳʣ "1*αʔό ࠂޮՌଌఆ Πϕϯτܭଌ "UIFOB #JH2VFSZ ݁߹͕ग़དྷͳ͍ͨΊɺ 4405͕ຬͨͤͳ͍ ՄࢹԽ %8)
ॳͷੳج൫ʹ͓͚Δ՝ w εΩϟϯྔʢΫΤϦ՝ۚʣ͕ʑ૿େ͍ͯͨ͠ w ΫΤϦɺ5#ͷεΩϟϯ͕ଟ w #2ͷσʔλߏ͕ෳࡶͰ42-͕ಡঢ়ଶ w Ϩίʔυܕͷղ͕ओͳݪҼ w
"UIFOBͱ#JH2VFSZͷ+0*/͕ग़དྷͳ͍ w SFEBTIͳΒ݁߹Մೳ w ͔͠͠σʔλ࿈Λॏࢹͨͨ͠Ίߟྀ֎ͱͨ͠ w ࠂޮՌଌఆͷϩά͕࿈ܞ͞Ε͍ͯͳ͍ "UIFOB #JH2VFSZ
w 4405͕࣮ݱ͞Ε͍ͯΔ͜ͱ w εΩϟϯྔΛؾʹ͢Δ͜ͱແ͍ੳج൫Ͱ͋Δ͜ͱ w ੳ༻42-ɺͳΔ͘؆қͳ42-ͱ͍ͨ͠ w ಛघͳ8JOEPXؔ+0*/ͷআڈΛఆ w ඇΤϯδχΞ͚ʹੳͷෑډΛԼ͍͛ͨ
w ϨίʔυͷߏՄมͰεΩʔϚϨεʹ͍ͨ͠ w શͯϑϧϚωʔδυͰ࣮ݱ͞ΕΔ͜ͱ ৽ੳج൫ʹ͚ͨ1P$
৽ੳج൫ʹ͚ͨ1P$ w Ϧιʔε՝ۚͰ͋Δ͜ͱ w ϑϧϚωʔδυɾδϣϒεέδϡʔϥ͕ଘࡏ͢Δ͜ͱ w ϑϧϚωʔδυɾόϧΫΠϯϙʔτ͕ଘࡏ͢Δ͜ͱ w εΩʔϚϨε%#ͰεΩʔϚࣗಈߋ৽͕ଘࡏ͢Δ͜ͱ w
3&45ͰσʔλೖՄೳͳίʔϧόοΫ༻ͷΤϯυϙ Πϯτ͕ଘࡏ͢Δ͜ͱ w σʔλ࿈ܞʢ*NQPSU&YQPSU ͕༰қͰ͋Δ͜ͱ
"1*αʔό ࠂޮՌଌఆ Πϕϯτܭଌ %BUB-BLF %8) 4405 1P$ ୡ σʔλ͕Ұݩཧ͞ΕΔͨΊ ͲͷΑ͏ͳσʔλͰ݁߹Մೳ
#JH2VFSZ ՄࢹԽ 3&45"1* $PODMVTJPO
&5-࣮ྫհ
&5-࣮ྫհ "1*αʔό ࠂޮՌଌఆ Πϕϯτܭଌ %BUB-BLF %8) #JH2VFSZ ՄࢹԽ 3&45"1* ͜ͷ෦ͷ
'JSFCBTF"OBMZUJDT w #BB4πʔϧ w ओʹ"#ςετɺϓογϡ௨ɺΠϕϯτϩ άܭଌͰར༻͍ͯ͠Δ w #JH2VFSZʹΠϕϯτܭଌϩά͕࿈ܞՄೳ w #JH2VFSZͰੜϩάΛੳʹճ͍͕ͯͨ͠ɺɹ
εΩϟϯྔ૿େͱ42-ಡԽ͕͋ͬͨ
'JSFCBTF 4%, #JH2VFSZ 5SFBTVSF %BUB ($4 4 &.3 5SFBTVSF8PSLqPX 'JSFCBTF
"OBMZUJDT &5-"SDIJUFDUVSF .3FDPSE%BZ
'JSFCBTF 4%, &5-"SDIJUFDUVSF 'JSFCBTF "OBMZUJDT #JH2VFSZ 5SFBTVSF %BUB ($4 4
&.3 ϑϧϚωʔδυ .3FDPSE%BZ 5SFBTVSF8PSLqPX
5SFBTVSF8PSLqPX w %JHEBHͷϑϧϚʔωδυδϣϒεέδϡʔϥ w 3VCZ1ZUIPO4IFMM͕͑ͳ͍ w Πϯϑϥૢ࡞"84-BNCEBΛར༻͢Δ w "84($1$-*Λ-BNCEBͰىಈ͢Δ w
&.3ΦϖϨʔλΑΓॊೈʹ੍ޚ͔ͨͬͨ͠ w ॲཧܥϑϧϚωʔδυͳαʔόϨεߏ
%JHEBH8PSLqPX CR@FYUSBDU #JH2VFSZ ($4 TUFQ IUUQ "1*(BUFXBZ -BNCEB &.3 ($4
4 5% TUFQ 45&1 #JH2VFSZ͔Β($4ʹμϯϓ 45&1 ($4͔Β&.3Ͱ5%ʹ࿈ܞ
&NCVMLPO&.3 &.3 w .BQ3FEVDF&YFDVUPSΛར༻͢Εɺɹ )BEPPQΫϥελʔ্Ͱࢄ࣮ߦͰ͖Δ IUUQTHJTUHJUIVCDPNTNENUTDGEFCFCEEDBCCCE IUUQRJJUBDPNKPLFSJUFNTECBFCGBBF w Լهͷ̎εςοϓͰར༻ՄೳʢUIBOLT!KPLFS
w MPH༻ͷ+"3Λ&.3֤ϊʔυʹࣄલʹϩʔυ w ϚελʔϊʔυͰ.BQ3FEVDF&YFDVUPSΛ ར༻ͯ͠&NCVMLΛىಈ͢Δ
($4 4 4 5% 4UFQ"730ʢ#JH2VFSZʣ+40/ʢ3FDPSE&WFOUʣ 4UFQ+40/ʢ3FDPSE&WFOUʣ1MB[NB%# 5% "730ʢ3FDPSE.BOZ&WFOUʣΛɺ +40/ʢ3FDPSE&WFOUʣʹม͍ͯ͠Δ %BUB$POOFDUPSͰ+40/ͷ+40/ܕΛղ͢ΔͨΊɺ
5%ΦϓγϣϯͷFYQMPEF@KTPO@DPMVNOTΛར༻͍ͯ͠Δ FYQMPEF@KTPO@DPMVNOT%BUB$POOFDUPSઐ༻Ͱ&.3͔Βར༻Ͱ͖ͳ͍ &.3Ͱ࣮ߦͯͬ͠ͱߴԽ͍ͨ͠ͷͰ044൛Ͱ͜ͷΦϓγϣϯΛެ։ͯ͠ཉ͍͠ʢཁʣ &NCVML࣮ߦܭը
Ϩίʔυͷঢ়ଶભҠ $ % " # ' $ % " #
& ' Ћ Ћ Ћ Ћ Ћ Ћ Ћ Ϩίʔυ ܕ" ຌྫ ׂ & " # $ % & ' Ћ Ћ Ћ " # $ % & ' ൃࢄ ܕ# ܕ$ 4UFQ"730+40/ʢ3FDPSE&WFOUʣ 4UFQ+40/ʢ3FDPSE&WFOUʣ1MB[NB%# 5%
$PODMVTJPO w .BQ3FEVDF&YFDVUPSΛར༻ͯ͠&.3Ͱࢄ࣮ ߦ͢Δ͜ͱͰେྔσʔλͷऔΓࠐΈΛՄೳͱͨ͠ w ϨίʔυΠϕϯτʹׂ͢Δ͜ͱͰੳ༻42- ͷқΛԼ͛ΔࣄΛ࣮ݱͨ͠ w ྻࢦ%#Λੜ͔ͯ͠+40/Λൃࢄͤ͞Δ͜ͱͰɺε ΩʔϚཧίετͷݮΛ࣮ݱͨ͠
w ϑϧϚωʔδυͰ&5-Λ࣮ݱ͢Δ͜ͱͰཧίετ ݮΛ࣮ݱͨ͠
&5-ͰͿ͔ͭͬͨน
'JSFCBTFऔΓࠐΈ༻ &NCVMLϓϥάΠϯ͕ͳ͍
&NCVMLϓϥάΠϯ͕ͳ͍ 'JSFCBTFऔΓࠐΈ༻ ແ͔ͬͨΒ࡞Δ
&NCVMLϓϥάΠϯ͕ͳ͍ 'JSFCBTFऔΓࠐΈ༻ ແ͔ͬͨΒ࡞Δ ͦͯ͠ɺΈ߹ΘͤΔ
ՌҰཡ w FNCVMLpMUFSLFZ@JO@SFEJT w FNCVMLpMUFSKTPO@LFZ@KPJOFS w FNCVMLGPSNBUUFSGBTU@KTPOM w FNCVMLQBSTFSpSFCBTF@BWSP w
FNCVMLEFDPEFSSFNPWF@OPOTUBOEBSE@VUG@CZUFT w FNCVMLPVUQVUqVFOUEʢFYQFSJNFOUBMBTXBJUJOHGPS+BWB w FNCVMLPVUQVULFZ@UP@SFEJT ͱͷ֨ಆͷɺੜ͞ΕͨϓϥάΠϯ
&NCVMLϓϥάΠϯΈ߹Θͤհ &NCVMLΛར༻ͨ͠ େྔϨίʔυࠩ࿈ܞͷհ
&NCVMLϓϥάΠϯΈ߹Θͤհ w ຊϨίʔυ#2ͷຊςʔϒϧ JOUSBEBZ ʹ࿈ܞ͞ΕΔ w ఆࠁʢே࣌ࠒʣʹຊςʔϒϧ͔Βࡢςʔϒϧ͕࡞͞ ΕͯຊϨίʔυ͕ࡢςʔϒϧʹҠಈ͢Δ w ࠷େͰաڈલ·ͰͷΠϕϯτϩά͕ςʔϒϧʹఆࠁ
ʢே࣌ࠒʣͰ࿈ܞ͞ΕΔ w ࡢ͕࡞ɺ̎લɾ̏લ͕هͷ̏छྨ w ͲͷϨίʔυ͕ه͞Ε͔ͨ42-Ͱ͔Βͳ͍ #JH2VFSZ
&NCVMLϓϥάΠϯΈ߹Θͤհ ຊ ࡢ લ લ աڈϩά ੵΈ্͛ ఆࠁʢே࣌ࠒͷڍಈʣ ࡞ ه
ه JOUSBEBZ #JH2VFSZ
&NCVMLϓϥάΠϯΈ߹Θͤհ Ұࡢ ຊ࿈ܞ͍ͨ͠σʔλ ࡢ࿈ܞࡁΈ w ຊ࿈ܞ͍ͨ͠σʔλΛநग़͢Δʹɺશྔσʔλͱࡢ࿈ ܞࡁΈσʔλͱ%J⒎ΛऔΔඞཁ͕͋Δ ɹʢ3FETIJGUʢ42-ʣͰ࣮ݱՄೳ͕ͩ&NCVMLͰ࣮ݱ͔ͨͬͨ͠ʣ શྔ ͷϨίʔυʹ͍ͭͯղ͢ΔͱԼهͷΑ͏ʹͳΔ
ʹ
&NCVMLϓϥάΠϯΈ߹Θͤհ ࿈ܞࡁΈσʔλ 4UFQ FNCVMLPVUQVULFZ@UP@SFEJT 4UFQ શྔσʔλʢ.%ʣ ʹ ຊ࿈ܞϨίʔυ FNCVMLpMUFSLFZ@JO@SFEJT
#JH2VFSZ 4UFQ FNCVMLQBSTFSpSFCBTF@BWSP ࿈ܞࡁΈσʔλʢ.%ʣ ࿈ܞࡁΈσʔλʢ.%ʣ શྔσʔλ
&NCVMLϓϥάΠϯΈ߹Θͤհ w Έ߹Θͤͯ͏&NCVMLϓϥάΠϯ w େྔσʔλͷࠩΛൈͨ͘ΊʹɺϩʔυࡁΈͷঢ়ଶ͕ඞཁͱ ͳΓ3FEJTͷ4FUΛར༻ͨ͠ w BLLBΛར༻্ͯ͠ྲྀ͔ΒྲྀΕΔϨίʔυ 1BHF ΛόοϑΝϦ
ϯάͯ͠ɺҰఆྔஷ·͔ͬͯΒϑϥογϡ͢Δ͜ͱͰɺ3FEJT ͷ͍߹Θͤޮ্Λૂͬͨ FNCVMLPVUQVULFZ@UP@SFEJT FNCVMLpMUFSLFZ@JO@SFEJT
$PODMVTJPO w &NCVMLϓϥάΠϯΛΈ߹Θ࣮ͤͯߦܭըΛߟྀ͢ Εɺଟछଟ༷ͳ&5-͕࣮ݱՄೳͱͳΔ w ྑ͍&NCVMLϓϥάΠϯ͕ແ͔ͬͨΒ13͢Δ͔ɹ ࡞ͬͯ044Ͱެ։͠Α͏ ࠔͬͨΒ5XJUUFSͰͭͿ͘ͱ৭ʑͱڭ͑ͯ͘ΕΔʢUIBOLT!IJSPZTBUP w
&NCVMLϓϥάΠϯ։ൃʹ4DBMBڧྗͳϒΩʹͳΔ BLLBͱ͔DJSDFͱ͔DBUTͱ͔TDBMB[ͱ͔TIBQFMFTTͱ͔
ձࣾ֓ཁ FOOD FAMILY BEAUTY NEWS ಈըΛ௨ͯ͡ ੈքΛͬͱָ͘͠ ͬͱॆ࣮ͨ͠ຖʹ
https://corp.every.tv/recruits We are hiring! Chief Dog Officer EVE
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠