Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
セプテーニで分析基盤(Treasure Data)を導入した話
Search
kimutyam
September 19, 2017
Technology
0
1.5k
セプテーニで分析基盤(Treasure Data)を導入した話
新宿Geek Lounge#3 分析基盤Meetup 登壇資料
kimutyam
September 19, 2017
Tweet
Share
More Decks by kimutyam
See All by kimutyam
NestJSのDIコンテナで作るクリーンなレイヤー境界
kimutyam
3
2.1k
Embulk / Presto / Sparkを用いたETL事情
kimutyam
4
2.2k
Reactive Messaging Patternsを使った境界づけられたコンテキストの統合
kimutyam
3
1.3k
アジャイルでのドメイン・ユースケースモデリング
kimutyam
5
2.2k
Introduction of ScalaTest
kimutyam
3
2.2k
Scalaで学ぶヘキサゴナルアーキテクチャ実践入門
kimutyam
15
6.8k
Other Decks in Technology
See All in Technology
Workflows から Agents へ ~ 生成 AI アプリの成長過程とアプローチ~
belongadmin
3
170
Claude Code どこまでも/ Claude Code Everywhere
nwiizo
51
30k
CIでのgolangci-lintの実行を約90%削減した話
kazukihayase
0
320
Uniadex__公開版_20250617-AIxIoTビジネス共創ラボ_ツナガルチカラ_.pdf
iotcomjpadmin
0
120
Кто отправит outbox? Валентин Удальцов, автор канала Пых
lamodatech
0
140
Amazon ECS & AWS Fargate 運用アーキテクチャ2025 / Amazon ECS and AWS Fargate Ops Architecture 2025
iselegant
3
630
Observability в PHP без боли. Олег Мифле, тимлид Altenar
lamodatech
0
140
ローカルLLMでファインチューニング
knishioka
0
100
JSX - 歴史を振り返り、⾯⽩がって、エモくなろう
pal4de
3
1k
Amplifyとゼロからはじめた AIコーディング 成果と展望
mkdev10
1
330
AIにどこまで任せる?実務で使える(かもしれない)AIエージェント設計の考え方
har1101
3
1.2k
AI技術トレンド勉強会 #1MCPの基礎と実務での応用
nisei_k
1
230
Featured
See All Featured
The Invisible Side of Design
smashingmag
299
51k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
How to train your dragon (web standard)
notwaldorf
92
6.1k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
VelocityConf: Rendering Performance Case Studies
addyosmani
329
24k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
123
52k
Code Reviewing Like a Champion
maltzj
524
40k
For a Future-Friendly Web
brad_frost
179
9.8k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Speed Design
sergeychernyshev
31
990
Optimizing for Happiness
mojombo
379
70k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Transcript
@৽॓Geek Lounge#3 ੳج൫Meetup @kimutyam 2017/09/19 ηϓςʔχͰੳج൫ (Treasure Data)Λಋೖͨ͠
໊લଜজ 5XJUUFS!LJNVUZBN ձࣾηϓςʔχɾΦϦδφϧ %%%ͱ*$0/*9ΛͬͨੳઃܭΛΈͱ͍ͯ͠Δ4DBMBΤϯδχΞ ۀࢧԉͷΞʔΩςΫνϟΛߟҊ͢Δ͏ͪʹੳج൫ܥͷۀʹ୧Γண͖·ͨ͠ ࣗݾհ
PYXISͷྺ࢙ͱੳج൫ಋೖ·Ͱͷഎܠ
PYXISͱ ࠂ৴ ࠷దԽ ཧళۀ վળ σʔλ ੳ
σʔλੳॳظ PYXISͷσʔλ ηϓςʔχͷ֤෦DB ഔମࣾͷσʔλ ސ٬ͷσʔλ ࣾһͷσʔλ ֎෦ϕϯμʔͷσʔλ ಛఆͷతʹԊͬͯߏԽ͞Εͨσʔλ͕ࢄཧ͞Εɺ࣍ར༻͞Ε͍ͯͨ
σʔλͷ࣍ར༻͕ͮ͠Β͍ σʔλੳॳظͰͷ ύϑΥʔϚϯε͕ѱ͍ σʔλ͕ࢄཧ͞Ε͍ͯΔ &5-ॲཧ"11ͷཚཱ
σʔλͷ࣍ར༻͕ͮ͠Β͍ վળ ύϑΥʔϚϯε͕ѱ͍ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻ σʔλͷूԽ σʔλ͕ࢄཧ͞Ε͍ͯΔ
σʔλͷ࣍ར༻͕ͮ͠Β͍ ιϦϡʔγϣϯ: σʔλϨΠΫ ύϑΥʔϚϯε͕ѱ͍ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻ σʔλͷूԽ σʔλ͕ࢄཧ͞Ε͍ͯΔ
σʔλͷ࣍ར༻͕ͮ͠Β͍ ιϦϡʔγϣϯ: σʔλΣΞϋε ύϑΥʔϚϯε͕ѱ͍ σʔλ͕ࢄཧ͞Ε͍ͯΔ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻ σʔλͷूԽ
σʔλͷ࣍ར༻͕ͮ͠Β͍ ιϦϡʔγϣϯ: Treasure Data ύϑΥʔϚϯε͕ѱ͍ σʔλ͕ࢄཧ͞Ε͍ͯΔ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻
σʔλͷूԽ
Treasure DataΛར༻ͨ͠ΞʔΩςΫνϟ
ΞʔΩςΫνϟߏ 1MB[NB%# %BUB5BOL
S3Λ1͚࣍ʹ͢Δ ετϨʔδͳ͍ͷͰ4Λར༻ ੜσʔλͷσʔλܗࣜ +40/$479.-ͳͲ ͷ··อଘ 4ϑΝʔετʹ͢Δ͜ͱͰ"UIFOB3FETIJGU&.3ͳͲͷ αʔϏεͱͷ࿈ܞ͕ඞཁʹԠͯ͡Մೳʹ ੜσʔλอଘͷࡍʹσʔλεΩʔϚΛߟྀ͠ͳ͍
ߏԽσʔλڥք͚ͮΒΕͨίϯςΩετʹด͡Δ ࠂ৴ ࠷దԽ ཧళۀ վળ σʔλ ੳ ʮཧళۀվળʯʮࠂ৴࠷దԽʯͷίϯς Ωετʹσʔλ1:9*4ʹݶఆ ʮσʔλੳʯͷίϯςΩετͰ࣍ར༻͢Δͨ
ΊʹੜσʔλΛ4ʹอଘ
S3ͷϨΪϡϨʔγϣϯ #VDLFU1:9*4ͷΞϓϦέʔγϣϯڥքͷ໋໊ʹ͢Δ 1BUI\5%ͷσʔλϕʔε໊^\5%ͷςʔϒϧ໊^ZZZZ..ZZZZ..EE@ ΞϓϦέʔγϣϯؒͷڝ߹Λճආ͢ΔͨΊ &NCVMLଆͰQBUI@QSFpYͰ࣌ΛಈతʹࢦఆͰ͖ΔΑ͏ʹ "UIFOBͷύʔςΟγϣϯͰࢦఆ͘͢͠ͳΔΑ͏ʹ
S3 -> TD
Treasure DataͷྖҬ 1MB[NB%# %BUB5BOL 5SFBTVSF%BUBͷϑϧϚωʔδͷαʔϏεΛར༻ 5SFBTVSF8PSLqPX %JHEBH %BUB$POOFDUPS &NCVML
5SFBTVSF8PSLqPXΛར༻͢Δ͜ͱͰɺಠࣗʹ%JHEBH 4FSWFSΛཱͯΔߏஙɾอकίετΛݮ 5SFBTVSF8PSLqPX͔Βར༻͠ɺඞཁʹԠͯ͡%JHEBH 4FSWFSΛཱͯΔΑ͏ʹϓϩδΣΫτελʔτ
Treasure DataͷྖҬ 1MB[NB%# %BUB5BOL 4͔ΒUE@MPBE 1MB[NB%#͔Β1SFTUPͰूܭͯ͠൚ԽσʔλΛ1MB[NB%# ʹอଘ %BUB5BOL σʔλϚʔτ ʹར༻༻్ʹԊͬͨಛԽ͞Εͨ
σʔλΛ֨ೲ ˞%BUB5BOL5SFBTVSF%BUB͕ఏڙ͍ͯ͠Δ1PTUHSFTRM
ࣗલͰDigdag ServerΛݕ౼ͨ͠ྫ 1MB[NB%# %BUB5BOL 42-͚ͩͰूܭग़དྷͳ͍߹ %JHEBHͷQZUIPOSVCZTIFMMΦϖϨʔλʔΛར༻ ͯ͠ɺಠࣗʹ࣮ 5SFBTVSF8PSLqPXະରԠ %BUB$POOFDUPSͰཉ͍͠ूܭཻ͕ಘΒΕͳ͍߹ &NCVMLϓϥάΠϯΛΈࠐΈPS։ൃ
Treasure DataΛར༻ͨ͠ۀϑϩʔ σʔλੵ σʔλੳɾՁݕূ %JHEBHʹΑΔΦʔτϝʔγϣϯԽ ։ൃऀ͕5SFBTVSF%BUBʹσʔλ֨ೲ σʔλΞφϦετ ฐࣾͰඇΤϯδχΞ͕ଟ͍ ͕5SFBTVSF%BUBͷ(6*Λར༻ ։ൃऀ͕ཧ͢Δ
5SFBTVSF%BUBΛհͯ͠։ൃऀͱσʔλΞφϦετͷۀ࿈ܞΛ͢Δ
Treasure DataΛબͨ͠Α͔ͬͨ
ϑϧϚωʔδυͳੳج൫ΛεϐʔσΟʔʹखʹೖΓɺੳۀʹूத͕Ͱ͖Δ "84($1Ͱੳج൫Λࣗલߏங͢Δ߹ɺ αʔϏεͷݟΛ্࣋ͬͨͰอकɾӡ༻Λߦ͏ඞཁ͕͋Δ ˞ಋೖޙʹඇػೳཁٻ͕໌֬Խͨ͠Βࣗલݕ౼ ੳۀʹूதͰ͖Δ
σʔλͷΠϯϙʔτΤΫεϙʔτͷΤίγεςϜͷॆ࣮͍ͯ͠·͢ ֤छσʔλϕʔεϑΝΠϧαʔόʔͱͷૄ௨ͷόϦΤʔγϣϯ͕ଟ͘ɺ ଟ͘ͷ֎෦γεςϜͱͷ࿈ܞΛ༰қͰ͢ ֎෦γεςϜͱͷ࿈ܞ͕༰қ
5SFBTVSF%BUBʹσʔλੵΛ͢ΕɺσʔλΞφϦετ͕ੳͰ͖Δঢ়ଶʹ ۃ ΫΤϦ՝ۚసૹྔ՝ۚͰͳ͍ͷͰ42-ʹਫ਼௨͍ͯ͠ͳ͍͕ΫΤϦൃߦͯ͠Ϋϥυഁ࢈͠ͳ ͍ σʔλੳɾՁݕূ·Ͱͷεϐʔυײͱ҆৺ײ
͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠