Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
為替短期予測を支える基盤技術 - データエンジニアミーティング資料
Search
tomo
February 19, 2021
Technology
4
3.6k
為替短期予測を支える基盤技術 - データエンジニアミーティング資料
Alpacaデータエンジニアミーティング資料
https://finatext.connpass.com/event/202265/
tomo
February 19, 2021
Tweet
Share
More Decks by tomo
See All by tomo
マケデコ プログラミングに頼らないExcelシートと生成AIによる日本株データ分析 発表資料
gamella
1
1.1k
株式のシステムトレード初心者の最初の一歩(評価方法を中心に)
gamella
1
910
アドベントカレンダーのお礼とマーケットAI開発プロジェクトにおけるプロジェクトマネジメントのエッセンス 補講
gamella
1
920
JPX Tokyo Stock Exchange Prediction Award Ceremony 解法総評
gamella
2
2.5k
J-Quants表彰会資料 - 上位入賞者解法総評 #JQuants
gamella
1
3k
LDAを利用した予測モデル構築 - J-Quants ニュース分析チャレンジ!発表資料
gamella
1
24k
Other Decks in Technology
See All in Technology
Product Management Conference -AI時代に進化するPdM-
kojima111
0
220
Goss: Faiss向けの新しい本番環境対応 Goバインディング #coefl_go_jp
bengo4com
0
1.4k
攻撃と防御で実践するプロダクトセキュリティ演習~導入パート~
recruitengineers
PRO
2
200
コスト削減の基本の「キ」~ コスト消費3大リソースへの対策 ~
smt7174
2
130
JOAI発表資料 @ 関東kaggler会
joai_committee
1
330
Postman MCP 関連機能アップデート / Postman MCP feature updates
yokawasa
0
150
Devinを使ったモバイルアプリ開発 / Mobile app development with Devin
yanzm
0
190
LLM時代の検索とコンテキストエンジニアリング
shibuiwilliam
2
1.1k
Browser
recruitengineers
PRO
4
330
トヨタ生産方式(TPS)入門
recruitengineers
PRO
3
240
DeNA での思い出 / Memories at DeNA
orgachem
PRO
3
1.6k
JavaScript 研修
recruitengineers
PRO
3
180
Featured
See All Featured
How GitHub (no longer) Works
holman
315
140k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
GitHub's CSS Performance
jonrohan
1031
460k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
570
The Pragmatic Product Professional
lauravandoore
36
6.8k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Side Projects
sachag
455
43k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Transcript
STRICTLY CONFIDENTIAL σʔλΤϯδχΞ ϛʔτΞοϓࢿྉ ҝସظ༧ଌΛࢧ͑Δج൫ٕज़ "MQBDB+BQBO
STRICTLY CONFIDENTIAL 2
STRICTLY CONFIDENTIAL ਓͱ"*ͱͷίϥϘϨʔγϣϯͰΓ։ۚ͘༥ࢢͷະདྷ $MJFOU`T5FTUJNPOJBMGSPN2VBOUT ༏ΕͨςΫϊϩδʔٙ͏༨͕ແ͍ɻ ͨͩɺͦΕ͚ͩͰύʔτφʔͱͯ͠ෆेɻ ޭ·ͰͷಓͷΓτϥΠΞϯυΤϥʔͷ࿈ଓɻ ࢢͷಾղ͖ͷ७ਮͳϞνϕʔγϣϯɺ͖͋ΒΊͳ͍࢟ɺͦͯ݁͠Ռ ͷڧ͍ͩ͜ΘΓɻ
"MQBDBΛޠΔ࣌ʹͦ͏ͨ͠ཁૉ͔ܽͤͳ͍ɻ ൴Βਅʹ৴པͰ͖Δूஂͩɻ ਓ ˠਓ αΠΤϯςΟετΤϯδχΞͷͷ૿Ճ ԯԁ ૯ௐୡֹ $MJFOU`T5FTUJNPOJBMGSPN5SBEFST lۚ༥ࢢͷະདྷ"*ͱਓͱͷίϥϘϨʔγϣϯʹͦ͋͜Δzͱ͍͏ͷ· ͞ʹࢲڧ͘ڞײ͢ΔίϯηϓτͰ͢ɻੈͷઌΛ͍͘وࣾͷօ༷ʹͲΜͲ Μະདྷ͔ͬͯਐΜͰ͍͖͍ͬͯͨɻ ίϩφՒͷதͰۚ༥ۀքશମͰࠓ·Ͱग़དྷͳ͍ͱࢥ͍ͬͯͨ͜ͱ͕࣮ࡍʹ ͬͯΈΔͱग़དྷͯ͠·͏͜ͱ͕ࢁग़͖͍ͯͯΔͱײ͍ͯ͡·͢ɻͦͷத Ͱ"*ͱਓؒͷίϥϘϨʔγϣϯӹʑ૿͍͑ͯ͘Ͱ͠ΐ͏͠ɺͦ͏͍͏෦ ͕֤اۀͷڝ૪ݯઘʹͳ͍ͬͯ͘ͷͩΖ͏ͱࢥ͍·͢ɻ
STRICTLY CONFIDENTIAL TIPSUUFSNQSFEJDUPST "*Λ׆༻ͨ͠ҝସۀͷࣗಈԽ OFVUSBM EPXO 7JTVBMJTBUJPOPGUIFQSFEJDUJPOPVUQVUT 5IFBDUVBMQSJDFNPWF ༧ଌϞσϧͷ
ଟذʹͬͨ׆༻ ༧ଌϞσϧͷߏங #SPLFS
STRICTLY CONFIDENTIAL ಈ࡞͍ͤͨ͞ҝସظ༧ଌϞσϧͷΠϝʔδ Ϛʔέοτͷ9ޙͷಈ͖Λ༧ଌ͢ΔϞσϧ ͕ͩɺϚʔέοτ΄΅ϥϯμϜΥʔΫΛ͢ ΔͷͰɺ࣮ࡍʹͬͯΈΔͱͱ͍ͯ͠ɻ • "*ɾσΟʔϓϥʔχϯάʹ͍͍ͯΔͷ େྔʹൃੜͨ͠σʔλ͔ΒύλʔϯΛ
୳͢࡞ۀ • Ϛʔέοτʹ͓͍ͯ࠷େྔʹൃੜͯ͠ ͍Δσʔλͳʹ͔ɺͦΕ͕5JDL • େྔͷ5JDLσʔλ͔ΒൃੜύλʔϯΛղ ੳ͠ɺͲͷΑ͏ͳύλʔϯ͕ൃੜͨ͠ͱ ͖ʹϓϥΠε্͕͕Δ͔ɾԼ͕Δ͔Λσ ΟʔϓϥʔχϯάͰֶश 5JDLσʔλͬͯԿʁ 5JDLσʔλ࠷NTFDͰൃੜ͢Δۚ༥ ͷͦΕҎ্ׂͰ͖ͳ͍ϓϥΠεσʔλ ը૾ೝ͚ࣝͷ$//Λ ࣌ܥྻղੳͷωοτϫʔΫͱ֦ͯ͠ு σΟʔϓχϡʔϥϧωοτϫʔΫ͕Ϛʔέο τͷಛతͳ5JDLͷൃੜύλʔϯΛղੳɺ༧ ଌΛग़͍ͯ͠Δɻ ը૾ೝࣝ 5JDLൃੜύλʔ ϯ
STRICTLY CONFIDENTIAL ҝସظ༧ଌͷσʔλॲཧͷϙΠϯτ 処理 キーとなる技術 概要 データのインポート • ArgoWorkflow
• MarketStore データプロパイダーから数百GBのデータ がS3に到着、ArgoWorkflowで生データの パースからMarketstoreへのインポート、 検証、データのデリバリまでを実施 分析と予測モデルの学習 • ArgoWorkflow • MarketStore • JupyterNotebook • GPUクラスタ クレンジング完了後のデータに対して、 GPUクラスタでArgo Workflowを用いてモ デル生成を実施。k8sへ移行したことでリ ソース制御が容易となり他のモデル作成 パイプライン含め数万のjobがk8sによっ て順次実行されている 予測モデルのライブ実行 • MarketStore • AWS ◦ Amazon EKS ◦ SQS 構築された予測モデルを稼働させる基盤 。MarketStoreを活用し、為替のデータプ ロパイダーがmsec単位で送付するTickの データをリアルタイム処理
STRICTLY CONFIDENTIAL ύΠϓϥΠϯͷ 5JDLཤྺσʔλͷΠϯϙʔτ • "SHP8PSLGMPXͰੜσʔλͷύʔε͔Β.BSLFUTUPSFͷΠϯϙʔτɺݕ ূɺσʔλͷσϦόϦ·ͰΛ࣮ࢪ • ҰճͰѻ͏σʔλྔඦ(
• શʹࣗಈͰͳ͘खಈͰύϥϝʔλΛௐ͠ͳ͍ͱ͍͚ͳ͍ͱ͜Ζ͕ ͍ͬͯΔͷ͕՝
STRICTLY CONFIDENTIAL ύΠϓϥΠϯͷ ੳͱ༧ଌϞσϧͷֶश • Ϟσϧͷ࡞طଘύΠϓϥΠϯΛ"SHP8PSLGMPXͷ্ʹ͍ͤͯΔ • طଘύΠϓϥΠϯͷεέδϡʔϥʔͱϫʔΧʔ͕ಛྔੜ͔ΒϞσϧֶश·Ͱ Λ࣮ߦ
• ෳͷ.BSLFUTUPSFΠϯελϯεΛϩʔυόϥϯαͰ੍ޚ͢Δ͜ͱͰɺେͳྔͷಛ ྔੜʹରԠ • αΠΤϯςΟετ+VQZUFSOPUFCPPLΛΫϥελͰىಈͯ͠ɺ࡞ͨ͠Ϟσϧʹ ରͯ͠γʔϜϨεʹੳ࡞ۀΛ࣮ࢪՄೳ
STRICTLY CONFIDENTIAL 9 Alpacaのサイエンスを支えるCPU/GPUクラスタ基盤 • େྔͷ$16(16͕Քಇ͢ΔࣗࣾઃܭͷΫϥ ελج൫ ◦ ,TͰ੍ޚ͞Εɺίετӡ༻Λ࣮ ݱ
◦ ฒྻֶशʹΑΓେྔͷ%FFQ-FBSOJOH ϞσϧΛੜՄೳ 超低コスト運用を実現
STRICTLY CONFIDENTIAL ༧ଌϞσϧੜޙͷύΠϓϥΠϯ ࡞ͨ͠༧ଌϞσϧΛ҆ఆӡ༻ͤ͞Δج൫ٕज़ *OQVU 0VUQVU 1SFEJDUJPO 424
%JTQBUDIFS 3%4 H31 $ -FHFOE DBMMFF DBMMFS #BUDI #BUDI 8FC'SPOUFOE *OUFSGBDF 'JY1SPUPDPM ##0 4FTTJPOT '93BUF ##0 "1*EFMJWFSZ 44& 4FSWFS4FOU&WFOUT "NB[PO .2 '93BUF - 044 .BSLFUTUPS F ,TTFSWJDF 1SFEJDUPS 'JY1SPUPDPM -4FTTJPOT QJQFBEBQUFS 044 .BSLFUTUPS F 1SFEJDUPS 424 1SPUPDPM QJQFGMVFOUE QJQFBEBQUFS QJQFGMVFOUE %JTQBUDIFS #BUDI 8FC'SPOUFOE ,TTFSWJDF ,TTFSWJDF CBDLVQ CBDLVQ IPVSMZ QSJDF EVNQFS NFUSJDTW NFUSJDTW DTWEVNQFS BEBQUFS BEBQUFS 424 1SPUPDPM H31$ H31$
STRICTLY CONFIDENTIAL 044ͱͯ͠ߴ࣌ܥྻσʔλϕʔε.BSLFU4UPSFΛެ։த • "MQBDB+BQBOͱɺถࠃͰ࠷͍ͷ͋Δถࠃג"1*ূ݊"MQBDB64ͱ"MQBDB+BQBOͷڞಉ։ൃ IUUQTHJUIVCDPNBMQBDBIRNBSLFUTUPSF • ΦϯϝϞϦઃܭΛ࠾༻ͤͣɺ44%Ͱ࠷ύϑΥʔϚϯε͕ग़ΔΑ͏ʹઃܭ
• ҝସ5JDLͷΑ͏ͳߴͳॲཧΛ͡Ί͔Βఆ͠ઃܭ • ྫ͑.POHP%#ͱ͔Λ͏ͱ+40/%BUB'SBNFͰࢮ͢ΔɻͦͷίϯόʔτॲཧΛճආ͢ΔͨΊ OVNBSSZͷόΠφϦΫΤϦΛ࠾༻ɺ.BSLFU4UPSFଆͰOVNQZόΠφϦΛ%#ͷόΠφϦߏ͔Βͦͷ ··ੜɺQZUIPOଆH31$ܦ༝Ͱऔಘͨ͠OVNQZόΠφϦΛ%BUB'SBNFͱͯ͠ϩʔυ͢Δ͜ͱͰΦʔ όʔϔουΛۃখԽ͢Δɻ (JUIVC˒,ʹ౸ୡʂʂ ʂ
STRICTLY CONFIDENTIAL 12 ࠷ۙͷ.BSLFU4UPSFͷύϫʔΞοϓ • H31$ʹରԠ • )551ͱൺֱͯ͠ߋʹ"1*ύϑΥʔϚϯε͕վળ σʔλϨίʔυͷΫΤϦʹ͔͔Δ͕࣌ؒ NT
)551 NT H31$ ͘Β͍มΘΔ ߴԽ • ϨϓϦέʔγϣϯػೳ • ෳͷϨϓϦΧʹH31$ TUSFBNΛͬͯσʔλΛෳՄೳ 3FBEύϑΥʔϚϯεͷ্Λͭͭ͠ɺ༗ྉͷσʔλఏڙ"1*Λ༻͢ΔϊʔυΛϚελϊʔ υʹߜΕΔͱ͍ͬͨϝϦοτ • )FMNDIBSUʹରԠ • ,VCFSOFUFT্ͰͷNBSLFUTUPSFߏங͕༰қʹ • 1SPNFUIFVTʹରԠ • ॻ͖ࠐΈॲཧ࣌ؒͳͲ͍͔ͭ͘ͷϝτϦΫεΛ(&5 NFUSJDTͰ 1SPNFUIFVTαʔόʹFYQPSUͰ͖Δ • ࡉ͔ͳύϑΥʔϚϯεվળ • DHP HP͔Β$$ ͷϥΠϒϥϦΛ༻͢Δύοέʔδ ͔Βͷଔۀ • όοϑΝΩϟογϡΛσΟεΫʹॻ͖ࠐΉTZODγεςϜίʔϧͷݺͼग़͠λΠϛϯάͷݟ ͠ͳͲ • ϕϯνϚʔΫιϑτΛಉ࣌ʹ։ൃͯ͠ݕূͭͭ͠վળத
STRICTLY CONFIDENTIAL ࠓޙ׆༂Ͱ͖ΔσʔλΤϯδχΞͷΠϝʔδ ҎԼͷ͕ॏཁ • Ϋϥυٕज़ʹڧ͍ʂ • Ϋϥυͷٕज़ΛͲͷ͘Β͍͏·͘׆༻Ͱ͖Δ͔
• σʔλߏɾσʔλͷߴॲཧͳͲʹڧ͍ʂ • ٕज़બఆɾΫϥυબఆ͢Δ্ͰσʔλͷऔΓѻ͍ٕज़͕ॏཁɺ͠ͷ ͱ͖ʹࣗͰ͔͚Δ͜ͱ͕ڧΈʹͳΔ • σʔλαΠΤϯενʔϜͱಉ͡༻ޠͰͤΔͱڧ͍ʂ • σʔλαΠΤϯενʔϜ͕࡞ͨ͠ϞσϧΛಈ͔͢ͱ͍͏తʹରͯ͠ɺ σʔλαΠΤϯενʔϜͱಉ͡༻ޠͰσΟεΧογϣϯͰ͖Δͱ˕ ͞ΒʹϓϥεΞϧϑΝͰҎԼͷΑ͏ͳਓࡐΛٻΊ͍ͯ·͢ɻ • ΫϥυΛ׆༻ͭͭ͠ɺΤοδͷޮ͍ͨಠٕࣗज़ΛࣗͨͪͰ࡞Γ͍ͨʂ • ߴͳॲཧ͔ͭϛογϣϯΫϦςΟΧϧͳ՝ʹઓ͍ͨ͠ • σʔλΤϯδχΞͱ͍͏৽͍͠ΩϟϦΞΛࣗͰߏங͍ͨ͠ -JOLFE*Oɺ·ͨ8BOUFEMZͰͷԠืΛ͓͓ͪͯ͠Γ·͢ • IUUQTXXXMJOLFEJODPNDPNQBOZBMQBDBKBQBO PSJHJOBM4VCEPNBJOKQ • IUUQTXXXXBOUFEMZDPNDPNQBOJFTBMQBDBEC
STRICTLY CONFIDENTIAL