Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
為替短期予測を支える基盤技術 - データエンジニアミーティング資料
Search
tomo
February 19, 2021
Technology
4
3k
為替短期予測を支える基盤技術 - データエンジニアミーティング資料
Alpacaデータエンジニアミーティング資料
https://finatext.connpass.com/event/202265/
tomo
February 19, 2021
Tweet
Share
More Decks by tomo
See All by tomo
マケデコ プログラミングに頼らないExcelシートと生成AIによる日本株データ分析 発表資料
gamella
1
490
株式のシステムトレード初心者の最初の一歩(評価方法を中心に)
gamella
1
610
アドベントカレンダーのお礼とマーケットAI開発プロジェクトにおけるプロジェクトマネジメントのエッセンス 補講
gamella
1
770
JPX Tokyo Stock Exchange Prediction Award Ceremony 解法総評
gamella
2
2.2k
J-Quants表彰会資料 - 上位入賞者解法総評 #JQuants
gamella
1
2.8k
LDAを利用した予測モデル構築 - J-Quants ニュース分析チャレンジ!発表資料
gamella
1
23k
Other Decks in Technology
See All in Technology
The XZ Backdoor Story
fr0gger
0
3.5k
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
15
40k
eBPFのこれまでとこれから
yutarohayakawa
8
2.9k
サプライチェーン攻撃に備える
ryunen344
0
190
自社サービスのための独自リリース版Redmine「RedMica」の取り組み
vividtone
0
1.1k
20240906_JAWS_Yamanashi_#1_leap_beyond_the_AWS_all_certifications
tsumita
1
280
SORACOMで実現するIoTのマルチクラウド対応 - IoTでのクリーンアーキテクチャの実現 -
kenichirokimura
0
380
どこよりも遅めなWinActor Ver.7.5.0 新機能紹介
tamai_63
0
190
持続可能なソフトウェア開発を支える『GitHub CI/CD実践ガイド』
tmknom
4
380
Oracle Database Backup Service:サービス概要のご紹介
oracle4engineer
PRO
0
4.1k
JEP 480: Structured Concurrency
aya_ebata
0
130
Fediverse Discovery Providers overview
andypiper
0
160
Featured
See All Featured
Build your cross-platform service in a week with App Engine
jlugia
228
18k
Faster Mobile Websites
deanohume
304
30k
Testing 201, or: Great Expectations
jmmastey
36
7k
How to train your dragon (web standard)
notwaldorf
85
5.6k
Fashionably flexible responsive web design (full day workshop)
malarkey
401
65k
Building Better People: How to give real-time feedback that sticks.
wjessup
359
18k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.4k
A Tale of Four Properties
chriscoyier
155
22k
What's in a price? How to price your products and services
michaelherold
242
11k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
363
22k
The Pragmatic Product Professional
lauravandoore
31
6.2k
Music & Morning Musume
bryan
46
6k
Transcript
STRICTLY CONFIDENTIAL σʔλΤϯδχΞ ϛʔτΞοϓࢿྉ ҝସظ༧ଌΛࢧ͑Δج൫ٕज़ "MQBDB+BQBO
STRICTLY CONFIDENTIAL 2
STRICTLY CONFIDENTIAL ਓͱ"*ͱͷίϥϘϨʔγϣϯͰΓ։ۚ͘༥ࢢͷະདྷ $MJFOU`T5FTUJNPOJBMGSPN2VBOUT ༏ΕͨςΫϊϩδʔٙ͏༨͕ແ͍ɻ ͨͩɺͦΕ͚ͩͰύʔτφʔͱͯ͠ෆेɻ ޭ·ͰͷಓͷΓτϥΠΞϯυΤϥʔͷ࿈ଓɻ ࢢͷಾղ͖ͷ७ਮͳϞνϕʔγϣϯɺ͖͋ΒΊͳ͍࢟ɺͦͯ݁͠Ռ ͷڧ͍ͩ͜ΘΓɻ
"MQBDBΛޠΔ࣌ʹͦ͏ͨ͠ཁૉ͔ܽͤͳ͍ɻ ൴Βਅʹ৴པͰ͖Δूஂͩɻ ਓ ˠਓ αΠΤϯςΟετΤϯδχΞͷͷ૿Ճ ԯԁ ૯ௐୡֹ $MJFOU`T5FTUJNPOJBMGSPN5SBEFST lۚ༥ࢢͷະདྷ"*ͱਓͱͷίϥϘϨʔγϣϯʹͦ͋͜Δzͱ͍͏ͷ· ͞ʹࢲڧ͘ڞײ͢ΔίϯηϓτͰ͢ɻੈͷઌΛ͍͘وࣾͷօ༷ʹͲΜͲ Μະདྷ͔ͬͯਐΜͰ͍͖͍ͬͯͨɻ ίϩφՒͷதͰۚ༥ۀքશମͰࠓ·Ͱग़དྷͳ͍ͱࢥ͍ͬͯͨ͜ͱ͕࣮ࡍʹ ͬͯΈΔͱग़དྷͯ͠·͏͜ͱ͕ࢁग़͖͍ͯͯΔͱײ͍ͯ͡·͢ɻͦͷத Ͱ"*ͱਓؒͷίϥϘϨʔγϣϯӹʑ૿͍͑ͯ͘Ͱ͠ΐ͏͠ɺͦ͏͍͏෦ ͕֤اۀͷڝ૪ݯઘʹͳ͍ͬͯ͘ͷͩΖ͏ͱࢥ͍·͢ɻ
STRICTLY CONFIDENTIAL TIPSUUFSNQSFEJDUPST "*Λ׆༻ͨ͠ҝସۀͷࣗಈԽ OFVUSBM EPXO 7JTVBMJTBUJPOPGUIFQSFEJDUJPOPVUQVUT 5IFBDUVBMQSJDFNPWF ༧ଌϞσϧͷ
ଟذʹͬͨ׆༻ ༧ଌϞσϧͷߏங #SPLFS
STRICTLY CONFIDENTIAL ಈ࡞͍ͤͨ͞ҝସظ༧ଌϞσϧͷΠϝʔδ Ϛʔέοτͷ9ޙͷಈ͖Λ༧ଌ͢ΔϞσϧ ͕ͩɺϚʔέοτ΄΅ϥϯμϜΥʔΫΛ͢ ΔͷͰɺ࣮ࡍʹͬͯΈΔͱͱ͍ͯ͠ɻ • "*ɾσΟʔϓϥʔχϯάʹ͍͍ͯΔͷ େྔʹൃੜͨ͠σʔλ͔ΒύλʔϯΛ
୳͢࡞ۀ • Ϛʔέοτʹ͓͍ͯ࠷େྔʹൃੜͯ͠ ͍Δσʔλͳʹ͔ɺͦΕ͕5JDL • େྔͷ5JDLσʔλ͔ΒൃੜύλʔϯΛղ ੳ͠ɺͲͷΑ͏ͳύλʔϯ͕ൃੜͨ͠ͱ ͖ʹϓϥΠε্͕͕Δ͔ɾԼ͕Δ͔Λσ ΟʔϓϥʔχϯάͰֶश 5JDLσʔλͬͯԿʁ 5JDLσʔλ࠷NTFDͰൃੜ͢Δۚ༥ ͷͦΕҎ্ׂͰ͖ͳ͍ϓϥΠεσʔλ ը૾ೝ͚ࣝͷ$//Λ ࣌ܥྻղੳͷωοτϫʔΫͱ֦ͯ͠ு σΟʔϓχϡʔϥϧωοτϫʔΫ͕Ϛʔέο τͷಛతͳ5JDLͷൃੜύλʔϯΛղੳɺ༧ ଌΛग़͍ͯ͠Δɻ ը૾ೝࣝ 5JDLൃੜύλʔ ϯ
STRICTLY CONFIDENTIAL ҝସظ༧ଌͷσʔλॲཧͷϙΠϯτ 処理 キーとなる技術 概要 データのインポート • ArgoWorkflow
• MarketStore データプロパイダーから数百GBのデータ がS3に到着、ArgoWorkflowで生データの パースからMarketstoreへのインポート、 検証、データのデリバリまでを実施 分析と予測モデルの学習 • ArgoWorkflow • MarketStore • JupyterNotebook • GPUクラスタ クレンジング完了後のデータに対して、 GPUクラスタでArgo Workflowを用いてモ デル生成を実施。k8sへ移行したことでリ ソース制御が容易となり他のモデル作成 パイプライン含め数万のjobがk8sによっ て順次実行されている 予測モデルのライブ実行 • MarketStore • AWS ◦ Amazon EKS ◦ SQS 構築された予測モデルを稼働させる基盤 。MarketStoreを活用し、為替のデータプ ロパイダーがmsec単位で送付するTickの データをリアルタイム処理
STRICTLY CONFIDENTIAL ύΠϓϥΠϯͷ 5JDLཤྺσʔλͷΠϯϙʔτ • "SHP8PSLGMPXͰੜσʔλͷύʔε͔Β.BSLFUTUPSFͷΠϯϙʔτɺݕ ূɺσʔλͷσϦόϦ·ͰΛ࣮ࢪ • ҰճͰѻ͏σʔλྔඦ(
• શʹࣗಈͰͳ͘खಈͰύϥϝʔλΛௐ͠ͳ͍ͱ͍͚ͳ͍ͱ͜Ζ͕ ͍ͬͯΔͷ͕՝
STRICTLY CONFIDENTIAL ύΠϓϥΠϯͷ ੳͱ༧ଌϞσϧͷֶश • Ϟσϧͷ࡞طଘύΠϓϥΠϯΛ"SHP8PSLGMPXͷ্ʹ͍ͤͯΔ • طଘύΠϓϥΠϯͷεέδϡʔϥʔͱϫʔΧʔ͕ಛྔੜ͔ΒϞσϧֶश·Ͱ Λ࣮ߦ
• ෳͷ.BSLFUTUPSFΠϯελϯεΛϩʔυόϥϯαͰ੍ޚ͢Δ͜ͱͰɺେͳྔͷಛ ྔੜʹରԠ • αΠΤϯςΟετ+VQZUFSOPUFCPPLΛΫϥελͰىಈͯ͠ɺ࡞ͨ͠Ϟσϧʹ ରͯ͠γʔϜϨεʹੳ࡞ۀΛ࣮ࢪՄೳ
STRICTLY CONFIDENTIAL 9 Alpacaのサイエンスを支えるCPU/GPUクラスタ基盤 • େྔͷ$16(16͕Քಇ͢ΔࣗࣾઃܭͷΫϥ ελج൫ ◦ ,TͰ੍ޚ͞Εɺίετӡ༻Λ࣮ ݱ
◦ ฒྻֶशʹΑΓେྔͷ%FFQ-FBSOJOH ϞσϧΛੜՄೳ 超低コスト運用を実現
STRICTLY CONFIDENTIAL ༧ଌϞσϧੜޙͷύΠϓϥΠϯ ࡞ͨ͠༧ଌϞσϧΛ҆ఆӡ༻ͤ͞Δج൫ٕज़ *OQVU 0VUQVU 1SFEJDUJPO 424
%JTQBUDIFS 3%4 H31 $ -FHFOE DBMMFF DBMMFS #BUDI #BUDI 8FC'SPOUFOE *OUFSGBDF 'JY1SPUPDPM ##0 4FTTJPOT '93BUF ##0 "1*EFMJWFSZ 44& 4FSWFS4FOU&WFOUT "NB[PO .2 '93BUF - 044 .BSLFUTUPS F ,TTFSWJDF 1SFEJDUPS 'JY1SPUPDPM -4FTTJPOT QJQFBEBQUFS 044 .BSLFUTUPS F 1SFEJDUPS 424 1SPUPDPM QJQFGMVFOUE QJQFBEBQUFS QJQFGMVFOUE %JTQBUDIFS #BUDI 8FC'SPOUFOE ,TTFSWJDF ,TTFSWJDF CBDLVQ CBDLVQ IPVSMZ QSJDF EVNQFS NFUSJDTW NFUSJDTW DTWEVNQFS BEBQUFS BEBQUFS 424 1SPUPDPM H31$ H31$
STRICTLY CONFIDENTIAL 044ͱͯ͠ߴ࣌ܥྻσʔλϕʔε.BSLFU4UPSFΛެ։த • "MQBDB+BQBOͱɺถࠃͰ࠷͍ͷ͋Δถࠃג"1*ূ݊"MQBDB64ͱ"MQBDB+BQBOͷڞಉ։ൃ IUUQTHJUIVCDPNBMQBDBIRNBSLFUTUPSF • ΦϯϝϞϦઃܭΛ࠾༻ͤͣɺ44%Ͱ࠷ύϑΥʔϚϯε͕ग़ΔΑ͏ʹઃܭ
• ҝସ5JDLͷΑ͏ͳߴͳॲཧΛ͡Ί͔Βఆ͠ઃܭ • ྫ͑.POHP%#ͱ͔Λ͏ͱ+40/%BUB'SBNFͰࢮ͢ΔɻͦͷίϯόʔτॲཧΛճආ͢ΔͨΊ OVNBSSZͷόΠφϦΫΤϦΛ࠾༻ɺ.BSLFU4UPSFଆͰOVNQZόΠφϦΛ%#ͷόΠφϦߏ͔Βͦͷ ··ੜɺQZUIPOଆH31$ܦ༝Ͱऔಘͨ͠OVNQZόΠφϦΛ%BUB'SBNFͱͯ͠ϩʔυ͢Δ͜ͱͰΦʔ όʔϔουΛۃখԽ͢Δɻ (JUIVC˒,ʹ౸ୡʂʂ ʂ
STRICTLY CONFIDENTIAL 12 ࠷ۙͷ.BSLFU4UPSFͷύϫʔΞοϓ • H31$ʹରԠ • )551ͱൺֱͯ͠ߋʹ"1*ύϑΥʔϚϯε͕վળ σʔλϨίʔυͷΫΤϦʹ͔͔Δ͕࣌ؒ NT
)551 NT H31$ ͘Β͍มΘΔ ߴԽ • ϨϓϦέʔγϣϯػೳ • ෳͷϨϓϦΧʹH31$ TUSFBNΛͬͯσʔλΛෳՄೳ 3FBEύϑΥʔϚϯεͷ্Λͭͭ͠ɺ༗ྉͷσʔλఏڙ"1*Λ༻͢ΔϊʔυΛϚελϊʔ υʹߜΕΔͱ͍ͬͨϝϦοτ • )FMNDIBSUʹରԠ • ,VCFSOFUFT্ͰͷNBSLFUTUPSFߏங͕༰қʹ • 1SPNFUIFVTʹରԠ • ॻ͖ࠐΈॲཧ࣌ؒͳͲ͍͔ͭ͘ͷϝτϦΫεΛ(&5 NFUSJDTͰ 1SPNFUIFVTαʔόʹFYQPSUͰ͖Δ • ࡉ͔ͳύϑΥʔϚϯεվળ • DHP HP͔Β$$ ͷϥΠϒϥϦΛ༻͢Δύοέʔδ ͔Βͷଔۀ • όοϑΝΩϟογϡΛσΟεΫʹॻ͖ࠐΉTZODγεςϜίʔϧͷݺͼग़͠λΠϛϯάͷݟ ͠ͳͲ • ϕϯνϚʔΫιϑτΛಉ࣌ʹ։ൃͯ͠ݕূͭͭ͠վળத
STRICTLY CONFIDENTIAL ࠓޙ׆༂Ͱ͖ΔσʔλΤϯδχΞͷΠϝʔδ ҎԼͷ͕ॏཁ • Ϋϥυٕज़ʹڧ͍ʂ • Ϋϥυͷٕज़ΛͲͷ͘Β͍͏·͘׆༻Ͱ͖Δ͔
• σʔλߏɾσʔλͷߴॲཧͳͲʹڧ͍ʂ • ٕज़બఆɾΫϥυબఆ͢Δ্ͰσʔλͷऔΓѻ͍ٕज़͕ॏཁɺ͠ͷ ͱ͖ʹࣗͰ͔͚Δ͜ͱ͕ڧΈʹͳΔ • σʔλαΠΤϯενʔϜͱಉ͡༻ޠͰͤΔͱڧ͍ʂ • σʔλαΠΤϯενʔϜ͕࡞ͨ͠ϞσϧΛಈ͔͢ͱ͍͏తʹରͯ͠ɺ σʔλαΠΤϯενʔϜͱಉ͡༻ޠͰσΟεΧογϣϯͰ͖Δͱ˕ ͞ΒʹϓϥεΞϧϑΝͰҎԼͷΑ͏ͳਓࡐΛٻΊ͍ͯ·͢ɻ • ΫϥυΛ׆༻ͭͭ͠ɺΤοδͷޮ͍ͨಠٕࣗज़ΛࣗͨͪͰ࡞Γ͍ͨʂ • ߴͳॲཧ͔ͭϛογϣϯΫϦςΟΧϧͳ՝ʹઓ͍ͨ͠ • σʔλΤϯδχΞͱ͍͏৽͍͠ΩϟϦΞΛࣗͰߏங͍ͨ͠ -JOLFE*Oɺ·ͨ8BOUFEMZͰͷԠืΛ͓͓ͪͯ͠Γ·͢ • IUUQTXXXMJOLFEJODPNDPNQBOZBMQBDBKBQBO PSJHJOBM4VCEPNBJOKQ • IUUQTXXXXBOUFEMZDPNDPNQBOJFTBMQBDBEC
STRICTLY CONFIDENTIAL