Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
為替短期予測を支える基盤技術 - データエンジニアミーティング資料
Search
tomo
February 19, 2021
Technology
4
3.1k
為替短期予測を支える基盤技術 - データエンジニアミーティング資料
Alpacaデータエンジニアミーティング資料
https://finatext.connpass.com/event/202265/
tomo
February 19, 2021
Tweet
Share
More Decks by tomo
See All by tomo
マケデコ プログラミングに頼らないExcelシートと生成AIによる日本株データ分析 発表資料
gamella
1
620
株式のシステムトレード初心者の最初の一歩(評価方法を中心に)
gamella
1
670
アドベントカレンダーのお礼とマーケットAI開発プロジェクトにおけるプロジェクトマネジメントのエッセンス 補講
gamella
1
790
JPX Tokyo Stock Exchange Prediction Award Ceremony 解法総評
gamella
2
2.2k
J-Quants表彰会資料 - 上位入賞者解法総評 #JQuants
gamella
1
2.8k
LDAを利用した予測モデル構築 - J-Quants ニュース分析チャレンジ!発表資料
gamella
1
23k
Other Decks in Technology
See All in Technology
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
3.6k
AWS re:Inventを徹底的に楽しむためのTips / Tips for thoroughly enjoying AWS re:Invent
yuj1osm
1
570
事業者間調整の行間を読む 調整の具体事例
sugiim
0
1.5k
AWS CDKでデータリストアの運用、どのように設計する?~Aurora・EFSの実践事例を紹介~/aws-cdk-data-restore-aurora-efs
mhrtech
4
650
GitHub Universe: Evaluating RAG apps in GitHub Actions
pamelafox
0
180
生成AIと知識グラフの相互利用に基づく文書解析
koujikozaki
1
140
Amazon_CloudWatch_ログ異常検出_導入ガイド
tsujiba
4
1.6k
【若手エンジニア応援LT会】AWS Security Hubの活用に苦労した話
kazushi_ohata
0
170
新卒1年目が挑む!生成AI × マルチエージェントで実現する次世代オンボーディング / operation-ai-onboarding
cyberagentdevelopers
PRO
1
170
フルカイテン株式会社 採用資料
fullkaiten
0
36k
分布で見る効果検証入門 / ai-distributional-effect
cyberagentdevelopers
PRO
4
700
Autify Company Deck
autifyhq
1
39k
Featured
See All Featured
The Invisible Side of Design
smashingmag
297
50k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.1k
Embracing the Ebb and Flow
colly
84
4.4k
BBQ
matthewcrist
85
9.3k
GitHub's CSS Performance
jonrohan
1030
460k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
Build The Right Thing And Hit Your Dates
maggiecrowley
32
2.4k
Facilitating Awesome Meetings
lara
49
6k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.2k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
Building Better People: How to give real-time feedback that sticks.
wjessup
363
19k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Transcript
STRICTLY CONFIDENTIAL σʔλΤϯδχΞ ϛʔτΞοϓࢿྉ ҝସظ༧ଌΛࢧ͑Δج൫ٕज़ "MQBDB+BQBO
STRICTLY CONFIDENTIAL 2
STRICTLY CONFIDENTIAL ਓͱ"*ͱͷίϥϘϨʔγϣϯͰΓ։ۚ͘༥ࢢͷະདྷ $MJFOU`T5FTUJNPOJBMGSPN2VBOUT ༏ΕͨςΫϊϩδʔٙ͏༨͕ແ͍ɻ ͨͩɺͦΕ͚ͩͰύʔτφʔͱͯ͠ෆेɻ ޭ·ͰͷಓͷΓτϥΠΞϯυΤϥʔͷ࿈ଓɻ ࢢͷಾղ͖ͷ७ਮͳϞνϕʔγϣϯɺ͖͋ΒΊͳ͍࢟ɺͦͯ݁͠Ռ ͷڧ͍ͩ͜ΘΓɻ
"MQBDBΛޠΔ࣌ʹͦ͏ͨ͠ཁૉ͔ܽͤͳ͍ɻ ൴Βਅʹ৴པͰ͖Δूஂͩɻ ਓ ˠਓ αΠΤϯςΟετΤϯδχΞͷͷ૿Ճ ԯԁ ૯ௐୡֹ $MJFOU`T5FTUJNPOJBMGSPN5SBEFST lۚ༥ࢢͷະདྷ"*ͱਓͱͷίϥϘϨʔγϣϯʹͦ͋͜Δzͱ͍͏ͷ· ͞ʹࢲڧ͘ڞײ͢ΔίϯηϓτͰ͢ɻੈͷઌΛ͍͘وࣾͷօ༷ʹͲΜͲ Μະདྷ͔ͬͯਐΜͰ͍͖͍ͬͯͨɻ ίϩφՒͷதͰۚ༥ۀքશମͰࠓ·Ͱग़དྷͳ͍ͱࢥ͍ͬͯͨ͜ͱ͕࣮ࡍʹ ͬͯΈΔͱग़དྷͯ͠·͏͜ͱ͕ࢁग़͖͍ͯͯΔͱײ͍ͯ͡·͢ɻͦͷத Ͱ"*ͱਓؒͷίϥϘϨʔγϣϯӹʑ૿͍͑ͯ͘Ͱ͠ΐ͏͠ɺͦ͏͍͏෦ ͕֤اۀͷڝ૪ݯઘʹͳ͍ͬͯ͘ͷͩΖ͏ͱࢥ͍·͢ɻ
STRICTLY CONFIDENTIAL TIPSUUFSNQSFEJDUPST "*Λ׆༻ͨ͠ҝସۀͷࣗಈԽ OFVUSBM EPXO 7JTVBMJTBUJPOPGUIFQSFEJDUJPOPVUQVUT 5IFBDUVBMQSJDFNPWF ༧ଌϞσϧͷ
ଟذʹͬͨ׆༻ ༧ଌϞσϧͷߏங #SPLFS
STRICTLY CONFIDENTIAL ಈ࡞͍ͤͨ͞ҝସظ༧ଌϞσϧͷΠϝʔδ Ϛʔέοτͷ9ޙͷಈ͖Λ༧ଌ͢ΔϞσϧ ͕ͩɺϚʔέοτ΄΅ϥϯμϜΥʔΫΛ͢ ΔͷͰɺ࣮ࡍʹͬͯΈΔͱͱ͍ͯ͠ɻ • "*ɾσΟʔϓϥʔχϯάʹ͍͍ͯΔͷ େྔʹൃੜͨ͠σʔλ͔ΒύλʔϯΛ
୳͢࡞ۀ • Ϛʔέοτʹ͓͍ͯ࠷େྔʹൃੜͯ͠ ͍Δσʔλͳʹ͔ɺͦΕ͕5JDL • େྔͷ5JDLσʔλ͔ΒൃੜύλʔϯΛղ ੳ͠ɺͲͷΑ͏ͳύλʔϯ͕ൃੜͨ͠ͱ ͖ʹϓϥΠε্͕͕Δ͔ɾԼ͕Δ͔Λσ ΟʔϓϥʔχϯάͰֶश 5JDLσʔλͬͯԿʁ 5JDLσʔλ࠷NTFDͰൃੜ͢Δۚ༥ ͷͦΕҎ্ׂͰ͖ͳ͍ϓϥΠεσʔλ ը૾ೝ͚ࣝͷ$//Λ ࣌ܥྻղੳͷωοτϫʔΫͱ֦ͯ͠ு σΟʔϓχϡʔϥϧωοτϫʔΫ͕Ϛʔέο τͷಛతͳ5JDLͷൃੜύλʔϯΛղੳɺ༧ ଌΛग़͍ͯ͠Δɻ ը૾ೝࣝ 5JDLൃੜύλʔ ϯ
STRICTLY CONFIDENTIAL ҝସظ༧ଌͷσʔλॲཧͷϙΠϯτ 処理 キーとなる技術 概要 データのインポート • ArgoWorkflow
• MarketStore データプロパイダーから数百GBのデータ がS3に到着、ArgoWorkflowで生データの パースからMarketstoreへのインポート、 検証、データのデリバリまでを実施 分析と予測モデルの学習 • ArgoWorkflow • MarketStore • JupyterNotebook • GPUクラスタ クレンジング完了後のデータに対して、 GPUクラスタでArgo Workflowを用いてモ デル生成を実施。k8sへ移行したことでリ ソース制御が容易となり他のモデル作成 パイプライン含め数万のjobがk8sによっ て順次実行されている 予測モデルのライブ実行 • MarketStore • AWS ◦ Amazon EKS ◦ SQS 構築された予測モデルを稼働させる基盤 。MarketStoreを活用し、為替のデータプ ロパイダーがmsec単位で送付するTickの データをリアルタイム処理
STRICTLY CONFIDENTIAL ύΠϓϥΠϯͷ 5JDLཤྺσʔλͷΠϯϙʔτ • "SHP8PSLGMPXͰੜσʔλͷύʔε͔Β.BSLFUTUPSFͷΠϯϙʔτɺݕ ূɺσʔλͷσϦόϦ·ͰΛ࣮ࢪ • ҰճͰѻ͏σʔλྔඦ(
• શʹࣗಈͰͳ͘खಈͰύϥϝʔλΛௐ͠ͳ͍ͱ͍͚ͳ͍ͱ͜Ζ͕ ͍ͬͯΔͷ͕՝
STRICTLY CONFIDENTIAL ύΠϓϥΠϯͷ ੳͱ༧ଌϞσϧͷֶश • Ϟσϧͷ࡞طଘύΠϓϥΠϯΛ"SHP8PSLGMPXͷ্ʹ͍ͤͯΔ • طଘύΠϓϥΠϯͷεέδϡʔϥʔͱϫʔΧʔ͕ಛྔੜ͔ΒϞσϧֶश·Ͱ Λ࣮ߦ
• ෳͷ.BSLFUTUPSFΠϯελϯεΛϩʔυόϥϯαͰ੍ޚ͢Δ͜ͱͰɺେͳྔͷಛ ྔੜʹରԠ • αΠΤϯςΟετ+VQZUFSOPUFCPPLΛΫϥελͰىಈͯ͠ɺ࡞ͨ͠Ϟσϧʹ ରͯ͠γʔϜϨεʹੳ࡞ۀΛ࣮ࢪՄೳ
STRICTLY CONFIDENTIAL 9 Alpacaのサイエンスを支えるCPU/GPUクラスタ基盤 • େྔͷ$16(16͕Քಇ͢ΔࣗࣾઃܭͷΫϥ ελج൫ ◦ ,TͰ੍ޚ͞Εɺίετӡ༻Λ࣮ ݱ
◦ ฒྻֶशʹΑΓେྔͷ%FFQ-FBSOJOH ϞσϧΛੜՄೳ 超低コスト運用を実現
STRICTLY CONFIDENTIAL ༧ଌϞσϧੜޙͷύΠϓϥΠϯ ࡞ͨ͠༧ଌϞσϧΛ҆ఆӡ༻ͤ͞Δج൫ٕज़ *OQVU 0VUQVU 1SFEJDUJPO 424
%JTQBUDIFS 3%4 H31 $ -FHFOE DBMMFF DBMMFS #BUDI #BUDI 8FC'SPOUFOE *OUFSGBDF 'JY1SPUPDPM ##0 4FTTJPOT '93BUF ##0 "1*EFMJWFSZ 44& 4FSWFS4FOU&WFOUT "NB[PO .2 '93BUF - 044 .BSLFUTUPS F ,TTFSWJDF 1SFEJDUPS 'JY1SPUPDPM -4FTTJPOT QJQFBEBQUFS 044 .BSLFUTUPS F 1SFEJDUPS 424 1SPUPDPM QJQFGMVFOUE QJQFBEBQUFS QJQFGMVFOUE %JTQBUDIFS #BUDI 8FC'SPOUFOE ,TTFSWJDF ,TTFSWJDF CBDLVQ CBDLVQ IPVSMZ QSJDF EVNQFS NFUSJDTW NFUSJDTW DTWEVNQFS BEBQUFS BEBQUFS 424 1SPUPDPM H31$ H31$
STRICTLY CONFIDENTIAL 044ͱͯ͠ߴ࣌ܥྻσʔλϕʔε.BSLFU4UPSFΛެ։த • "MQBDB+BQBOͱɺถࠃͰ࠷͍ͷ͋Δถࠃג"1*ূ݊"MQBDB64ͱ"MQBDB+BQBOͷڞಉ։ൃ IUUQTHJUIVCDPNBMQBDBIRNBSLFUTUPSF • ΦϯϝϞϦઃܭΛ࠾༻ͤͣɺ44%Ͱ࠷ύϑΥʔϚϯε͕ग़ΔΑ͏ʹઃܭ
• ҝସ5JDLͷΑ͏ͳߴͳॲཧΛ͡Ί͔Βఆ͠ઃܭ • ྫ͑.POHP%#ͱ͔Λ͏ͱ+40/%BUB'SBNFͰࢮ͢ΔɻͦͷίϯόʔτॲཧΛճආ͢ΔͨΊ OVNBSSZͷόΠφϦΫΤϦΛ࠾༻ɺ.BSLFU4UPSFଆͰOVNQZόΠφϦΛ%#ͷόΠφϦߏ͔Βͦͷ ··ੜɺQZUIPOଆH31$ܦ༝Ͱऔಘͨ͠OVNQZόΠφϦΛ%BUB'SBNFͱͯ͠ϩʔυ͢Δ͜ͱͰΦʔ όʔϔουΛۃখԽ͢Δɻ (JUIVC˒,ʹ౸ୡʂʂ ʂ
STRICTLY CONFIDENTIAL 12 ࠷ۙͷ.BSLFU4UPSFͷύϫʔΞοϓ • H31$ʹରԠ • )551ͱൺֱͯ͠ߋʹ"1*ύϑΥʔϚϯε͕վળ σʔλϨίʔυͷΫΤϦʹ͔͔Δ͕࣌ؒ NT
)551 NT H31$ ͘Β͍มΘΔ ߴԽ • ϨϓϦέʔγϣϯػೳ • ෳͷϨϓϦΧʹH31$ TUSFBNΛͬͯσʔλΛෳՄೳ 3FBEύϑΥʔϚϯεͷ্Λͭͭ͠ɺ༗ྉͷσʔλఏڙ"1*Λ༻͢ΔϊʔυΛϚελϊʔ υʹߜΕΔͱ͍ͬͨϝϦοτ • )FMNDIBSUʹରԠ • ,VCFSOFUFT্ͰͷNBSLFUTUPSFߏங͕༰қʹ • 1SPNFUIFVTʹରԠ • ॻ͖ࠐΈॲཧ࣌ؒͳͲ͍͔ͭ͘ͷϝτϦΫεΛ(&5 NFUSJDTͰ 1SPNFUIFVTαʔόʹFYQPSUͰ͖Δ • ࡉ͔ͳύϑΥʔϚϯεվળ • DHP HP͔Β$$ ͷϥΠϒϥϦΛ༻͢Δύοέʔδ ͔Βͷଔۀ • όοϑΝΩϟογϡΛσΟεΫʹॻ͖ࠐΉTZODγεςϜίʔϧͷݺͼग़͠λΠϛϯάͷݟ ͠ͳͲ • ϕϯνϚʔΫιϑτΛಉ࣌ʹ։ൃͯ͠ݕূͭͭ͠վળத
STRICTLY CONFIDENTIAL ࠓޙ׆༂Ͱ͖ΔσʔλΤϯδχΞͷΠϝʔδ ҎԼͷ͕ॏཁ • Ϋϥυٕज़ʹڧ͍ʂ • Ϋϥυͷٕज़ΛͲͷ͘Β͍͏·͘׆༻Ͱ͖Δ͔
• σʔλߏɾσʔλͷߴॲཧͳͲʹڧ͍ʂ • ٕज़બఆɾΫϥυબఆ͢Δ্ͰσʔλͷऔΓѻ͍ٕज़͕ॏཁɺ͠ͷ ͱ͖ʹࣗͰ͔͚Δ͜ͱ͕ڧΈʹͳΔ • σʔλαΠΤϯενʔϜͱಉ͡༻ޠͰͤΔͱڧ͍ʂ • σʔλαΠΤϯενʔϜ͕࡞ͨ͠ϞσϧΛಈ͔͢ͱ͍͏తʹରͯ͠ɺ σʔλαΠΤϯενʔϜͱಉ͡༻ޠͰσΟεΧογϣϯͰ͖Δͱ˕ ͞ΒʹϓϥεΞϧϑΝͰҎԼͷΑ͏ͳਓࡐΛٻΊ͍ͯ·͢ɻ • ΫϥυΛ׆༻ͭͭ͠ɺΤοδͷޮ͍ͨಠٕࣗज़ΛࣗͨͪͰ࡞Γ͍ͨʂ • ߴͳॲཧ͔ͭϛογϣϯΫϦςΟΧϧͳ՝ʹઓ͍ͨ͠ • σʔλΤϯδχΞͱ͍͏৽͍͠ΩϟϦΞΛࣗͰߏங͍ͨ͠ -JOLFE*Oɺ·ͨ8BOUFEMZͰͷԠืΛ͓͓ͪͯ͠Γ·͢ • IUUQTXXXMJOLFEJODPNDPNQBOZBMQBDBKBQBO PSJHJOBM4VCEPNBJOKQ • IUUQTXXXXBOUFEMZDPNDPNQBOJFTBMQBDBEC
STRICTLY CONFIDENTIAL