Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Jupyter Notebook Ops
Search
Atsushi Sumita
February 26, 2021
1
220
Jupyter Notebook Ops
効率よくJuptyer Notebookで開発したいよねというお話
Atsushi Sumita
February 26, 2021
Tweet
Share
More Decks by Atsushi Sumita
See All by Atsushi Sumita
Redshift Serverless vs Snowflake 徹底比較!
yummydum
1
2.4k
最強?のデータ組織アーキテクチャ
yummydum
2
580
データチームの境界を考える
yummydum
0
960
データを開発するためのDataOps
yummydum
1
950
SNLP presentation 20190928
yummydum
0
330
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.1k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
Become a Pro
speakerdeck
PRO
27
5.2k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
GraphQLとの向き合い方2022年版
quramy
45
14k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
12
1.4k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.3k
Why Our Code Smells
bkeepers
PRO
336
57k
It's Worth the Effort
3n
184
28k
Fireside Chat
paigeccino
37
3.3k
Transcript
Copyright(C) Nowcast, Inc. All rights reserved. Nowcast Jupyter Notebook Ops
2021年02⽉26⽇ 株式会社 Nowcast 隅⽥ 敦
Copyright(C) Nowcast, Inc. All rights reserved. 2 ⾃⼰紹介 @yummydum
Copyright(C) Nowcast, Inc. All rights reserved. 3 株式会社ナウキャストの紹介 資料はこちら→
Copyright(C) Nowcast, Inc. All rights reserved. 4 nParametrization by Papermill
lノートブックをパラメタ化し使い回せるようにする nCommunication by Commuter lノートブックを素早く⼿軽に共有する Jupyter Notebookによる分析や実験を効率よく運⽤・管理したい まだあるよ→
Copyright(C) Nowcast, Inc. All rights reserved. 5 n ナウキャストではPOSデータやクレジットカードデータを⽤いて企業の売上予測をしています l
証券コード毎に詳細な分析(企業,事業,商品,イベント…) l 対象とする証券コードが200個,1つのノートブックの実⾏に15分なら50時間かかってしまう l データセットはどんどん新しくなるので定期的に再実⾏する必要がある Parametrization by Papermill パラメタを⼀つのセル にまとめparameters タグをつけておく Papermillが 挿⼊したセル ノートブックをパラメタ化して並列分散処理しよう! Papermill: ノートブックにパラメタを設定し実⾏してくれるライブラリ
Copyright(C) Nowcast, Inc. All rights reserved. 6 Parametrization by Papermill
Copyright(C) Nowcast, Inc. All rights reserved. 7 n ノートブックの共有は地味に⾯倒くさい l
誰もが.ipynbを開けるとは限らない l ノートブックを開くたびにファイルの差分が⽣じるのでGitと相性が悪い l Githubに上げるにはファイルサイズが⼤きい l 数百のノートブックを⼿渡しするのは… n Commuter l ローカル・S3からノートブックを読み込みhtmlに変換してくれるwebサーバー l 誰でもブラウザからノートブックを閲覧出来る! Communication by Commuter
Copyright(C) Nowcast, Inc. All rights reserved. 8 Demo: diamond EDA
for different colors
Copyright(C) Nowcast, Inc. All rights reserved. 9 https://github.com/yummydum/jupyter-notebook-ops ⼿元で動かしてみよう! サンプルコード
Copyright(C) Nowcast, Inc. All rights reserved. 10 Notebook infrastructure example
ブラウザから最新の ノートブック⼀覧を いつでも⾒れる! データの更新に 合わせてノートブック を定期的に更新 ワークステーションで アドホック分析 (EFSをマウント) パラメタ化+ 並列分散処理
Copyright(C) Nowcast, Inc. All rights reserved. 11 参考: Netflixのノートブックインフラ https://netflixtechblog.com/notebook-innovation-591ee3221233?gi=19cdf66a04b4
Copyright(C) Nowcast, Inc. All rights reserved. 12 We are hiring!
資料はこちら(⼤事なことなので以下略)→
None