Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Kaggle の Julia Kernel が動く Docker を 1.0 に対応させる
Search
regonn
September 15, 2018
Technology
0
680
Kaggle の Julia Kernel が動く Docker を 1.0 に対応させる
Workshop in VR #1 での発表
Kaggle の Julia Kernel が動いている Docker ファイルを Julia 1.0 に対応させた話
regonn
September 15, 2018
Tweet
Share
More Decks by regonn
See All by regonn
Submission with Numerai Compute using GCP Batch
regonn
0
570
HelloMoon x Orca=HelloOrca
regonn
0
140
The Challenge of Automatically Configuring Numerai Compute Environment
regonn
0
97
Federated Learning 連合学習
regonn
4
1.7k
PLATEAUをデータベースに取り込んでみた
regonn
0
1.8k
古参Numerai参加者の戯言
regonn
1
2.5k
Nim + Cloud Run + TerraformでGCPにNimのサーバーレス環境を作る
regonn
1
650
S+ Camera Basicと似た環境をラズパイから構築してみる
regonn
0
520
衛星画像のゴルフ場写り込み判定AIモデルを作る
regonn
0
780
Other Decks in Technology
See All in Technology
Optuna DashboardにおけるPLaMo2連携機能の紹介 / PFN LLM セミナー
pfn
PRO
1
880
GA technologiesでのAI-Readyの取り組み@DataOps Night
yuto16
0
270
M5製品で作るポン置きセルラー対応カメラ
sayacom
0
150
about #74462 go/token#FileSet
tomtwinkle
1
310
AI時代だからこそ考える、僕らが本当につくりたいスクラムチーム / A Scrum Team we really want to create in this AI era
takaking22
6
3.4k
FastAPIの魔法をgRPC/Connect RPCへ
monotaro
PRO
1
740
それでも私はContextに値を詰めたい | Go Conference 2025 / go conference 2025 fill context
budougumi0617
4
1.2k
GC25 Recap+: Advancing Go Garbage Collection with Green Tea
logica0419
1
410
KAGのLT会 #8 - 東京リージョンでGAしたAmazon Q in QuickSightを使って、報告用の資料を作ってみた
0air
0
200
自作LLM Native GORM Pluginで実現する AI Agentバックテスト基盤構築
po3rin
2
250
Trust as Infrastructure
bcantrill
0
340
SoccerNet GSRの紹介と技術応用:選手視点映像を提供するサッカー作戦盤ツール
mixi_engineers
PRO
1
170
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.7k
Balancing Empowerment & Direction
lara
4
680
Typedesign – Prime Four
hannesfritz
42
2.8k
The Straight Up "How To Draw Better" Workshop
denniskardys
237
140k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
114
20k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.7k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
32
2.2k
GraphQLとの向き合い方2022年版
quramy
49
14k
Transcript
Kaggle の Julia Kernel が動く Docker を1.0 に対応させる Workshop in
VR #1 2018/09/15 れごん
自己紹介 • バーチャル俳人データサイエンティスト ◦ Twitter: @regonn_haizine ◦ フリーランス ◦ 2018/03より松江に移住(Iターン)
◦ データサイエンス ▪ Podcast: regonn&curry.fm ▪ YouTube: 田中TOM ◦ ストロングゼロ ▪ Podcast: 今夜も Strong x Strong ◦ クイズ&ゲーム ▪ YouTube: やってみよう! ◦ 俳句 ▪ YouTube: 恋言(VTuber, VRアカデミア)
今回話すネタ データサイエンス絡みのKaggleとJuliaの話
Kaggle? • 世界中のデータサイエンティストが参加するコミュニティ ◦ 例) 一番猫の画像を探し出す AIを作って精度が一番高い人が優勝 • 常にコンペティションが開催されており、日本人で参加している人も多い ◦
kaggler-jaという日本人のSlackコミュニティもある • ランキング上位者にはメダルがもらえてメダルが貯まると称号が手に入る • 自分の解法を公開(Kernel)することができて、良い解法だとメダルもらえる
Julia? • データサイエンスにおいては、PythonとRという言語が2強 • Pythonのように書きやすく、動作も早い言語が求められてJuliaができた • Pythonを早くするにはライブラリをCやC++実装で書く必要がある • Juliaであれば、ライブラリもJuliaで書いても遅くなりにくい(JIT) •
今後のデータサイエンス分野においても活躍が期待されている
Kaggle と Julia の関係 実はKaggleも以前はJulia(Kernel)に対応していたが、Juliaはで きて日が浅く言語仕様の破壊的変更が多かったためメンテされな くなっている。
普段Julia使っている自分としては他の人のJuliaでの解 法(Kernel)がみたい • 最近Juliaが安定版の1.0.0をリリース ◦ これは、チャンス!!!
Julia 0.6 => 1.0.0 へ プルリク出してる Update to 1.0.0 by
regonn · Pull Request #6 · Kaggle/docker-julia https://github.com/Kaggle/docker-julia/pull/6/files 無反応
主な変更点 (Docker) docker pull ubuntu:16.04 docker pull julia:1.0.0 • 今までubuntuイメージから作って、
juliaをビルドしていたが直接juliaの公 式dockerイメージを使うように • 他のPythonとRでも別のイメージ使っ ているので問題なさそう
主な変更点 (パッケージ管理) metadata_packages = [ "BinDeps", "Bootstrap", …] for package=metadata_packages
Pkg.add(package) end Pkg.add(metadata_packages) • いままで Package 一覧の配列を for 文で回す必要があった • 配列のまま渡しても大丈夫になってる • 0.6 だと REQUIRE ファイルでパッ ケージ管理ができたが、1.0だとUUID も管理するようになったので、このよう にしたほうが良さそう
主な変更点 (パッケージキャッシュ) RUN julia -e "Base.compilecache(\"BinDeps\")" RUN julia -e "Base.compilecache(Base.identify_package(\"BinDeps\"))"
• パッケージのキャッシュを 事前に行う際にはUUIDで 指定する必要がでてきた • identify_packageが公式ド キュメントにも載ってなく て、ここが一番詰んだポイ ント
残TODO • 最近になって 1.0.0 がリリースされたので、まだすべてのパッケージが対応してい ない • Gadfly.jl(グラフ描画)等の人気パッケージも1.0.0未対応だったりするので、これが 解決しないとプルリクは取り込まれなさそう •
けど、今までメンテされていなかったパッケージも1.0.0リリースでメンテされるように なってきている
Kaggle と Julia に明るい未来を! ありがとうございました