Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Kaggle の Julia Kernel が動く Docker を 1.0 に対応させる
Search
regonn
September 15, 2018
Technology
0
560
Kaggle の Julia Kernel が動く Docker を 1.0 に対応させる
Workshop in VR #1 での発表
Kaggle の Julia Kernel が動いている Docker ファイルを Julia 1.0 に対応させた話
regonn
September 15, 2018
Tweet
Share
More Decks by regonn
See All by regonn
HelloMoon x Orca=HelloOrca
regonn
0
84
The Challenge of Automatically Configuring Numerai Compute Environment
regonn
0
47
Federated Learning 連合学習
regonn
4
1.4k
PLATEAUをデータベースに取り込んでみた
regonn
0
1.6k
古参Numerai参加者の戯言
regonn
1
2.1k
Nim + Cloud Run + TerraformでGCPにNimのサーバーレス環境を作る
regonn
1
560
S+ Camera Basicと似た環境をラズパイから構築してみる
regonn
0
430
衛星画像のゴルフ場写り込み判定AIモデルを作る
regonn
0
570
データラーニングギルド での活動と今後
regonn
0
93
Other Decks in Technology
See All in Technology
今年のRubyKaigiはProfiler Year🤘
osyoyu
0
360
Microsoft for Startups Founders Hub_20240429 update
daikikanemitsu
1
2.4k
【NW X Security JAWS#3】L3-4:AWS環境のIPv6移行に向けて知っておきたいこと
shotashiratori
1
650
非同期推論システムによるコスト削減と信頼性向上
koki_nishihara
1
360
推しは推せるときに推せ! プロダクトにフィードバックしていこう
nakasho
0
460
実例で紹介するRAG導入時の知見と精度向上の勘所
yamahiro
5
1.6k
いいたいことちゃんという
tkengo
0
230
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
lmi
1
150
よく聞くけど使ったことないソフトウェアNo.1 KafkaとSnowflake
foursue
4
510
Android Target SDK 35 (Android 15) 対応の概要
akkie76
0
160
コードや知識を組み込む / Incorporate Code and knowledge
ks91
PRO
0
150
20分で完全に理解するGrafanaダッシュボード
hamadakoji
5
890
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
325
20k
Being A Developer After 40
akosma
66
580k
The MySQL Ecosystem @ GitHub 2015
samlambert
244
12k
Designing the Hi-DPI Web
ddemaree
276
33k
Mobile First: as difficult as doing things right
swwweet
217
8.6k
Thoughts on Productivity
jonyablonski
60
3.9k
Design by the Numbers
sachag
274
18k
Into the Great Unknown - MozCon
thekraken
14
1k
What the flash - Photography Introduction
edds
64
11k
Navigating Team Friction
lara
179
13k
How to train your dragon (web standard)
notwaldorf
75
5.2k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
126
32k
Transcript
Kaggle の Julia Kernel が動く Docker を1.0 に対応させる Workshop in
VR #1 2018/09/15 れごん
自己紹介 • バーチャル俳人データサイエンティスト ◦ Twitter: @regonn_haizine ◦ フリーランス ◦ 2018/03より松江に移住(Iターン)
◦ データサイエンス ▪ Podcast: regonn&curry.fm ▪ YouTube: 田中TOM ◦ ストロングゼロ ▪ Podcast: 今夜も Strong x Strong ◦ クイズ&ゲーム ▪ YouTube: やってみよう! ◦ 俳句 ▪ YouTube: 恋言(VTuber, VRアカデミア)
今回話すネタ データサイエンス絡みのKaggleとJuliaの話
Kaggle? • 世界中のデータサイエンティストが参加するコミュニティ ◦ 例) 一番猫の画像を探し出す AIを作って精度が一番高い人が優勝 • 常にコンペティションが開催されており、日本人で参加している人も多い ◦
kaggler-jaという日本人のSlackコミュニティもある • ランキング上位者にはメダルがもらえてメダルが貯まると称号が手に入る • 自分の解法を公開(Kernel)することができて、良い解法だとメダルもらえる
Julia? • データサイエンスにおいては、PythonとRという言語が2強 • Pythonのように書きやすく、動作も早い言語が求められてJuliaができた • Pythonを早くするにはライブラリをCやC++実装で書く必要がある • Juliaであれば、ライブラリもJuliaで書いても遅くなりにくい(JIT) •
今後のデータサイエンス分野においても活躍が期待されている
Kaggle と Julia の関係 実はKaggleも以前はJulia(Kernel)に対応していたが、Juliaはで きて日が浅く言語仕様の破壊的変更が多かったためメンテされな くなっている。
普段Julia使っている自分としては他の人のJuliaでの解 法(Kernel)がみたい • 最近Juliaが安定版の1.0.0をリリース ◦ これは、チャンス!!!
Julia 0.6 => 1.0.0 へ プルリク出してる Update to 1.0.0 by
regonn · Pull Request #6 · Kaggle/docker-julia https://github.com/Kaggle/docker-julia/pull/6/files 無反応
主な変更点 (Docker) docker pull ubuntu:16.04 docker pull julia:1.0.0 • 今までubuntuイメージから作って、
juliaをビルドしていたが直接juliaの公 式dockerイメージを使うように • 他のPythonとRでも別のイメージ使っ ているので問題なさそう
主な変更点 (パッケージ管理) metadata_packages = [ "BinDeps", "Bootstrap", …] for package=metadata_packages
Pkg.add(package) end Pkg.add(metadata_packages) • いままで Package 一覧の配列を for 文で回す必要があった • 配列のまま渡しても大丈夫になってる • 0.6 だと REQUIRE ファイルでパッ ケージ管理ができたが、1.0だとUUID も管理するようになったので、このよう にしたほうが良さそう
主な変更点 (パッケージキャッシュ) RUN julia -e "Base.compilecache(\"BinDeps\")" RUN julia -e "Base.compilecache(Base.identify_package(\"BinDeps\"))"
• パッケージのキャッシュを 事前に行う際にはUUIDで 指定する必要がでてきた • identify_packageが公式ド キュメントにも載ってなく て、ここが一番詰んだポイ ント
残TODO • 最近になって 1.0.0 がリリースされたので、まだすべてのパッケージが対応してい ない • Gadfly.jl(グラフ描画)等の人気パッケージも1.0.0未対応だったりするので、これが 解決しないとプルリクは取り込まれなさそう •
けど、今までメンテされていなかったパッケージも1.0.0リリースでメンテされるように なってきている
Kaggle と Julia に明るい未来を! ありがとうございました