「極意本」サンプルコードをクラウド上で動かそう

- Kaggle Tokyo Meetup 2023 での発表資料: https://connpass.com/event/292810/
- 『Kaggleに挑む深層学習プログラミングの極意』（講談社）のサンプルコード: https://github.com/smly/kaggle-book-gokui
- Kaggle Advent Calendar 2023: https://qiita.com/advent-calendar/2023/kaggle

Transcript

1. 石原祥太郎 https://www.kaggle.com/sishihara 日本経済新聞社 日経イノベーション・ラボ 主任研究員 Kaggle Tokyo Meetup 2023、2023 年 11 月 26 日 「極意本」サンプルコード をクラウド上で動かそう [Google スポンサーセッション]
3. 2023 年に刊行した『Kaggleに挑む深層学習プログラ ミングの極意』（講談社）のサンプルコードを、GPU 付きのクラウド環境で動かす際の選択肢を解説 • Kaggle Notebooks • Google Colab • Vertex AI Workbench 3 本発表の概要
4. • 2017 年 10 月に日経に入社し、Kaggle を開始 ◦ 2018〜2019 年開催のコンペで優勝し 6 月に Kaggle Master 昇格 ◦ 2019 年の Kaggle Days Tokyo でコンペ開催 • Weekly Kaggle News を毎週更新 • 2020〜2023 年に、書籍 3 冊を出版 4 私と Kaggle
5. 書籍の出版 5
6. 6 • GitHub に落ちているサンプルコードを動かしたい • GPU 付きのクラウド環境で手軽に試したい • 話すこと： ◦ Jupyter Notebook 形式の 3 つの選択肢の紹介 • 話さないこと： ◦ VM インスタンス立てて VSCode から ssh で...... 本発表の想定シナリオ
7. 7 実は、既に提供済み https://github.com/smly/kaggle-book-gokui
8. 8 ①リポジトリのダウンロード !git clone https://github.com/smly/kaggle-book-gokui.git %cd kaggle-book-gokui/chapter2 ②ライブラリのインストール !pip install -r requirements.txt ③ファイルの実行 !python 00_mlp.py GitHub のサンプルコードの動かし方
9. 9 完
10. 10 完 とは、ならない場合も
11. 11 • CPU / GPU の性能（メモリ含む） • ストレージのサイズ • ライブラリのバージョン（CUDA 含む） など 詰まりがちな箇所
12. 12 紹介する 3 つの選択肢 サービス 特徴 Kaggle Notebooks 週単位の無料枠あり、拡張性は低い Google Colab 課金版の Pro / Pro+ / Enterprise Vertex AI Workbench GCP 内で自由にカスタマイズ可
13. 13 • 毎週標準で GPU を 30 時間、 TPU を 20 時間まで利用可能 • 2020 年、需要に応じ週次で 追加時間が設けられる仕組み を導入 • 2022 年、RAM が 30 GB に & GPU で P100 か T4*2 を選択可能に Kaggle Notebooks
14. 14 Kaggle Notebooks の GPU/TPU 選択肢 選択肢 時間 VRAM RAM ストレージ コア GPU: P100 12 h 15.9 GB 29 GB 73.1 GB 4 GPU: T4 * 2 12 h 14.8 GB * 2 29 GB 73.1 GB 4 TPU v3-8 9 h --- 330 GB 56.6 GB 96 ※ Kaggle Notebooks 上での表示を掲載 ※ 2023 年 11 月 20 日現在
15. 15 • 高頻度（最近は毎週）で Kaggle Notebooks を構 成するための Docker イメージが更新されている [リリースノート] • バージョンの固定も可能 Kaggle Notebooks のバージョン
16. 16 • ブラウザ上の実行環境 • Google Drive を簡単にマウントできる • 非技術職の方にも手軽に共有しやすい • さまざまな課金プランを提供 Google Colab
17. 17 Google Colab の課金プラン 課金プラン 概要 標準 実行時間は 12 h Pay As You Go 従量課金 Colab Pro ¥1179/月、速い GPU、多いメモリ Colab Pro+ ¥5767/月、速い GPU Colab Enterprise Google Cloud サービスと連携 ※ 2023 年 11 月 20 日現在
18. 18 • 2023 年 11 月、サイド バーに環境変数が設定 できるように • kaggle api 経由で、 データセットのダウン ロードや予測値の提出 が可能 環境変数の設定 https://twitter.com/GoogleColab/st atus/1719798406195867814?s=20
19. 19 • JupyterLab を独自の設定で起動できる Google Cloud サービス • PyTorch や CUDA のバージョンを指定し環境構築 • 「Kaggle Python [BETA]」という選択肢も • コア数やメモリも設定できる • 課金額の見積もりが出る Vertex AI Workbench
22. GPU 付きのクラウド環境で動かす際の選択肢を解説 22 本発表のまとめ サービス 特徴 Kaggle Notebooks 週単位の無料枠あり、拡張性は低い Google Colab 課金版の Pro / Pro+ / Enterprise Vertex AI Workbench GCP 内で自由にカスタマイズ可
23. 23 Kaggle Advent Calendar 2023 https://qiita.com/advent-calend ar/2023/kaggle
24. 24 会場＆サポート 提供の Google の皆さん👏