Upgrade to Pro — share decks privately, control downloads, hide ads and more …

「極意本」サンプルコードをクラウド上で動かそう

 「極意本」サンプルコードをクラウド上で動かそう

- Kaggle Tokyo Meetup 2023 での発表資料: https://connpass.com/event/292810/
- 『Kaggleに挑む深層学習プログラミングの極意』(講談社)のサンプルコード: https://github.com/smly/kaggle-book-gokui
- Kaggle Advent Calendar 2023: https://qiita.com/advent-calendar/2023/kaggle

Shotaro Ishihara

November 23, 2023
Tweet

More Decks by Shotaro Ishihara

Other Decks in Technology

Transcript

  1. 石原祥太郎 https://www.kaggle.com/sishihara
    日本経済新聞社 日経イノベーション・ラボ 主任研究員
    Kaggle Tokyo Meetup 2023、2023 年 11 月 26 日
    「極意本」サンプルコード
    をクラウド上で動かそう
    [Google スポンサーセッション]

    View full-size slide

  2. 2023 年に刊行した『Kaggleに挑む深層学習プログラ
    ミングの極意』(講談社)のサンプルコードを、GPU
    付きのクラウド環境で動かす際の選択肢を解説
    ● Kaggle Notebooks
    ● Google Colab
    ● Vertex AI Workbench
    3
    本発表の概要

    View full-size slide

  3. ● 2017 年 10 月に日経に入社し、Kaggle を開始
    ○ 2018〜2019 年開催のコンペで優勝し 6 月に
    Kaggle Master 昇格
    ○ 2019 年の Kaggle Days Tokyo でコンペ開催
    ● Weekly Kaggle News を毎週更新
    ● 2020〜2023 年に、書籍 3 冊を出版
    4
    私と Kaggle

    View full-size slide

  4. 書籍の出版
    5

    View full-size slide

  5. 6
    ● GitHub に落ちているサンプルコードを動かしたい
    ● GPU 付きのクラウド環境で手軽に試したい
    ● 話すこと:
    ○ Jupyter Notebook 形式の 3 つの選択肢の紹介
    ● 話さないこと:
    ○ VM インスタンス立てて VSCode から ssh で......
    本発表の想定シナリオ

    View full-size slide

  6. 7
    実は、既に提供済み
    https://github.com/smly/kaggle-book-gokui

    View full-size slide

  7. 8
    ①リポジトリのダウンロード
    !git clone https://github.com/smly/kaggle-book-gokui.git
    %cd kaggle-book-gokui/chapter2
    ②ライブラリのインストール
    !pip install -r requirements.txt
    ③ファイルの実行
    !python 00_mlp.py
    GitHub のサンプルコードの動かし方

    View full-size slide

  8. 10

    とは、ならない場合も

    View full-size slide

  9. 11
    ● CPU / GPU の性能(メモリ含む)
    ● ストレージのサイズ
    ● ライブラリのバージョン(CUDA 含む)
    など
    詰まりがちな箇所

    View full-size slide

  10. 12
    紹介する 3 つの選択肢
    サービス 特徴
    Kaggle Notebooks 週単位の無料枠あり、拡張性は低い
    Google Colab 課金版の Pro / Pro+ / Enterprise
    Vertex AI Workbench GCP 内で自由にカスタマイズ可

    View full-size slide

  11. 13
    ● 毎週標準で GPU を 30 時間、
    TPU を 20 時間まで利用可能
    ● 2020 年、需要に応じ週次で
    追加時間が設けられる仕組み
    を導入
    ● 2022 年、RAM が 30 GB に & GPU で P100 か
    T4*2 を選択可能に
    Kaggle Notebooks

    View full-size slide

  12. 14
    Kaggle Notebooks の GPU/TPU 選択肢
    選択肢 時間 VRAM RAM ストレージ コア
    GPU: P100 12 h 15.9 GB 29 GB 73.1 GB 4
    GPU: T4 * 2 12 h 14.8 GB * 2 29 GB 73.1 GB 4
    TPU v3-8 9 h --- 330 GB 56.6 GB 96
    ※ Kaggle Notebooks 上での表示を掲載
    ※ 2023 年 11 月 20 日現在

    View full-size slide

  13. 15
    ● 高頻度(最近は毎週)で Kaggle Notebooks を構
    成するための Docker イメージが更新されている
    [リリースノート]
    ● バージョンの固定も可能
    Kaggle Notebooks のバージョン

    View full-size slide

  14. 16
    ● ブラウザ上の実行環境
    ● Google Drive を簡単にマウントできる
    ● 非技術職の方にも手軽に共有しやすい
    ● さまざまな課金プランを提供
    Google Colab

    View full-size slide

  15. 17
    Google Colab の課金プラン
    課金プラン 概要
    標準 実行時間は 12 h
    Pay As You Go 従量課金
    Colab Pro ¥1179/月、速い GPU、多いメモリ
    Colab Pro+ ¥5767/月、速い GPU
    Colab Enterprise Google Cloud サービスと連携
    ※ 2023 年 11 月 20 日現在

    View full-size slide

  16. 18
    ● 2023 年 11 月、サイド
    バーに環境変数が設定
    できるように
    ● kaggle api 経由で、
    データセットのダウン
    ロードや予測値の提出
    が可能
    環境変数の設定
    https://twitter.com/GoogleColab/st
    atus/1719798406195867814?s=20

    View full-size slide

  17. 19
    ● JupyterLab を独自の設定で起動できる Google
    Cloud サービス
    ● PyTorch や CUDA のバージョンを指定し環境構築
    ● 「Kaggle Python [BETA]」という選択肢も
    ● コア数やメモリも設定できる
    ● 課金額の見積もりが出る
    Vertex AI Workbench

    View full-size slide

  18. GPU 付きのクラウド環境で動かす際の選択肢を解説
    22
    本発表のまとめ
    サービス 特徴
    Kaggle Notebooks 週単位の無料枠あり、拡張性は低い
    Google Colab 課金版の Pro / Pro+ / Enterprise
    Vertex AI Workbench GCP 内で自由にカスタマイズ可

    View full-size slide

  19. 23
    Kaggle Advent
    Calendar 2023
    https://qiita.com/advent-calend
    ar/2023/kaggle

    View full-size slide

  20. 24
    会場&サポート
    提供の Google
    の皆さん👏

    View full-size slide