Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データウェアハウス製品のSnowflakeでPythonが動くって知ってました?

numa
August 29, 2024

 データウェアハウス製品のSnowflakeでPythonが動くって知ってました?

みんなのPython勉強会#107
https://startpython.connpass.com/event/326508/

にて発表に使われた資料
※後半はライブコーディング多めだったため資料単独だと把握しにくい内容かと思います

numa

August 29, 2024
Tweet

More Decks by numa

Other Decks in Technology

Transcript

  1. © 2024 Chura DATA inc. 自己紹介 ちゅらデータ CTO DATUM STUDIO

    執行役員 Snowflake の Data Hero of The Year(2021) SnowVillage の村長 この子は ろあちゃん フォローしてね @foursue #stapy
  2. インフラを用意するのがそれなりに大変 © 2024 Chura DATA inc. 何台用意する? メモリはどれくら い? ディスクはどれくら

    いいる? CPUはどれくらい必 要? お高いんでしょう? 誰がクラスタを作る の? 誰がクラスタを管理 するの?
  3. Snowflakeの外にあるPythonと Snowflakeの外にあるPythonと Snowflakeに組み込む UDF/UDTF 開発場所 WebUI © 2024 Chura DATA

    inc. 全貌??? Python コネクタ Spark用Pythonコ ネクタ Notebook Python Worksheet External Function (Lambda等) ストアドプロ シージャ Snowpark API Snowpark for pandas API Streamlit Snowpark Container Service
  4. Snowflakeの外にあるPythonと Snowflakeの外にあるPythonと Snowflakeに組み込む UDF/UDTF 開発場所 WebUI © 2024 Chura DATA

    inc. 全貌??? Python コネクタ Spark用Pythonコ ネクタ Notebook Python Worksheet External Function (Lambda等) ストアドプロ シージャ Snowpark API Snowpark for pandas API Streamlit Snowpark Container Service いっぱいありすぎて整理できてないんじゃ…?
  5. © 2024 Chura DATA inc. 1. ブラウザでログイン 2. Worksheetを開く 1.

    どのマシンで実行するか選ぶ:ウェアハウス 2. 誰で実行するか選ぶ:ロール 3. どこで実行するか選ぶ:データベース、スキーマ 3. Python書く&実行 WorksheetでPython書く
  6. © 2024 Chura DATA inc. 1. ブラウザでログイン 2. Worksheetを開く 1.

    どのマシンで実行するか選ぶ:ウェアハウス 2. 誰で実行するか選ぶ:ロール 3. どこで実行するか選ぶ:データベース、スキーマ 3. Python書く&実行 WorksheetでPython書く 実際にやってみれば良いんじゃ?
  7. © 2024 Chura DATA inc. ほかで開発したコード持ち込む 1. ステージに.pyおく(zipでもいいよ) • ステージはSnowflakeのファイルを置く場所のこと

    • ステージ=上げる手前 2. UIからpackage選ぶ 3. importする 実際にやってみれば良いんじゃ? (2回目)
  8. © 2024 Chura DATA inc. ここで唐突な宣伝 https://2024.pycon.jp/ja 2024 9.27 FRI

    -29 SUN PyCon JP 2024 があるよ SnowflakeがStreamlitの ブースを出すらしい! ほんとかわからないので、 お前の目で確かめろ!!!