Python と Snowflake はズッ友だょ！~ Snowflake の Python 関連機能をふりかえる ~

2024/04/22「 PyData Okinawa Meetup #42」登壇資料です。

Transcript

1. Python と Snowflake は ズッ友だょ！ ~ Snowflake の Python 関連機能をふりかえる ~ DATUM STUDIO株式会社 梶谷 美帆 2024/04/22
2. © 2024 DATUM STUDIO Co. Ltd. 自己紹介 【名前】 梶谷 美帆 / Miho Kajiya またの名を「あれ（@__allllllllez__）」 広報さんに超カッコよく撮影していただいた 【所属】 DATUM STUDIO株式会社 データエンジニアリング本部 2024 Data Superheroes Data Superhero のすがた
3. © 2024 DATUM STUDIO Co. Ltd. Python と Snowflake
4. © 2024 DATUM STUDIO Co. Ltd. 実は、Snowflake には Python で使える強力な機能が たくさんあるのです
5. © 2024 DATUM STUDIO Co. Ltd. 5 Python と Snowflake 実は、Snowflake には Pythonで使える強力な機能がたくさんあるのです • Snowflake Connector for Python • Snowpark for Python • Python UDFs / UDTFs • Snowpark Stored Procedures for Python • Streamlit in Snowflake • Python Worksheet • Snowpark ML • Snowflake API for Python • Snowflake Notebook（2024/4/22時点でプライベートプレビュー） 思ったより多い、そして似た名前が多い
6. © 2024 DATUM STUDIO Co. Ltd Python と Snowflake ~ 機能編 Snowflake Connector for Python ✓ 最も基本的なライブラリ。SQL 実行により全ての標準操作を行える Snowpark for Python ✓ Spark ライクな Dataframe API でデータ操作を行えるライブラリ。UDFs / UDTFs、SPROCの開発を簡単にするAPIも提供されており、Python 開発に便利 Streamlit in Snowflake ✓ Streamlit によるデータアプリケーションを Snowflake 上で実行、操作できる 各機能を簡単に説明するとこんな感じ Python Worksheet ✓ Snowflake UI上で Python ストアドプロシージャを作成・実行できるエディタ Snowpark ML ✓ 前処理、学習と推論、管理、モデルの展開をすべてSnowflake内で実行可能とな るライブラリ。Snowpark ML Development と Snowpark ML Ops からなる Snowflake API for Python ✓ Snowflake オブジェクトの管理を主とするライブラリ。タスクグラフやコンテナ （SPCS）などをコードで管理可能になる、DevOps に向けたパッケージ Snowflake Notebook ✓ いわゆる Notebook。Snowflake UI上でインタラクティブに Python・SQL の実 行、可視化が可能になる
7. © 2024 DATUM STUDIO Co. Ltd. 7 Summit 2022/06 発表/PrPr 2023/03 PuPr 2024/02 GA Python Worksheet Python と Snowflake ~ 歴史編 Snowflake 公開以来、多くの Python 関連機能が追加されてきました。特に 2022 年の Snowflake Summit 以降は続々と新機能が発表されています GA：一般提供 PuPr：公開プレビュー PrPr：非公開プレビュー Summit Summit 2021 発表/PrPr 2022/06 PuPr 2022/11 GA Snowpark for Python & Python UDFs / UDTFs, Stored Proceduresなどなど 2022/06 発表/PrPr 2023/09 PuPr 2023/12 GA（AWS） Streamlit in Snowflake 2023/06 PuPr 2024/01 GA （Modeling API のみ） Snowpark ML 2024/01 PuPr Snowflake API for Python 2023/11 発表/PrPr Snowflake Notebook 2015/12 GA Snowflake Connector for Python 2022 2023 2024 Snow day
8. © 2024 DATUM STUDIO Co. Ltd. Python と Snowflake で 実際、何ができる？
9. © 2024 DATUM STUDIO Co. Ltd. Snowflake と Python でできること • Streamlit in Snowflake で外部 からデータロードするアプリ • APIのURLと、APIのホストを許 可するExternal Access integrationを指定して、ポチッ とな！するだけ
10. © 2024 DATUM STUDIO Co. Ltd. Snowflake と Python でできること • Snowpark Container Services で Snowflake に JupyterLab 環 境を構築 • Snowflake で完結する Python 分析環境、できちゃいます
11. © 2024 DATUM STUDIO Co. Ltd. 今後の Python 関連アップデート展望
12. © 2024 DATUM STUDIO Co. Ltd. 今後の Python 関連アップデート展望 6月に開催する Data Cloud Summit 2024。「Python Data Pipelines」セッションの予定あり
13. © 2024 DATUM STUDIO Co. Ltd. 今後の Python 関連アップデート展望 6月に開催する Data Cloud Summit 2024。「Python Data Pipelines」セッションの予定あり ＼ ＼DevOps、分析、データエンジニアリングで怒涛のアップデートの予感！／ ／ Python API、native Notebook、パイプライン運用のための最新機能
14. © 2024 DATUM STUDIO Co. Ltd. これからも Python で使える 機能がどんどん増えていきそう
15. © 2024 DATUM STUDIO Co. Ltd. Snowflake と Python はこれからもずっと 一緒ってコト…？
16. © 2024 DATUM STUDIO Co. Ltd. Snowflake と Python は ズッ友だょ！！！
17. © 2024 DATUM STUDIO Co. Ltd. おしまい