Snowflake Openflow さわってみた

2025.10.01 Snowflake 中部ユーザ会 #5
https://techplay.jp/event/985802

Transcript

1. Snowflake Openflow さわってみた 2025.10.01 Snowflake 中部ユーザ会 #5 Yuki Ishikawa / @hoto17296
2. 注意事項 この資料のコンテンツは2025年8月に作られたものであり 2025年10月の時点でも既にちょっと情報が古いので お気をつけください
3. AGENDA 1. Openflow 概要 2. Openflow を試しに動かす (環境構築編) 3. Openflow を試しに動かす (データ取り込み編) 4. 所感
4. Openflow 概要
5. Snowflake Openflow の概念 2025年6月に発表された新機能 あらゆる場所から Snowflake にデータを集約するための ETL ツール
6. Snowflake Openflow の実体 • Apache NiFi (ﾆｰﾌｨｰ) • データフローオーケストレーションツール • SaaS とかのデータを「コネクタ」でとりにいったり、ワークフローを組んだり • 動作するインフラ • 現時点では AWS 上での Bring Your Own Cloud (BYOC) 版のみサポートされている • Kubernetes クラスタを自分で用意しないといけない • 公式ドキュメントの手順に従ってつくると Amazon EKS が作成される • 使用する VPC は「Openflow 用 (managed) を作る」か「既存の VPC に載せる」か選べる • 今後 Snowpark Container Services (SPCS) 版も出る予定らしい？ Snowflake Openflow の実体は Kubernetes 上で動く Apache NiFi
7. イメージ図 Snowflake とは別のところに Kubernetes クラスタがいて、そこで ETL 処理が実行される Kubernetes クラスタ (= Deloyment) Snowflake Runtime 他の Runtime Manager Connector • 外部リソースへの接続情報 • その他、各種設定 外部リソース User / Role Openflow 利用ユーザ • Type = PERSON • Openflow に関する権限をつける Openflow Runtime 用ユーザ • Type = SERVICE • 実行したいタスクに必要な権限をつける Database / Schema / Table • データの取り込み先 API
8. Openflow を試しに動かす (環境構築編)
9. 開始！ まずは Openflow 管理用のページにアクセスする Snowsight 上に管理画面があるわけではなく Openflow 管理用の別サイトに飛ばされる (なんで？)
10. Deployment 作成 K8s クラスタを動かす場所を選ぶ (いまはまだ AWS しか選べない) VPC どうするか選ぶ Managed のほうが簡単 Openflow 管理者に割り当てる Role を指定する (作っておく) PrivateLink もできる
11. EKS クラスタ作成 (1/2) AWS Cloud Formation の スタックテンプレートが生成される スタックテンプレートを使用して リソースを作成する (まだ EKS 作られない) スタックテンプレートの パラメータはほとんど いじらなかった
12. EKS クラスタ作成 (2/2) EC2 インスタンス内で OpenTofu (≒ Terraform) が 動いて EKS クラスタが作られる 1時間くらいかかる…
13. Deployment が正常かどうか確認 (おそらく) EKS クラスタ内の Manager ノードが 「この Deployment は起動しているぞ」と ping を送ってきている (それが確認できると Active になる)
14. Runtime を作成する Deployment さえできてしまえば Runtime の作成は超簡単
15. Runtime の Canvas 画面を開く (たぶん) Runtime 側が OAuth クライアントになっていて Snowflake アカウントを使用して OAuth 認証している この Canvas 画面が開けたなら 環境構築は完了ってことで良さそう
16. Openflow を試しに動かす (データ取り込み編)
17. 今回やりたいこと Google Sheets の内容を Snowflake のテーブルに取り込む 本当は「Drive 全部を Cortex Search に取り込んで RAG チャットボット」 をやりたかったけど挫折した
18. 使用するコネクタの公式ドキュメント https://docs.snowflake.com/en/user-guide/data-integration/openflow/connectors/google-sheets/setup
19. Google Cloud でプロジェクトとサービスアカウントを作成する
20. サービスアカウントのキー (JSON) を生成する このキーを使用することで Openflow の Runtime は サービスアカウントの権限で Google Cloud にアクセスできる
21. サービスアカウントにファイルの閲覧権限を付与
22. Google Sheets コネクタを Runtime に追加 この中から「Google Sheets」コネクタを 選択して Runtime に追加する ※ スクショ撮り忘れた
23. コネクタがキャンバスに追加された
24. コネクタの各種パラメータを設定する 設定項目いろいろある • Google Cloud にアクセスするサービスアカウントの認証情報 • 取り込む対象ファイルの ID • Snowflake にアクセスするユーザの認証情報 • 取り込み先のデータベース情報
25. いざ起動 まずは全ての コントローラサービスを 有効化する コネクタを起動
26. うわあああああああああああ 右上の赤いところにマウスオーバーすると エラー詳細が出る これは 「Google Sheets API が使えない」 というエラーっぽい
27. プロジェクトで Google Sheets API を使用できるようにする この手順、公式ドキュメントに書いてなかった ※ 2025年8月時点
28. もろもろ割愛 このあと２時間くらい さまざまなエラーと格闘
29. なんか動いているっぽい！
30. きたああああああああ
31. 所感
32. 所感 • 競合製品 (Trocco とか) との比較はできない、もうしわけない… • 「試しに動かしてみる」までのハードルまぁまぁ高い • SPCS 版はやく出てほしい、マジで • 外部サービス連携するツールなのだからコネクタ設定周りが複雑なのはもう仕方ない、頑張るしかない • 一度仕組みを作ってしまえばあとは簡単で便利なのかもしれない 今回「データを取り込む」だけならプログラムは一切書かずに済んだ • EKS クラスタを数日放置しただけでまぁまぁかかった… ($) • 動かしっぱなしだと月10万円以上かかりそう • EKS は「リソースを止めておく」のも手間なので、趣味で遊ぶにはちょっときびしい • SPCS 版はやく出てほしい、マジで (料金体系どうなるかしらんけど) 便利っぽいんだけど導入ハードルが高いので SPCS 版はやく出てほしい！！ 「まぁまぁかかった」の様子
33. ところが…?
34. SPCS 対応きました ※ 2日前