Snowflake Openflow は 「難しい」と思っているあなたへ ～あらゆるデータを「簡単に」連携できる理由、お見せします～

2025年12月12日 Snowflake BUILD JAPAN ONLINE での登壇資料です。

Transcript

1. © 2025 Snowflake Inc. All Rights Reserved ～あらゆるデータを「簡単に」連携できる 理由、お見せします～ Snowflake Openflow は 「難しい」と思っているあなたへ あれ（梶谷 美帆） Data Superhero
2. © 2025 Snowflake Inc. All Rights Reserved 自己紹介 広報さんにカッコよく撮影していただいた 【所属】 DATUM STUDIO株式会社 データエンジニアリング本部 データエンジニア1部2G GL/プリンシパルエンジニア 【ユーザーコミュニティ】 ✓ Snowflake ユーザーグループ(SnowVillage) 運営企 画チーム(Mayors) / 女子会幹事 / コンテナグループ リーダー ✓ primeNumber User Group(pUG) リーダー 【名前】 あれ / 梶谷 美帆 / Miho Kajiya 2024-2025 Snowflake Data Superheroes primeNumber DATA CHAMPIONS 2025 Data Superhero のすがた primeNumber DATA CHAMPIONS のすがた
3. © 2025 Snowflake Inc. All Rights Reserved Agenda 3 Snowflake Openflow とは まとめ 簡単！Openflow ～ 設定編 簡単！Openflow ～ 連携編
4. © 2025 Snowflake Inc. All Rights Reserved Snowflake Openflow とは
5. © 2025 Snowflake Inc. All Rights Reserved 概要：Snowflake Openflow とは あらゆるデータソースとの連携を Snowflake 上でシームレスに実現 概要 ✓ 構造化、非構造化、バッチ、ストリーミングなど、 あらゆるデータタイプをサポートする統合サービス ✓ Apache NiFi ベースのマネージドサービス 特徴① 豊富なコネクタ ✓ 数百のコネクタがすぐに利用可能。Box、Microsoft SharePoint、Oracle、MySQL、Google Spreadsheet、 など ✓ 基本的な処理のコンポーネント（プロセッサ）が充実。 カスタム不要で利用でき、ノーコード開発が可能 特徴② AI にやさしい（人間にもやさしい） ✓ ドキュメントデータ取り込み時、テキスト抽出、解 析、チャンク化、Emebedding などの処理も行う ✓ AI が（人間も）すぐ利用できる形式にしてくれる https://www.snowflake.com/ja/blog/empowering-data-engineers/ より 特徴③ セキュリティとガバナンス ✓ 認証・認可・転送中の暗号化、シークレット管理に よるセキュリティの担保 ✓ ユーザーの環境で実行することも可能（BYOC） ✓ AWS PrivateLink、Tri-Secure もサポート
6. © 2025 Snowflake Inc. All Rights Reserved 6 多数のサービスと統合を可能に。無限の扉を解き放て Snowflake Openflow で繋がる Snowflake BULD 2025 「Building AI-Powered Pipelines: A Deep Dive into Snowflake Openflow with Unstructured Data」より https://www.snowflake.com/en/build/americas/agenda?agendaPath=session/1763437
7. © 2025 Snowflake Inc. All Rights Reserved アーキテクチャ 7 https://www.snowflake.com/ja/blog/empowering-data-engineers/ より https://www.snowflake.com/ja/blog/openflow- revolutionizes-data-movement-ai/ より 主なコンポーネント ✓ デプロイメント：Openflow を実行する環境をどこにす る・どう配置するか定義する。BYOC（Bring Your Own Cloud）と Snowflake デプロイメントから選択 ✓ データプレーン：Openflow のデータ処理が実行される 場所。BYOC の場合はユーザー自身の環境のVPC、 Snowflake デプロイメントでは SPCS（Snowpark Container Services） ✓ コントロールプレーン：データプレーンとランタイムを 管理・オーケストレーションする制御担当 ✓ ランタイム：デプロイメント上でデータ処理を実行する。 処理を実行するノードのスペック、ノード数、利用する コネクタなどからなる
8. © 2025 Snowflake Inc. All Rights Reserved 8 アーキテクチャ – BYOC デプロイメント https://www.phdata.io/blog/snowflake-openflow-explained-the-new-standard- for-data-extraction-and-movement/ より BYOC デプロイメント（AWS）の特徴 ✓ AWS に VPC を立て、これをデータプレーンと して使用 ✓ VPC 内に EC2 を立てる。データプレーンの管 理者としてふるまう ✓ ランタイムの役割は EKS が担う ✓ …というリソースを一括で作成する CFn テンプ レートを Snowflake が提供
9. © 2025 Snowflake Inc. All Rights Reserved 9 アーキテクチャ – Snowflake デプロイメント Snowflake Openflow Openflow UI Snowpark Container Services Compute Pool Runtime#1 Runtime#2 External Access Integration Network Policy (Egress) Snowflake デプロイメントの特徴 ✓ SPCS をデータプレーンとして使用 ✓ ランタイムの役割はコンピュートプ ールが担う ✓ …というリソースの構築をコンソー ル操作だけで完結
10. © 2025 Snowflake Inc. All Rights Reserved 10 Snowflake における構成要素 Snowflake Openflow Openflow UI Snowpark Container Services Compute Pool Runtime#1 Runtime#2 External Access Integration Network Policy (Egress) Snowpipe Streaming Cortex AI function データソースによっては 他のSnowflake機能を利用し 「いい感じ」に連携してくれる！
11. © 2025 Snowflake Inc. All Rights Reserved コスト（参考値） Smallランタイムx1を作成した場合 AWS 東京リージョン Standard、Business Critical で試算 データ取り込み、インジェスト、テレメトリのコストは集計外 https://www.snowflake.com/legal-files/CreditConsumptionTable.pdf ✓ 0.54 クレジット/日 • 0.0225（BYOC デプロイメン ト）* 24（時間）≒ 0.54 ク レジット ✓ 2.6 クレジット/日 • 0.11（Snowflake デプロイ メント→CPU_X64_S）* 24 （時間）≒ 2.6 クレジット コントロールプレーン ✓ EC2 ： $20.06/日 • m7i-2xlarge（管理担当） • m7i-xlarge（ランタイム担当） • t3.medium（インフラ担当） ✓ EKS：＄2.4/日 ※Smallの場合 ※VPC、S3、SecretManager なども作っているが省略 ✓ ランタイム： 2.6 クレジット/日 ※Smallの場合 インフラストラクチャ $24/日～$25.538/日 $719.97/月～$766.14/月 合計 $14.82/日～$29.64/日 $444.6/月～$889.2/月 BYOC Snowflake デプロイメント
12. © 2025 Snowflake Inc. All Rights Reserved 簡単！Openflow ～ 構築編 難しくないよ！こわくないよ！
13. © 2025 Snowflake Inc. All Rights Reserved Snowflake Deployment で 圧倒的に簡単になりました SPCS！最高！SPCS！最高！ SPCS最高と叫びなさい！
14. © 2025 Snowflake Inc. All Rights Reserved 特においしい 3つのポイント Snowflake Deployment で圧倒的に簡単になりました ✓AWS でのデプロイメント 構築がなくなり Snowflake 上の操作だけ で完結 ✓CFn を待たなくていい。デ プロイメント作成の待ち時 間が最大45分 → 15～20 分に短縮 ✓詳しくは「Snowflake Openflow（SPCS版）を試 す ― 設定手順とコストの リアル」を読んでほしい 構築の難易度 ✓BYOC ではAWS に Openflow 管理担当 EC2 やインフラ構築担当 EC2 が立つ。その分 Snowflake Deployment の方が低コスト ✓Snowflake のエディショ ンを上げると接戦に ✓SPCS（コンピュートプー ル）の安さが光る コスト ✓BYOC 版では AWS リソー スの運用が必要。主に EC2 とEKS ✓Snowflake Deployment 版では SPCS の運用が必要 （といっても Snowflake マネージド、特に手はかか らない） ✓つまり SPCS を信じるだけ でいい 運用面
15. © 2025 Snowflake Inc. All Rights Reserved まずはロール作成から Snowflake Deployment で圧倒的に簡単になりました USE ROLE ACCOUNTADMIN; -- Openflow SPCS版 作成用ロール作成 CREATE ROLE IF NOT EXISTS OPENFLOW_SPCS_ADMIN; GRANT CREATE ROLE ON ACCOUNT TO ROLE OPENFLOW_SPCS_ADMIN; GRANT ROLE OPENFLOW_SPCS_ADMIN TO USER "your_user"; -- ロールに権限を付与 GRANT CREATE OPENFLOW DATA PLANE INTEGRATION ON ACCOUNT TO ROLE OPENFLOW_SPCS_ADMIN; GRANT CREATE OPENFLOW RUNTIME INTEGRATION ON ACCOUNT TO ROLE OPENFLOW_SPCS_ADMIN; GRANT CREATE COMPUTE POOL ON ACCOUNT TO ROLE OPENFLOW_SPCS_ADMIN; ✓ OPENFLOW DATA PLANE INTEGRATION： Snowflake デプロイメント作成と同時に作成されている統合 ✓ OPENFLOW RUNTIME INTEGRATION：ランタイム作成と同時に作成されている統合（多分）
16. © 2025 Snowflake Inc. All Rights Reserved デプロイメントを作成 Snowflake Deployment で圧倒的に簡単になりました デプロイメントで Snowflake を選んで 15～20分待ちます ↓ Active になったら準備完了 ↓ Active になったら準備完了
17. © 2025 Snowflake Inc. All Rights Reserved ランタイムが利用するロール（ランタイムロール）を作ります Snowflake Deployment で圧倒的に簡単になりました USE ROLE OPENFLOW_SPCS_ADMIN; CREATE ROLE IF NOT EXISTS OPENFLOW_RUNTIME_ROLE; GRANT ROLE OPENFLOW_RUNTIME_ROLE TO ROLE OPENFLOW_SPCS_ADMIN; -- ランタイムロールがデータ取り込みに使用する予定の既存のウェアハウスを使用できるように GRANT USAGE, OPERATE ON WAREHOUSE OPENFLOW_WH TO ROLE OPENFLOW_RUNTIME_ROLE; -- ランタイム ロールが Snowflake オブジェクトを使用、作成、またはアクセスできるように GRANT USAGE ON DATABASE OPENFLOW_SPCS TO ROLE OPENFLOW_RUNTIME_ROLE; GRANT USAGE ON SCHEMA OPENFLOW_SPCS.PUBLIC TO ROLE OPENFLOW_RUNTIME_ROLE;
18. © 2025 Snowflake Inc. All Rights Reserved 外部ネットワークアクセスを作成 Snowflake Deployment で圧倒的に簡単になりました -- ネットワークルールと外部アクセス統合の作成 USE ROLE ACCOUNTADMIN; USE DATABASE OPENFLOW_SPCS; CREATE OR REPLACE NETWORK RULE OPENFLOW_NETWORK_RULE MODE = EGRESS TYPE = HOST_PORT VALUE_LIST = (‘<domain>’, ‘<domain>‘) -- 接続先に応じて設定 ; CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION OPENFLOW_EAI ALLOWED_NETWORK_RULES = (OPENFLOW_NETWORK_RULE) ENABLED = TRUE; -- ランタイム ロールに EAI へのアクセス権を付与 GRANT USAGE ON INTEGRATION OPENFLOW_EAI TO ROLE OPENFLOW_RUNTIME_ROLE;
19. © 2025 Snowflake Inc. All Rights Reserved ランタイムを作成 Snowflake Deployment で圧倒的に簡単になりました ランタイムのタイプ、ロール、EAIを指定して 5～10分待ちます ↓ Active になったら準備完了 ↓ Active になったら準備完了 ※コネクタによっては 最低サイズ・マルチノード利用可否が 決まっているので注意
20. © 2025 Snowflake Inc. All Rights Reserved ランタイムを作成 Snowflake Deployment で圧倒的に簡単になりました コネクタを選択して インストールするランタイムを指定します
21. © 2025 Snowflake Inc. All Rights Reserved ランタイムを作成 Snowflake Deployment で圧倒的に簡単になりました Openflow のキャンバスを開く
22. © 2025 Snowflake Inc. All Rights Reserved コネクタに接続情報を設定 Snowflake Deployment で圧倒的に簡単になりました Controller Services を有効化、 データソース・Snowflake それぞれ のパラメータを設定したら 「Start」で連携開始 SPCS なのでセッショントークンでOK
23. © 2025 Snowflake Inc. All Rights Reserved 簡単！Openflow ～ 連携編 単純な連携にとどまらない
24. © 2025 Snowflake Inc. All Rights Reserved 24 Snowflake における構成要素 Snowflake Openflow Openflow UI Snowpark Container Services Compute Pool Runtime#1 Runtime#2 External Access Integration Network Policy (Egress) Snowpipe Streaming Cortex AI function データソースによっては 他のSnowflake機能を利用し 「いい感じ」に連携してくれる！
25. © 2025 Snowflake Inc. All Rights Reserved データベース：Snowpipe Streaming でいい感じにリ アルタイム連携してくれる Snowflake World Tour 2025 - Tokyo DATUM STUDIO ブースデモより ↑ 安すぎて気づかなかった ↑ 安すぎて気づかなかった Snowpipe Streaming に Putするプロセッサー Snowpipe Streaming に Putするプロセッサー
26. © 2025 Snowflake Inc. All Rights Reserved 非構造化データ：Cortex AI でいい感じに加工してく れる Snowflake World Tour 2025 - Tokyo DATUM STUDIO ブースデモより Cortex で OCR をかけている
27. © 2025 Snowflake Inc. All Rights Reserved まとめ これでおわりです
28. © 2025 Snowflake Inc. All Rights Reserved まとめ ✓ Snowflake Deployment の登場により、 • 構築の難易度が下がり • コストもお安く • 運用の手間も軽減 ✓Snowflake Openflow の概要、アーキテクチャ、コスト（参考値） ✓ Snowflake Openflow で連携すると、Snowpipe Streaming や Cortex AI が付いてきて「いい感じ」になる
29. © 2025 Snowflake Inc. All Rights Reserved THANK YOU