【Snowflake九州ユーザー会#2】BigQueryとSnowflakeを比較してそれぞれの良し悪しを掴む / BigQuery vs Snowflake: Pros & Cons

3/7開催『【Snowflake九州ユーザー会】Snowflakeいいところトーーク！未導入の方も大歓迎！Snowflakeのいいところを知っていってね！』の登壇資料です。
https://techplay.jp/event/969071

#SnowflakeKyushu #SnowVillage

Transcript

1. © LayerX Inc. BigQueryとSnowflakeを⽐較して それぞれの良し悪しを掴む 2025/03/07 @civitaspo Snowflake九州ユーザー会 #2
2. © LayerX Inc. 2 バクラク事業部 機械学習‧データ部 DataOps チーム TechLead 兼 Platform Engineering部 DevOps チーム 最近もっぱらSalesforceと戯れています Snowflake九州ユーザーグループ主宰 Snowflake Squad 2024 SNS 𝕏 civitaspo civitaspo その他 画像を⼊れてね civitaspo （ｷﾋﾞﾀｽﾎﾟ/ きびちゃん） ⾃⼰紹介
3. © LayerX Inc. バクラクのデータ基盤を BigQueryからSnowflakeへ移管した理由 2024/11/22 @civitaspo 【Snowflake九州ユーザー会】九州のSnowflake導⼊企業5社による導⼊事例紹介！ 前回のSnowflake九州ユーザー会での発表
4. © LayerX Inc. 4 ref. Google BigQueryからSnowflakeへ。バクラクのデータ基盤技術移管事例 - Findy Tools ⾃⼰紹介
5. 5 © LayerX Inc. すべての経済活動を、デジタル化する。 会社概要 会社名 株式会社LayerX（レイヤーエックス） 代表取締役 代表取締役CEO 福島 良典 代表取締役CTO 松本 勇気 創業 2018年 8⽉1⽇ 資本⾦ 約132.6億円 拠点 東京本社 〒104-0045 東京都中央区築地1-13-1 銀座松⽵スクエア 5階 関⻄⽀社 〒530-0002 ⼤阪府⼤阪市北区曽根崎新地1-13-22 御堂筋フロントタワー 内 中部⽀社 〒466-0064 愛知県名古屋市昭和区鶴舞1-2−32 STATION Ai 内 九州⽀社 〒810-0801 福岡県福岡市博多区中洲3-7-24 WeWorkゲイツ福岡 11F 内 従業員数 385名 （2024年10⽉末時点）
6. 6 © LayerX Inc. 「すべての経済活動を、デジタル化する。」をミッションに、AI SaaSとAI DXの事業を展開 事業紹介 バクラク事業 企業活動のインフラとなる業務を 効率化するクラウドサービス Fintech事業 ソフトウェアを駆使したアセットマネジ メント‧証券事業を合弁会社にて展開 AI‧LLM事業 社内のナレッジやノウハウをデータ ベース化するAIプラットフォーム AI SaaSドメイン AI DXドメイン
7. © LayerX Inc.　 7 「バクラク」シリーズラインナップ ‧AIが請求書を５秒でデータ化 ‧仕訳 / 振込データを⾃動作成 ‧電帳法‧インボイス制度にも対応 仕訳‧⽀払処理効率化 ‧年会費無料で何枚でも発⾏可 ‧カード利⽤制限で統制を実現 ‧すべての決済で1%以上の還元 法⼈カードの発⾏‧管理 ‧帳票の⼀括作成も個別作成も⾃由⾃在 ‧帳票の作成‧稟議‧送付‧保存を⼀本化 ‧レイアウトや項⽬のカスタマイズも可能 請求書発⾏ ‧スキャナ保存データも直接取込  ‧AI-OCRが⾃動読取＆データ化 ‧[取引先][取引⽇][取引⾦額]での検索 帳票保存‧ストレージ ‧AIが⾒積書‧請求書を５秒でデータ ‧スマホからも申請‧承認OK ‧柔軟な通知設定‧承認の催促機能 稟議‧⽀払申請 ‧直感的UIで従業員の負担を軽減 ‧Slack連携で打刻や⾃動リマインド可能 ‧わかりやすい残業 / 休暇管理レポート 勤怠管理 ‧AIが領収書を5秒でデータ化 ‧スマホアプリとSlack連携あり ‧領収書の重複申請などミス防⽌機能 経費精算
8. 今⽇話す内容
9. © LayerX Inc. 9 素朴な疑問: SnowflakeってBigQueryと何が違うの？ 今⽇話す内容
10. © LayerX Inc. 10 BigQueryとSnowflakeを⽐較しながらそれぞれの良し悪しを掴む 今⽇話す内容 • 弊社はBigQueryからSnowflakeへDWHを移管しました。 • BigQuery‧Snowflake両⽅の運⽤経験から、⾊んな⾓度から⽐較してみます。 • その⽐較からBigQuery‧Snowflake両⽅の良いところ‧悪いところを掴んでいこうと思います。
11. おことわり
12. © LayerX Inc. 12 おことわり • 私は現環境で、BigQueryからSnowflakeへ移管した⾝であるため、Snowflakeが良く⾒えるバイア スがある前提でお聞きください。 • また、紙⾯‧時間の都合上、⾼い網羅性は意識せず、私が移管したときに意識した違いを中⼼に載 せています。この資料に載っていない情報もあるので懇親会でお話しましょう。
13. ⽬次 Agenda • SnowflakeとBigQueryの違い • Snowflakeにしかない機能 • BigQueryにしかない機能 • おわりに
14. SnowflakeとBigQueryの違い
15. © LayerX Inc. 15 アーキテクチャの違い SnowflakeとBigQueryの違い 出典: BigQuery under the hood: Google's serverless cloud data warehouse 出典: 5 Reasons to Love Snowflake's Architecture for Your Data Warehouse 1 Petabit/sec Snowflakeはクラウドベンダー上に構成 BigQueryは専⽤インフラ上に構成
16. © LayerX Inc. 16 SnowflakeはMicro-Partition • 1MPあたり16MB以下で⾃動管理される • where句を指定するほどスキャン量が減る BigQueryはStatic-Partition（⾃前管理） • 10GB超えたらClusteringで分割推奨 • テーブルあたりのPartition数は10000 データの持ち⽅の違い SnowflakeとBigQueryの違い 出典: Introduction to clustered tables | BigQuery | Google Cloud 出典: Micro-partitions & Data Clustering | Snowflake Documentation
17. © LayerX Inc. 17 SnowflakeはVirtual Warehouse • ワークロードに合わせてサイズ考慮必要 • Query Acceleration （オートスケール） BigQueryはSlot • クエリ実⾏時に何も考えなくて良い。 • 管理者がプロジェクトレベルで設定。 コンピューティングリソースの違い SnowflakeとBigQueryの違い 出典: Choosing the right warehouse size in Snowflake 出典: Understand slots | BigQuery | Google Cloud
18. © LayerX Inc. 18 Snowflake Editions • だいたいおなじ • FivetranのCloud Data Warehouse Benchmarkを元に同⼀のパフォーマンスを出す前提で試算す ると1 credit(Snowflake) = 75slot (BigQuery) 程度。※導⼊検討するときは必ずご⾃⾝で試算してください。 BigQuery Editions コストの違い SnowflakeとBigQueryの違い 出典: Micro-partitions & Data Clustering | Snowflake Documentation 出典: Introducing new BigQuery pricing editions | Google Cloud Blog
19. © LayerX Inc. 19 Snowflakeのほうが表現⼒が⾼い SQLの違い SnowflakeとBigQueryの違い 出典: Snowflake SQL translation guide | BigQuery | Google Cloud Snowflakeにしかない激アツ関数 • MEDIAN • SAMPLE • ASOF Join • Dynamic PIVOT • MATCH_RECOGNIZE
20. © LayerX Inc. 20 AIの違い BigQueryにしかない機能 Snowflakeは様々なモデルを使える • 提携する企業が強い • ただし、⽇本での利⽤には制限がある BigQueryはVertex AI / Gemini • 基本は、Googleの開発したモデルを使⽤ することになる 出典: Snowflake Securely Integrates Microsoft Azure OpenAI Service to Provide Access to the Latest OpenAI Models with Expanded Microsoft Partnership 出典: Data Cloud Generative AI in BigQuery
21. © LayerX Inc. 21 他にもSnowflake vs BigQuery の違い SnowflakeとBigQueryの違い • Notebook: Jupyter Notebook機能 + Schedule実⾏機能 ◦ Google Cloud だと Colab Enterprise でできる • Task: バッチ実⾏ + Workflow Orchestration ◦ Google Cloud だと Cloud Workflows でできる • External Functions: 外部の関数を叩ける機能 ◦ Google Cloud だと BigQuery Remote Functions (Cloud Run) でできる • Snowpark： Snowflake上でSparkを動かせる ◦ Google Cloud だとStored procedures for Apache Sparkでできる • Snowpark Container Services: Snowflake上でコンテナを⽴ち上げられる機能 ◦ Google Cloud だと Google Kubernetes Engine でできる などなど
22. Snowflakeにしかない機能
23. © LayerX Inc. 23 Streamlit in Snowflake Snowflakeにしかない機能 • Snowflakeは2022年にStreamlitを買収し、組み込み機能としてStreamlitを提供している • 認証付きのホスティング環境として⾮常に便利 • 昨今はAIのサポートがあるので、Bizメンバーでもアプリケーションが作れる時代 出典: Democratizing Data Apps — Snowflake to Acquire Streamlit 出典: ⼈事が Streamlit in Snowflake で⽣成AIアプリケーションを社内向けに作った話｜宮本 純弥｜LayerX
24. © LayerX Inc. 24 • SnowflakeはAWS上で構築が可能。そして、S3はAWS同⼀リージョン内の転送量が無料。 • Snowflakeから直接アクセス‧操作ができるので、AWSでデータが発⽣する環境では、データのデ リバリーが⾼速化される。 S3へ直アクセス S3にしかない機能 LIST操作 S3からシュッとコピーできる 参考: INFER_SCHEMA | Snowflake Documentation
25. BigQueryにしかない機能
26. © LayerX Inc. 26 • BigQueryはGoogleエコシステムとの連携が⾮常に強い（当たり前） • 特にGoogle AdsやGoogle Analyticsといったツールとのデータ連携が⾮常に楽 • Google Sheetsとの連携もネイティブにできる （弊社はSnowflakeへの移管時に全て⾃前で実装した） Googleエコシステムとの連携 BigQueryにしかない機能
27. © LayerX Inc. 27 • BigQueryにはOIDC認証をサポートしていますが、Snowflakeは未だにサポートしていません。 • 2025年にもなって重要システムの鍵管理とかやりたくないよぉ〜！！！！ OpenID Connect (OIDC) BigQueryにしかない機能
28. まとめ
29. © LayerX Inc. 29 • 様々な観点からBigQueryとSnowflakeの違いを説明しました • どちらにも良いところ悪いところがあるので、⾃社の技術スタックや組織状況に合わせて、良い感 じに判断してください！ • 今回の資料が判断材料の⼀助になると嬉しいなって思ってます！ どっちも良いところあるし悪いところもある。 まとめ
30. おわりに
31. © LayerX Inc. 31 もし今⽇の話を聞いて「⾯⽩そうなやつだ」と思ったら x.com/civitaspo のフォローをお願いします！ もし今⽇の話を聞いて「もっと話したい！」と思ったら「civitaspo layerx カジュアル⾯談」で検索！検 索！ データエンジニアもアナリティクスエンジニアもアナリストも全⽅位、採⽤強化中です！ 興味のある⽅は「jobs.layerx.co.jp」から採⽤情報を⾒てみてください！！ ご視聴ありがとうございました！ おわりだよ〜 おわり
32. おわり