Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Snowflake未経験の人がSnowflakeに挑戦してみた
Search
そのだ
November 22, 2024
Technology
1
88
Snowflake未経験の人がSnowflakeに挑戦してみた
【Snowflake九州ユーザー会】九州のSnowflake導入企業5社による導入事例紹介!未導入の方も大歓迎!
https://techplay.jp/event/963152
そのだ
November 22, 2024
Tweet
Share
More Decks by そのだ
See All by そのだ
RAGの基礎から実践運用まで:AWS BedrockとLangfuseで実現する構築・監視・評価
sonoda_mj
0
520
Amazon Bedrock Knowledge Basesに Data Autometionを導入してみた
sonoda_mj
1
32
Amazon Bedrock Knowledge basesにLangfuse導入してみた
sonoda_mj
2
560
AIエージェントに脈アリかどうかを分析させてみた
sonoda_mj
2
210
Amazon Bedrock Knowledge Basesのアップデート紹介
sonoda_mj
2
410
生成AIアプリのアップデートと配布の課題をCDK Pipelinesで解決してみた
sonoda_mj
0
420
AWSでRAGを作る方法
sonoda_mj
1
490
緑一色アーキテクチャ
sonoda_mj
2
250
RAG構築におけるKendraとPineconeの使い分け
sonoda_mj
2
860
Other Decks in Technology
See All in Technology
LangfuseでAIエージェントの 可観測性を高めよう!/Enhancing AI Agent Observability with Langfuse!
jnymyk
1
220
Amazon CloudWatch Application Signals ではじめるバーンレートアラーム / Burn rate alarm with Amazon CloudWatch Application Signals
ymotongpoo
5
490
От ручной разметки к LLM: как мы создавали облако тегов в Lamoda. Анастасия Ангелова, Data Scientist, Lamoda Tech
lamodatech
0
710
Would you THINK such a demonstration interesting ?
shumpei3
1
220
JPOUG Tech Talk #12 UNDO Tablespace Reintroduction
nori_shinoda
2
140
Road to Go Gem #rubykaigi
sue445
0
430
SnowflakeとDatabricks両方でRAGを構築してみた
kameitomohiro
1
280
AI Agentを「期待通り」に動かすために:設計アプローチの模索と現在地
kworkdev
PRO
2
440
20250413_湘南kaggler会_音声認識で使うのってメルス・・・なんだっけ?
sugupoko
1
480
クォータ監視、AWS Organizations環境でも楽勝です✌️
iwamot
PRO
1
300
プロダクト開発におけるAI時代の開発生産性
shnjtk
2
240
新卒エンジニアがCICDをモダナイズしてみた話
akashi_sn
2
220
Featured
See All Featured
Designing Experiences People Love
moore
141
24k
YesSQL, Process and Tooling at Scale
rocio
172
14k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
How to train your dragon (web standard)
notwaldorf
90
6k
Documentation Writing (for coders)
carmenintech
69
4.7k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.4k
RailsConf 2023
tenderlove
30
1.1k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
9
750
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Transcript
©Fusic Co., Ltd. 1 CONFIDENTIAL Snowflake未経験の人がSnowflakeに 挑戦してみた ~サブタイトル~ 2024.11.22 苑田
朝彰 @sonoda_mj Snowflake 九州ユーザー会
©Fusic Co., Ltd. 2 苑田 朝彰 Sonoda Tomotada - X:
sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定(初級) コメント 明日京都103km歩いてきます。 自己紹介 はじめに 株式会社Fusic
©Fusic Co., Ltd. 3 CONTENTS 目次 1. 背景 2. Snowflake入門してみた
3. Snowflake導入してみた 4. 初心者から見たSnowflake 5. まとめ
©Fusic Co., Ltd. 4 背景 1
©Fusic Co., Ltd. 5 そのだのSnowflake歴 • 案件で1回データパイプラインを作ったことがある。 • Snowflakeは触ったことがないため、下記の資料で勉強。 •
ゼロから学べる。SNOWFLAKE DISCOVERウェビナー。 • Snowflakeの魅力に迫る : ビジネスの未来を切り拓くAIデータクラウドの可能性 • ゼロからわかるデータウェアハウス • Snowflakeでデータエンジニアリングを次のレベルへ • Snowflakeで実現する生成AI • Snowpark Container Servicesを活用して、ビジネスを変えるアプリケーション構築を 実現する • Snowflakeドキュメント(https://docs.snowflake.com/ja) • エンジニアのためのデータ分析基盤入門(本) • Snowflakeに関する入門記事
©Fusic Co., Ltd. 6 Snowflake入門してみた 2
©Fusic Co., Ltd. 7 新規でアカウントを登録すると400USD使用できる。 アカウントの登録
©Fusic Co., Ltd. 8 Tutorial 4: TPC-DS 100TB Complete Query
Test を使ってみた。 100TBのデータを動かしてみたかったため。 サンプルプロジェクトを使ってみる
©Fusic Co., Ltd. 9 約5000行のコードがすでに記載されている。RUNボタンを押すだけで、100TBのデータ分析ができる。 Tutorial 4: TPC-DS 100TB Complete
Query Test 約5000行
©Fusic Co., Ltd. 10 Tutorial 4: TPC-DS 100TB Complete Query
Test(実行結果)
©Fusic Co., Ltd. 11 Tutorial 4: TPC-DS 100TB Complete Query
Test(実行結果)
©Fusic Co., Ltd. 12 Snowflake導入してみた 3
©Fusic Co., Ltd. 13 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関する回答を生成することができる 検索拡張生成(RAG) メンバー紹介 ニュース 開発事例 その他
©Fusic Co., Ltd. 14 構成図
©Fusic Co., Ltd. 15 構成図
©Fusic Co., Ltd. 16 構成図 Amazon S3 (csv)
©Fusic Co., Ltd. 17 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration
©Fusic Co., Ltd. 18 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration Snowflakeとクラウドストレージサービス間の 安全な接続を設定するための機能 SnowflakeでStageを作成
(どのS3を使用するか定義する) テーブル作成 ファイルフォーマット作成 (CSVファイルを読み込むための形式を定義する)
©Fusic Co., Ltd. 19 ストレージ統合を使用して、SnowflakeがS3に対してデータを読み書きできるようにする。 Snowflakeのストレージ統合 引用:https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration
©Fusic Co., Ltd. 20 2024年11月20日のメッセージカウントを取得してみた。 41回のアクセスがありました。 色々試してみた その1
©Fusic Co., Ltd. 21 2024年11月の曜日ごとのカウントを取得してみた。 水曜日が一番活発でした。 色々試してみた その2
©Fusic Co., Ltd. 22 メッセージの長さ(文字数)を可視化してみました。 メッセージの長さの分布から、ユーザーごとの対話パターンを把握できます。 色々試してみた その3
©Fusic Co., Ltd. 23 初心者から見たSnowflake 4
©Fusic Co., Ltd. 24 初心者がSnowflakeを触ってみて感じたこと • 画面が見やすく、使いやすい • 課金体系がいい •
スケーリングが簡単 • DWHだけではなく、他にも機能がたくさんある
©Fusic Co., Ltd. 25 画面が見やすく、使いやすい
©Fusic Co., Ltd. 26 使用した分だけなので、使ってない時は課金されない。 使用してない期間が続くと、勝手に一時停止してくれる(設定で外せる)。 課金体系がいい 使用してないので、勝手に停止してくれている
©Fusic Co., Ltd. 27 ぽちぽちで簡単にスケールアップ・スケールダウンできる。また、すぐに反映される。 スケーリングが簡単
©Fusic Co., Ltd. 28 Snowflake Cortex:Snowflake内から離れることなく、企業が迅速にデータを分析し、AIアプリケーションを構築できるよ うにする DWHだけではなく、他にも機能がたくさんある 引用:https://www.snowflake.com/ja/blog/use-ai-snowflake-cortex/ https://www.snowflake.com/ja/blog/copilot-ai-powered-sql-assistant/
Snowflake Copilot 自然言語でSQLを 生成できる
©Fusic Co., Ltd. 29 まとめ 初心者でもSnowflakeを使用することができた。 Point 01 ドキュメントがわかりやすいので、非エンジニアでも使用できる。 Point
02
©Fusic Co., Ltd. 30 Thank You We are Hiring! https://recruit.fusic.co.jp/
ご清聴ありがとうございました!