Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データウェアハウスを使ってみよう
Search
みかん大学
June 01, 2024
Technology
0
54
データウェアハウスを使ってみよう
- データウェアハウスを使ってみよう
- BigQuery の使用例
みかん大学
June 01, 2024
Tweet
Share
More Decks by みかん大学
See All by みかん大学
VRChatのワールド情報が大量に集まっていた
hidetobara
0
120
VRChat と cluster ワールドの違い-その1-
hidetobara
0
320
VRChat 続・日本語圏のワールドの特徴
hidetobara
0
140
VRChat日本語圏のワールドの特徴
hidetobara
0
190
VRChat Lab抜けの条件
hidetobara
0
1.7k
アンドロイドは電気羊の絵を描くか?
hidetobara
2
59
Other Decks in Technology
See All in Technology
ゼロからはじめる採用広報
yutadayo
3
940
Claude Code に プロジェクト管理やらせたみた
unson
6
4.1k
改めてAWS WAFを振り返る~業務で使うためのポイント~
masakiokuda
2
260
Lufthansa ®️ USA Contact Numbers: Complete 2025 Support Guide
lufthanahelpsupport
0
200
KubeCon + CloudNativeCon Japan 2025 Recap by CA
ponkio_o
PRO
0
300
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
2
7.7k
CRE Camp #1 エンジニアリングを民主化するCREチームでありたい話
mntsq
1
130
United airlines®️ USA Contact Numbers: Complete 2025 Support Guide
unitedflyhelp
0
310
Delta airlines Customer®️ USA Contact Numbers: Complete 2025 Support Guide
deltahelp
0
700
面倒な作業はAIにおまかせ。Flutter開発をスマートに効率化
ruideengineer
0
260
AI時代の開発生産性を加速させるアーキテクチャ設計
plaidtech
PRO
3
160
生まれ変わった AWS Security Hub (Preview) を紹介 #reInforce_osaka / reInforce New Security Hub
masahirokawahara
0
470
Featured
See All Featured
Faster Mobile Websites
deanohume
307
31k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Optimizing for Happiness
mojombo
379
70k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
BBQ
matthewcrist
89
9.7k
Raft: Consensus for Rubyists
vanstee
140
7k
Transcript
データウェアハウスを 使ってみよう みかん電機
DWH (Data Warehouse)とは • 「データの倉庫」を意味する言葉 • 大量のデータを管理し、分析計算を高速に行うシステム • 例 ◦
Apache Hadoop, Spark, Hive ◦ AWS Athena, Redshift ◦ GCP BigQuery ◦ Azure SQL Data Warehouse ◦ Snowflake ◦ Databricks etc…
RDB (Relational Database) とは何が違うの? • 方言の違いはあるものの SQL でクエリを記述できるのは共通 • RDB
は行指向データベース、DWH は列指向データベース • DWH はデータ量がテラ、ペタ級になっても実用的に動作 • RDB はレコードの更新も速い、DWH だと更新は遅いもしくは不可 • RDB を使うのはWebアプリケーションなどのシステム、DWH を使うのは分析基盤 などのシステム user_id ・・・ 名前 年齢 1234 山田 21 1235 田中 30 1236 伊藤 60 行指向 列指向
Datalake とは何が違うの? • Datalake は生ログが置いてあり、DWH はそれらを整形して入れたものだったはず が・・・ ◦ AWS S3,
Athena は Datalake で、AWS Redshift が DWH • BigQuery は、改善によって、JSON形式の生ログを入れても大丈夫になっていた ・・・ ◦ 境界はあいまいな気が ◦ 本によっても言葉がぶれており
例)ECサイトの中での立ち位置 • Web Framework に Laravel • RDB に、AWS RDS
• Datalake として、AWS S3 / Athena • DWH に、AWS Redshift DWH RDB WEB サーバ Datalake ユーザデータ 生ログ • 購買ログ • ページ遷移
わざわざ分けるの面倒だし RDB でも良くないんですか? 「購買ログ・テーブルも、RDBに入れますね」 「カラムは、購買日時、ユーザID、商品ID でいいか」 「えっ、どこの県の人が買っているか調べたい?」 「ユーザ情報と JOIN して検索すると今の県しか分からないって?」
「購買ログ・テーブルのカラムにその時点での住所情報も追加しますね」 「え、年齢も年収も所帯も子供数もさらに必要って?」 「大変です、CMの影響でユーザ数が増大しています」 「RDBの容量の9割以上が購買ログなのですが!」 ・・・・・( ゚Д゚)
RDB
大量のデータを集めて分析するために作られたのが DWH 課題 • 分析用ログは正規化できないのでデータ量は膨大に • 分析対象となる膨大なデータは、RDB の検索性を圧迫しコストも増大 解決策 •
DWH を使おう! • BigQuery は、DWH の中でスタートアップや個人でも使いやすい ◦ 1ヶ月1Gのデータ保存で約3円、長期になると1.5円 ◦ スキャンしたデータ量だけ課金される、いわゆるサーバーレスの課金方式 ▪ 他のサービスのように最低でも月に〇万円かかる、ということは無い ▪ 1Gのスキャンで約0.937円 ◦ 初期の契約でも、GCP上の計算リソースが空いているならば最大 2000並列で計算してくれるので、 めっちゃ速い
まとめ • DWHは、大量のデータを管理することができます • そのデータの分析を高速に行うことができます • 餅は餅屋 • SQL でデータの操作はできるので実例は略
• DWH おススメの本→ • おまけ ◦ VRChat のワールドデータ公開します
おまけ)VRChat ワールドデータ (Parquet) • VRC API にて、ワールドの更新があるとその一覧が取得できるので、そこからデー タ取得 • ワールド名や作者名、訪問数、お気に入り数、説明文、タグなどがあります
おまけ)BigQuery で、月毎のワールド公開数を調べる • クエリを実行する前に、スキャンするデー タ量が表示され、計算コストが分かるので うれしい↑ • WITH 構文が使えるので、サブクエリのネ ストしなくても良い
• 最大2000並列で計算するので速い • クエリ結果は見やすいとは言えないので、 スプレッドシートや JupyterLab などにエク スポート