Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BQで天気基盤をつくって、役立つ情報を可視化してみた!
Search
wakama1994
May 23, 2024
Programming
4
860
BQで天気基盤をつくって、役立つ情報を可視化してみた!
bq_sushi#19での発表資料
https://bq-sushi.connpass.com/event/317348/
wakama1994
May 23, 2024
Tweet
Share
More Decks by wakama1994
See All by wakama1994
Kaggleの歩き方-関西Kaggler会に参加してみて-
wakamatsu_takumu
2
300
「データモデリング実践入門」は20年経っても色あせない
wakamatsu_takumu
2
630
いろんな可視化ツールあるけどggplotて何がいいの?- 複数ツールで比較してみた!-
wakamatsu_takumu
1
1.1k
文系出身でも「アルゴリズム×数学」はスッキリ理解できた!話
wakamatsu_takumu
0
340
ChatGPTにどんなときRを使えばいいか聞いてみた!
wakamatsu_takumu
0
600
A/Bテスト実践ガイド ~真のデータドリブンへ至る信用できる実験とは~
wakamatsu_takumu
0
750
EBImageを用いたVR画像の変化域抽出と生態系への活用.pdf
wakamatsu_takumu
0
280
データサイエンス100本ノック(構造化データ加工編) No1~40までをSQLで書いてみて
wakamatsu_takumu
0
83
Other Decks in Programming
See All in Programming
Uncharted packages (Laravel Live Denmark)
freekmurze
0
140
実践 Advanced CallKit 〜快適な通話の実現に向けて〜
mot_techtalk
3
110
Kotlin 2.0 and Beyond
antonarhipov
2
130
TypeScriptで 負荷テストを書こう 〜k6のシングルバイナリの秘密〜
dora1998
7
2.8k
Swift Concurrencyとレースコンディション
objectiveaudio
1
380
connect-go で面倒くささと戦う / 2024-08-27 #newmo_layerx_go
izumin5210
2
590
フロントエンドカンファレンス北海道2024 『小規模サイトでも使えるVite 〜HTMLコーディングをよりスマートに〜』長谷川広武(ハム)
h2ham
1
2.5k
(非公開スライド追加)座談会 「Strict ConcurrencyとSwift 6が開く新時代: 私たちはどう生きるか?」
shiz
1
140
The Sequel to a Dream of Ruby Parser's Grammar
ydah
1
180
1人で挑むSwiftコンパイラ 〜型システム入門編〜
s_shimotori
0
310
Method Swizzlingを行うライブラリにおけるマルチモジュール設計
yoshikma
0
100
開発を加速する共有Swift Package実践
elmetal
PRO
0
300
Featured
See All Featured
It's Worth the Effort
3n
182
27k
Web development in the modern age
philhawksworth
204
10k
The Mythical Team-Month
searls
218
43k
Build your cross-platform service in a week with App Engine
jlugia
228
18k
From Idea to $5000 a Month in 5 Months
shpigford
378
46k
Pencils Down: Stop Designing & Start Developing
hursman
118
11k
The Illustrated Children's Guide to Kubernetes
chrisshort
46
48k
The Art of Programming - Codeland 2020
erikaheidi
48
13k
GitHub's CSS Performance
jonrohan
1029
450k
Debugging Ruby Performance
tmm1
72
12k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Infographics Made Easy
chrislema
239
18k
Transcript
BQで天気基盤をつくって 役立つ情報を可視化してみた! Takumu WAKAMATSU bq_sushi#19
AGENDA 自己紹介 天気予報で知りたい情報わかりますか? BQを活用した天気データの可視化 今後の計画 01. 02. 03. 04.
©primeNumber Inc. 3 若松 拓夢 WHO AM I? primeNumber.Inc ソリューション本部 データアナリスト
北海道出身 1994年6月生まれ 文系学部でデータ分析に出会い 理工系の大学院に転部 新卒では気象情報会社にてデータ分析とサービス開発 2023年10月primeNumberにjoin 趣味は自転車・秘境駅めぐり・Kaggle・勉強会でわいわい 1 3 @wakama1994 Takumu Wakamatsu
天気予報知る時って、 過去の情報も気になりませんか?
©primeNumber Inc. 5 Youtubeの天気予報-気温と週間予報 MBS News Youtubeチャンネルより【5月23日(木)】梅雨前線が近づく…南ほど雨 京阪神でも傘の出番がありそう【近畿の天気】#天気 #気象
©primeNumber Inc. 6 こんな時はありませんか? ① 暑さ寒さに敏感なXさん.... • 先週暑くて薄着してたけど、今日はその時と比べてどれくらい暑いの? • 毎年寒暖差で服を決めているけど、この1週間の暑さは何月くらいなの?
©primeNumber Inc. 7 スーパーマーケット店長のYさん.... • 連日暑い日が続くと、徐々に飲料の売れ行きがよくなるよな... • 梅雨時期は食品が腐りやすく、発注を考える上で時期を把握したい..! こんな時はどうしよう? ②
©primeNumber Inc. 8 • 基本的に予測値しか把握できない... • 過去の値を見れるものもあったが、予測値なのか実測値なのかわからない... ◦ 見られる期間も限られている アプリから情報を拾おうとしたところ....
ウェザーニュースのアプリ画面
©primeNumber Inc. 9 こんな情報もっと知りたい...!!! • 一定期間遡った気温の推移 • 梅雨などの毎年発生する気象現象
©primeNumber Inc. 10 開発方針: ① 外部から取得できる気象データを ② BigQuery内で格納し ③ ダッシュボードを使って役立つ
情報を可視化 開発したいもの 過去の気象データを時系列的に 把握できるツール構築
©primeNumber Inc. 11 調査はしてみたが.... 過去の気象データに関する無償APIがない • Yahoo社の無償APIも存在したが、予報データしか存在しない 気象庁の過去統計の場合、webページをスクレイピングする必要あり • スクレイピングの実装の工数も高く、日毎更新には不向
Qiita:全観測地点・数十年分の気象データを Pythonでスクレイピング参考
©primeNumber Inc. 12 気象庁が発布する最新の気象データ 最新7日分のデータがcsv経由で取得可能である • URL形式のpathが存在するため、技術スタックが高くなく実装可能 • 梅雨の観測データもcsvで過去統計値として格納 https://www.data.jma.go.jp/cpd/baiu/index.html
https://www.data.jma.go.jp/stats/data/mdrr/docs/csv_dl_readme.html 気象庁HPより
©primeNumber Inc. 13 取得可能なデータについて 全国約1,300地点分のデータの取得可能 • 平年差や何月ごろの気温もわかる • 当日の気温も観測時刻まで把握 今後継続して取得すると、過去統計データ
と同じ分量に..!! 気象庁HPより
©primeNumber Inc. 14 設計したフロー図 csvのURL 全国分の過去7日分 全データ 全国の当日観測された 全データ 梅雨の観測日数
梅雨入り明け 日数カウントマート 東京の過去7日分 データマート 東京の当日観測された データマート ※当日分は1h・その他は日ごと更新
©primeNumber Inc. 15 TROCCO内の内部処理 • カスタム変数とスケジュール設定すれば、定期実行も可能
©primeNumber Inc. 16 BQ内のデータの持たせ方 全国の当日観測されたデータ 東京の当日観測されたデータマート
©primeNumber Inc. 17 構築したダッシュボード • 気候は「該当旬」のデータ • 梅雨の計算は去年と平年を基準に し、あと何日で到達するかの日数 •
今年一番の寒さ/暑さは今年の最高 気温と最低気温を取得
©primeNumber Inc. 18 今後追加したい情報 ① 天気予報値の取得(7日先) • 気象庁の予報ページがjsonになっているものが存在 ◦ TROCCOのHTTPコネクタからjsonも転送可能
② 台風や積雪情報などの季節性気象情報の拡充 https://www.jma.go.jp/bosai/fore cast/data/forecast/130000.json
©primeNumber Inc. 19 まとめ 公開されている過去データを用いて、役立つ気象情報の可視化を行った • しかし、過去データに関する無償APIは存在しなかった • アメダスデータであれば、直近過去7日分のデータを取得が可能 ◦
データを継続的に蓄積すれば、過去統計値と同等の情報に • 今後は予測値のjsonデータなど、データの種類を増やしていく予定
あらゆるデータを、 ビジネスの力に変える。 primeNumberは、データテクノロジーカンパニー。 あらゆるデータが爆発的に増えていく時代に、 誰もがすばやく、簡単にデータを使える環境を構築し、 データ活用までのプロセスを最適化。 高度なテクノロジーと独自のアイデアで、 世界中のビジネスを支援します。 V I
S I O N 20 ご清聴ありがとうございました!