BQで天気基盤をつくって、役立つ情報を可視化してみた!

bq_sushi#19での発表資料
https://bq-sushi.connpass.com/event/317348/

Transcript

1. BQで天気基盤をつくって 役立つ情報を可視化してみた! Takumu WAKAMATSU bq_sushi#19
2. AGENDA 自己紹介 天気予報で知りたい情報わかりますか？ BQを活用した天気データの可視化 今後の計画 01. 02. 03. 04.
3. ©primeNumber Inc. 3 若松 拓夢 WHO AM I? primeNumber.Inc ソリューション本部　データアナリスト 北海道出身　1994年6月生まれ 文系学部でデータ分析に出会い 理工系の大学院に転部 新卒では気象情報会社にてデータ分析とサービス開発 2023年10月primeNumberにjoin　 趣味は自転車・秘境駅めぐり・Kaggle・勉強会でわいわい 1
 3 @wakama1994 Takumu Wakamatsu
4. 天気予報知る時って、 過去の情報も気になりませんか？
5. ©primeNumber Inc. 5 Youtubeの天気予報-気温と週間予報 MBS　News Youtubeチャンネルより【5月23日(木)】梅雨前線が近づく…南ほど雨　京阪神でも傘の出番がありそう【近畿の天気】#天気 #気象
6. ©primeNumber Inc. 6 こんな時はありませんか？ ① 暑さ寒さに敏感なXさん.... • 先週暑くて薄着してたけど、今日はその時と比べてどれくらい暑いの？ • 毎年寒暖差で服を決めているけど、この１週間の暑さは何月くらいなの？
7. ©primeNumber Inc. 7 スーパーマーケット店長のYさん.... • 連日暑い日が続くと、徐々に飲料の売れ行きがよくなるよな... • 梅雨時期は食品が腐りやすく、発注を考える上で時期を把握したい..! こんな時はどうしよう？ ②
8. ©primeNumber Inc. 8 • 基本的に予測値しか把握できない... • 過去の値を見れるものもあったが、予測値なのか実測値なのかわからない... ◦ 見られる期間も限られている アプリから情報を拾おうとしたところ.... ウェザーニュースのアプリ画面
9. ©primeNumber Inc. 9 こんな情報もっと知りたい...!!! • 一定期間遡った気温の推移 • 梅雨などの毎年発生する気象現象
10. ©primeNumber Inc. 10 開発方針: ① 外部から取得できる気象データを ② BigQuery内で格納し ③ ダッシュボードを使って役立つ 情報を可視化　 開発したいもの 過去の気象データを時系列的に 把握できるツール構築
11. ©primeNumber Inc. 11 調査はしてみたが.... 過去の気象データに関する無償APIがない • Yahoo社の無償APIも存在したが、予報データしか存在しない 気象庁の過去統計の場合、webページをスクレイピングする必要あり • スクレイピングの実装の工数も高く、日毎更新には不向 Qiita:全観測地点・数十年分の気象データを Pythonでスクレイピング参考
12. ©primeNumber Inc. 12 気象庁が発布する最新の気象データ 最新７日分のデータがcsv経由で取得可能である • URL形式のpathが存在するため、技術スタックが高くなく実装可能 • 梅雨の観測データもcsvで過去統計値として格納 https://www.data.jma.go.jp/cpd/baiu/index.html https://www.data.jma.go.jp/stats/data/mdrr/docs/csv_dl_readme.html 気象庁HPより
13. ©primeNumber Inc. 13 取得可能なデータについて 全国約1,300地点分のデータの取得可能 • 平年差や何月ごろの気温もわかる • 当日の気温も観測時刻まで把握 今後継続して取得すると、過去統計データ と同じ分量に..!! 気象庁HPより
14. ©primeNumber Inc. 14 設計したフロー図 csvのURL 全国分の過去7日分 全データ 全国の当日観測された 全データ 梅雨の観測日数 梅雨入り明け 日数カウントマート 東京の過去7日分 データマート 東京の当日観測された データマート ※当日分は１h・その他は日ごと更新
15. ©primeNumber Inc. 15 TROCCO内の内部処理 • カスタム変数とスケジュール設定すれば、定期実行も可能
16. ©primeNumber Inc. 16 BQ内のデータの持たせ方 全国の当日観測されたデータ 東京の当日観測されたデータマート
17. ©primeNumber Inc. 17 構築したダッシュボード • 気候は「該当旬」のデータ • 梅雨の計算は去年と平年を基準に し、あと何日で到達するかの日数 • 今年一番の寒さ/暑さは今年の最高 気温と最低気温を取得
18. ©primeNumber Inc. 18 今後追加したい情報 ① 天気予報値の取得(7日先) • 気象庁の予報ページがjsonになっているものが存在 ◦ TROCCOのHTTPコネクタからjsonも転送可能 ② 台風や積雪情報などの季節性気象情報の拡充 https://www.jma.go.jp/bosai/fore cast/data/forecast/130000.json
19. ©primeNumber Inc. 19 まとめ 公開されている過去データを用いて、役立つ気象情報の可視化を行った • しかし、過去データに関する無償APIは存在しなかった • アメダスデータであれば、直近過去７日分のデータを取得が可能 ◦ データを継続的に蓄積すれば、過去統計値と同等の情報に • 今後は予測値のjsonデータなど、データの種類を増やしていく予定
20. あらゆるデータを、 ビジネスの力に変える。 primeNumberは、データテクノロジーカンパニー。 あらゆるデータが爆発的に増えていく時代に、 誰もがすばやく、簡単にデータを使える環境を構築し、 データ活用までのプロセスを最適化。 高度なテクノロジーと独自のアイデアで、 世界中のビジネスを支援します。 V I S I O N 20 ご清聴ありがとうございました！