dbt×Snowflakeで始めるデータコンペ

Transcript

1. © 2025 estie Inc. 2025-12-17 dbt × Snowflake で始めるデータコンペ 0
2. © 2025 estie Inc. • 本発表は 2025-12-03 にオンラインで実施した「第2回 国⼟交通省 データコンペ参加者向け勉強会 - Snowflake x estie編 -」に基づいています • 国⼟交通省 データコンペについては → • 国⼟数値情報（国⼟交通省が公開してい る GIS データ）の活⽤促進 • 昨年に引き続き 2 回⽬ • 今回は住宅の売買価格の予測 • Snowflake 協賛 おことわり 1
3. © 2025 estie Inc. • Ryosuke Lin Yamamoto / ⼭本亮介 • https://github.com/Ryosuke839 • 株式会社estie データマネジメント事業本部 スタッフエンジニア • データパイプラインの設計・実装 • Snowflake をめっちゃ使ってます • 共通データ API の開発 • 国⼟数値情報もめっちゃ使ってます • 2023 年 4 ⽉⼊社 • 以前は SoundHound で AI スピーカを作ってました 登壇者の紹介 2
4. © 2025 estie Inc. estie のご紹介 3
5. © 2025 estie Inc. 会社概要 4 会社名 株式会社estie（エスティ） 所在地 東京都港区⾚坂9丁⽬7-2 東京ミッドタウン・イースト 4F 設⽴ 2018年12⽉ 代表取締役 平井 瑛 主要株主 経営陣 東京⼤学エッジキャピタルパートナーズ（UTEC） グロービス・キャピタル・パートナーズ（GCP） グローバルブレイン ⽇本政策投資銀⾏ Vertex Growth
6. © 2025 estie Inc. ⾃社ビル等 estieの事業領域 経済的な価値創造の場である「商業⽤不動産」領域でデジタルインフラを展開 資産 タイプ Office オフィス Retail 商業施設・アウトレット等 Industrial 物流施設・データセンター等 Hotel ホテル Residential 住宅 投資 ⽬的資産 ⾃⼰使⽤ ⽬的資産 商業⽤不動産市場（資産規模: 約315.1兆円 / 業務規模: 約16兆円） 賃貸住宅市場 分譲住宅市場 分譲オフィスビジネス等も存在はするが、業としてではなく単純に古くからある⾃社ビルや⼯場の所有と⾔った形態が⼀般的 5 Source：ニッセイ基礎研究所, 不動産投資レポート「わが国の不動産投資市場規模(2024 年)
7. © 2025 estie Inc. estieソリューションラインナップは、商業不動産領域におけるインフラを⽬指し拡⼤中 6 DaaS （データ） SaaS (業務⽀援) アセット オフィス レジ 物流 ホテル 商業 ⼟地(その他) マーケットリサーチツール 開発 開発 開発 アセットごとの データを調査 ソリューション⽀援ツール ⾮公開 Data Platform 領域横断で業 務を⽀援 領域深く 業務を ⽀援 Middleware（分析・API・認証・権限等）＋独⾃のデータ基盤 開発 ⾮公開 ⾮公開 ⾮公開
8. © 2025 estie Inc. 7 国⼟数値情報のサービスへの活⽤ 利⽤例: 売買案件に、「公⽰地価」「⽤途地域」情報を重ねて検討 国⼟数値情報項⽬を選択し、 オーバーレイすることが可能 各サービスで国⼟数値情報から取得したデータをオーバーレイ表⽰可能。 不動産事業者の意思決定に必要な情報をワンストップで⽀援している
9. © 2025 estie Inc. • kenkoooo • 株式会社estie 技術戦略室 スタッフエンジニア • estie 1 ⼈⽬のスタッフエンジニア • 以前は Indeed や SoundHound 登壇者の同僚の紹介 8
10. © 2025 estie Inc. 登壇者の同僚の紹介 9
11. © 2025 estie Inc. • https://www.estie.jp/blog/entry/2024/12/24/160000 • 弊社スタッフエンジニアの @kenkoooo が昨年モデリング部⾨で優勝 • 私は直接参加はしていないものの、Snowflake と dbt の知⾒とライブラリで協⼒ 登壇者の同僚の紹介 10
12. © 2025 estie Inc. • https://www.estie.jp/blog/entry/2024/12/24/160000 • 昨年の優勝解法 • 賃料総額ではなく単価を求める • 評価指標に最適化対象をそろえる（昨年は RMSE でしたが今年は MAPE） • ⽋損値を埋めまくる • 同じ部屋・建物の賃料を参考にする • インフラ: Snowflake × dbt でデータパイプラインと ML 学習パイプラインを実装 登壇者の同僚の紹介 11
13. © 2025 estie Inc. • インフラ: Snowflake × dbt でデータパイプラインと ML 学習パイプラインを実装 • 普段の業務から Snowflake, dbt には⼤変お世話になっております 🙏 登壇者の同僚の紹介 12
14. © 2025 estie Inc. データコンペで Snowflake を使う利点 • 全てがセットになっているのでサービス間の接続を考える必要がない • ストレージと計算資源が柔軟にスケールされる • 計算ノードのメモリをあまり意識する必要がない データコンペで dbt を使う利点 • 再現性のあるコードを書きやすい • コードの変更が容易 • DAG でデータフローを俯瞰できる Snowflake のご紹介 13
15. © 2025 estie Inc. • dbt Projects on Snowflake が 11 ⽉、ついに generally available になりました • https://docs.snowflake.com/en/release-notes/2025/other/2025-11-06-dbt-projects-on-snowflake-ga • つまり Snowflake Web UI、Snowsight 上で dbt-snowflake が動きます そこで • Snowflake × dbt で完結する国交省データコンペをステップバイステップでご紹介します Snowflake のご紹介 14 ㊗ dbt Projects on Snowflake GA ㊗ 2025-11-06 • ところで
16. © 2025 estie Inc. Snowflake x dbt ハンズオン 15
17. © 2025 estie Inc. Snowflake x dbt ハンズオン 1. データ取り込み 2. dbt 作成 3. 提出 16 コンペサイトからダウンロー ドしたデータを Snowflake に Upload local files などか らアップロードする
18. © 2025 estie Inc. Snowflake x dbt ハンズオン 1. データ取り込み 2. dbt 作成 3. 提出 17 .zip の中⾝を .csv.gz に変換したうえでアップロードする .csv では学習データがサイズオーバーでエラーが出てしまう Database, Schama, Table それぞれの名前を指定する
19. © 2025 estie Inc. Snowflake x dbt ハンズオン 1. データ取り込み 2. dbt 作成 3. 提出 18 CSV を選択するとカラムの型が⾃動推論されるので、そのまま取り込む
20. © 2025 estie Inc. Snowflake x dbt ハンズオン 1. データ取り込み 2. dbt 作成 3. 提出 19 Workspace で Add new から dbt Project を作成する
21. © 2025 estie Inc. Snowflake x dbt ハンズオン 1. データ取り込み 2. dbt 作成 3. 提出 20 dbt Project の雛形が作成された dbt では基本的に Jinja template とともに SQL を記述していく
22. © 2025 estie Inc. Snowflake x dbt ハンズオン 1. データ取り込み 2. dbt 作成 3. 提出 21 取り込んだ学習・評価データを dbt で使うため、source を定義 する Schema, Table の名前が必要
23. © 2025 estie Inc. Snowflake x dbt ハンズオン 1. データ取り込み 2. dbt 作成 3. 提出 22 source から学習・評価データを 連結し、さらに平⽶単価を追加し た model を作成する 将来的にはここで国⼟数値情報を 合流させる
24. © 2025 estie Inc. Snowflake x dbt ハンズオン 1. データ取り込み 2. dbt 作成 3. 提出 23 Build を選択し から実⾏する 成功すると DAG を確認できるようになる
25. © 2025 estie Inc. Snowflake x dbt ハンズオン 1. データ取り込み 2. dbt 作成 3. 提出 24 Database Explorer から⽣成さ れた view を確認すると、平⽶単 価が計算できていることがわかる
26. © 2025 estie Inc. • ここまででデータの前処理ができました • ここからは機械学習をやっていきます • dbt で機械学習…🤔 • ちょうど弊社でも dbt で機械学習したかったので dbt package を公開しています • https://github.com/estie-inc/dbt_snowflake_ml • dbt Projects on Snowflake でも external access を 設定するとインストールできるが、試⽤版では不可 • ライブラリの実体は macro 1 ファイルなのでコピペ で動く Snowflake x dbt ハンズオン 25
27. © 2025 estie Inc. • ここまででデータの前処理ができました • ここからは機械学習をやっていきます • dbt で機械学習…🤔 • ちょうど弊社でも dbt で機械学習したかったので dbt package を公開しています • https://github.com/estie-inc/dbt_snowflake_ml • dbt Projects on Snowflake でも external access を 設定するとインストールできるが、試⽤版では不可 • ライブラリの実体は macro 1 ファイルなのでコピペ で動く Snowflake x dbt ハンズオン 26
28. © 2025 estie Inc. • ここまででデータの前処理ができました • ここからは機械学習をやっていきます • dbt で機械学習…🤔 • ちょうど弊社でも dbt で機械学習したかったので dbt package を公開しています • https://github.com/estie-inc/dbt_snowflake_ml • dbt Projects on Snowflake でも external access を 設定するとインストールできるが、試⽤版では不可 • ライブラリの実体は macro 1 ファイルなのでコピペ で動く Snowflake x dbt ハンズオン 27
29. © 2025 estie Inc. • ここまででデータの前処理ができました • ここからは機械学習をやっていきます • dbt で機械学習…🤔 • ちょうど弊社でも dbt で機械学習したかったので dbt package を公開しています • https://github.com/estie-inc/dbt_snowflake_ml • dbt Projects on Snowflake でも external access を 設定するとインストールできるが、試⽤版では不可 • ライブラリの実体は macro 1 ファイルなのでコピペ で動く Snowflake x dbt ハンズオン 28
30. © 2025 estie Inc. Snowflake x dbt ハンズオン 1. データ取り込み 2. dbt 作成 3. 提出 29 dbt-snowflake-ml で dbt の DAG に ML の学習・推論を含め ることができる
31. © 2025 estie Inc. Snowflake x dbt ハンズオン 1. データ取り込み 2. dbt 作成 3. 提出 30 推論結果を SQL でクエリし、結 果を Download as .csv すると 提出⽤の .csv を出⼒することが できる ※ヘッダを取り除く必要がある
32. © 2025 estie Inc. Snowflake x dbt ハンズオン 1. データ取り込み 2. dbt 作成 3. 提出 31 Snowflake からダウンロードし た .csv を提出した様⼦
33. © 2025 estie Inc. • test • not null や値域のテストを書ける • dbt test や dbt build で実⾏される • seed • csv をパイプラインに取り込むことができる • 外れ値や誤りの修正に • model versioning • 同じモデルでバージョンごとに異なる実装を持たせられる dbt のほかの便利機能 32
34. © 2025 estie Inc. • Notebook • トライ＆エラーに便利 • Streamlit • 可視化に便利 • Marketplace • 様々な有償・無償のデータが提供されている • 第三者によって地価公⽰などの国⼟数値情報オープンデータも提供されています • Snowpark Container Service • GPU とか使えて爆速らしいですがまだ試せておらず… Snowflake のほかの便利機能 33
35. © 2025 estie Inc. Snowflake × dbt を活⽤して 最強のモデルを作りましょう︕ 34