国土交通省 データコンペ参加者向け勉強会

2024/10/30（水）開催の国土交通省 データコンペ参加者向け勉強会の資料です。
シラバスや資料・データ一式（講義動画含む）を公開していますので、以下リンクを参照ください。

■勉強会シラバス
　https://241030.peatix.com/　
■資料・データ一式（講義動画含む）
　https://drive.google.com/drive/u/0/folders/13cGGRX_f4Duvr_mvT4gmx4-HzStcDUa3

Transcript

1. 国土交通省 データコンペ参加者向け勉強会 1 2024.10.30 株式会社GA technologies Product Management Product Manager Advanced Innovation Strategy Center General Manager 橋本 武彦 国土交通省 地理空間情報データチャレンジ ～国土数値情報編～
2. １．コンペの概要・データの説明 ２．データ分析のプロセス説明 ３．（入門編）シンプルに賃料を予測してみよう！ ４．（応用編①）地図に可視化して考えよう！ ５．（応用編②）APIを活用して、色々なデータを組み入れよう！ 本日のガイダンス ✔ ”不動産領域での賃料予測”の一連のプロセスを理解する ✔ 不動産領域での分析をサポートするGISのイメージを掴む 狙いは
3. ICE BREAK！！！　*チャットをお願いします！ 3 1. 不動産業界の方？ 2. Python触ったことがある方？
4. １．コンペの概要・データの説明 ２．データ分析のプロセス説明 ３．（入門編）シンプルに賃料を予測してみよう！ ４．（応用編①）地図に可視化して考えよう！ ５．（応用編②）APIを活用して、色々なデータを組み入れよう！ Contents
5. １．コンペの概要・データの説明 ２．データ分析のプロセス説明 ３．（入門編）シンプルに賃料を予測してみよう！ ４．（応用編①）地図に可視化して考えよう！ ５．（応用編②）APIを活用して、色々なデータを組み入れよう！ Contents
6. 自己紹介：橋本 武彦 6 氏名 橋本 武彦（はしもと たけひこ） 所属 GA technologies　 　　Advanced Innovation Strategy Center　General Manager 　　Product Management　Product Manager 電気通信大学　客員准教授 滋賀大学データサイエンス学部　インダストリアルアドバイザー 国土交通省 不動産IDルール検討会　構成員（令和3年度） キャリア サマリ Sier（エンジニア5年/研究員2年） ⇒ 調査会社（リサーチャー3年） ⇒ ブレインパッド（シニアデータサイエンティスト9年）を経て2017 年4月から現職にてAISCの立ち上げに参画 データサイエンティスト協会（元事務局長）やデータサイエンティス ト育成の新規事業の立ち上げ 大学（電通大、滋賀大、立正大、慶應SFC、早稲田大、立教大など）や 官公庁（経産省、総務省、国交省）での講義や講演・執筆など E-Mail t_hashimoto@ga-tech.co.jp Socialｱｶｳﾝﾄ https://www.facebook.com/hashimoto.takehikko
7. • 2013年創業。不動産をはじめ、様々な産業 のビジネス変革に取り組むテック企業 • IT化の遅れた業界全体のDXへの貢献を視野 *東証グロース市場で唯一DX銘柄に３年連続選定 • 2017/4にAISC設立 *不動産業界初 会社紹介 7 設立年月日 2013年 3月 資本金 72億6247万6717円 *2023年10月末時点 代表取締役 樋口龍 事業内容 • ネット不動産投資サービスブラ ンド「RENOSY」の開発・運営 • SaaS型のBtoB PropTechプロダ クトの開発 従業員 1,350人 *2024年3月末時点、グループ会社含む
8. データコンペの実施概要 8 • 国土交通省が整備するオープンデータ「国土数値情報」と民間企業のデータを活用し、不動産の賃 料の予測モデルを構築 ◦ 予測値は”ある年月におけるある物件の賃料(単位は円)” ◦ 評価方法はRMSE（Root Mean Square Error（二乗平均平方根誤差））
9. １．コンペの概要・データの説明 ２．データ分析のプロセス説明 ３．（入門編）シンプルに賃料を予測してみよう！ ４．（応用編①）地図に可視化して考えよう！ ５．（応用編②）APIを活用して、色々なデータを組み入れよう！ Contents
10. PPDACとは？ 10 引用：センサス＠スクール https://census.k-junshin.ac.jp/html/ppdac.html • データに基づく問題解決のプロセス ◦ 学習指導要領や統計検定3級など ▪ 賃料予測を本プロセスで一緒になぞってみ ましょう！
11. Problem：問題の明確化と定量化 11 • 明確化 ◦ 問題はなにか、目的はなにか、目標はなにか ▪ （ある時点のある物件の）賃料の予測 • 定量化 ◦ 数字で計測できるように定義 ◦ （NG：物件の人気度 / OK：物件の問合数、 新しい（築年数）、駅近（徒歩分数）、etc） ▪ 評価方法：RMSE 引用：センサス＠スクール https://census.k-junshin.ac.jp/html/ppdac.html
12. Plan：分析の設計 12 • 問題に対し素材 × 調理を描く。（筋の良い）仮説 を持つことが大切 ◦ 必要な素材を考え（=データ） ◦ どう調理するか（=分析方針） ▪ 賃料の予測のために賃料の構造（仮説）を 考える！ 引用：センサス＠スクール https://census.k-junshin.ac.jp/html/ppdac.html
13. 賃料に影響を及ぼす要因を考えてみましょう　*チャットをお願いします！ 13 賃料が高い部屋/低い部屋の特徴は？
14. • 賃料が高い部屋/低い部屋の特徴は？ 賃料予測の分析設計 14 必要な素材（データ） 調理（分析） ❏ 新築、高層階 ❏ 広い、共有/専有の設備が良い ❏ 治安が良い、災害リスクが低い ❏ 保育園や学校が充実 ❏ 都会/地方 ❏ 引越しシーズン（繁忙期）、etc ❏ 比較 ❏ エリア、ﾏﾝｼｮﾝ/ｱﾊﾟｰﾄ ❏ 関係 ❏ 賃料 × 面積、駅徒歩 ❏ 面積 × 駅徒歩（× エリア） ❏ 推移 ❏ 賃料、災害発生数
15. • 需要（入居者）と供給（物件）のバランスの元、どのような構造かを考え抜く ロジックツリーによる賃料の要因分解 15 賃料 立地 建物/ 部屋 時期 エリア 近隣施設（ ex.駅、学校） 種別、構造、築年、 etc 面積、階、設備、 etc トレンド（ ex.バブル） 季節性（ ex.繁忙期） × × ... ... ...
16. Data：（必要な素材（=データ）の）収集と加工 16 • 問題に対し必要なデータが手元に揃っていること は基本ない • 必要なデータを ◦ どう収集するか ◦ （分析しやすいよう）どう加工するか ▪ コンペ故、提供データから選定だがLIFULL 物件データで約150項目、国土数値情報は 130種類以上のデータセット！ ▪ 上記を緯度経度などで連携したり、GISの 加工なども必要！ 引用：センサス＠スクール https://census.k-junshin.ac.jp/html/ppdac.html
17. Analsis：Fact & Findings 17 • Fact ◦ 基本統計量や可視化から現状把握 • Findings ◦ 比較、関係、傾向の観点で知見を見出す 引用：センサス＠スクール https://census.k-junshin.ac.jp/html/ppdac.html
18. • データ型（量的変数/質的変数）を踏まえ、基本統計量やグラフから現状把握 ◦ 量的変数：賃料、面積、階、etc　/ 質的変数：ID、物件名、間取り、etc 基本統計量と集計・可視化 18 基本統計量 集計・可視化 ❏ 分布の位置 ❏ 平均値、中央値、最頻値 ❏ 分布の拡がり ❏ 範囲、分散、標準偏差 ❏ 分布の形状 ❏ 尖度、歪度 ❏ 比較 ❏ クロス集計 ❏ 棒・円グラフ ❏ ヒストグラム ❏ 関係 ❏ 散布図 ❏ 推移 ❏ 折れ線グラフ
19. • 賃料に影響を及ぼす特徴量を探索 ◦ 特徴量同士の影響も考慮 比較/関係/傾向 19 ❏ 比較 ❏ クロス集計 ❏ 棒・円グラフ ❏ ヒストグラム ❏ 関係 ❏ 散布図 ❏ 推移 ❏ 折れ線グラフ 集計・可視化 ❏ 大小 ❏ 類似 ❏ 相関 ❏ トレンド ❏ 季節性/周期性
20. Conclusion：（各プロセスの）統合 20 • 統合とは ◦ PPDAを踏まえ、問題に対し結論を提示 ◦ 結論が出ない場合、必要なプロセスに戻る • 新たな問題から次のサイクルへ ▪ 予測結果の予実の差異の考察 ▪ 前処理 ⇒ 探索的データ分析 ⇒ 特徴量 ⇒ モデル選択/評価 ⇒ （パラメータチューニング） ⇒ （アンサンブル） 引用：センサス＠スクール https://census.k-junshin.ac.jp/html/ppdac.html
21. １．コンペの概要・データの説明 ２．データ分析のプロセス説明 ３．（入門編）シンプルに賃料を予測してみよう！ ４．（応用編①）地図に可視化して考えよう！ ５．（応用編②）APIを活用して、色々なデータを組み入れよう！ Contents
22. ハンズオン！！！　*質問あれば気軽にチャットください 22 • 資料一式。事前にデータDL & GoogleDriveに保存 ◦ https://drive.google.com/drive/folders/13cGGRX_f4Duvr_mvT4gmx4-HzStcDUa3 • ぜひ、手を動かしながら学んでください ◦ 論よりRUN！ • 参考 有志のnote ◦ https://takaito0423.hatenablog.com/entry/2024/10/23/221608
23. １．コンペの概要・データの説明 ２．データ分析のプロセス説明 ３．（入門編）シンプルに賃料を予測してみよう！ ４．（応用編①）地図に可視化して考えよう！ ５．（応用編②）APIを活用して、色々なデータを組み入れよう！ Contents
24. 不動産情報ライブラリの紹介（神サイト？！？） 24 • 不動産情報ライブラリ（https://www.reinfolib.mlit.go.jp/）は不動産の取引価格、地価公示等の価格情報や 防災情報、都市計画情報、周辺施設情報等、不動産に関する情報を閲覧できる国交省サイト ◦ 国土数値情報の一部を含む。他に土地バンクも同種の情報を提供 *要ログイン登録 引用：国土交通省サイト https://www.mlit.go.jp/policy/shingikai/content/001744217.pdf
25. Demo：不動産情報ライブラリ（ハザードマップ） 25
26. Demo：不動産情報ライブラリ（マンション募集価格 × 駅別乗降客数） 26
27. ハンズオン！！！　*質問あれば気軽にチャットください 27 • Python & 国土数値情報（ポイント/ライン/ポリゴン or メッシュ） で不動産情報ライブ ラリと同じように可視化をしてみましょう！ • 参考URL　Pythonではじめるロケーションデータ解析 ◦ 種類（ラスタ/ベクタ）や構造（ポイント（点）/ライン（線）/ポリゴン（面）） ◦ 座標系（世界測地/日本測地）、PythonライブラリやTool ◦ 空間統計の考え方と事例
28. １．コンペの概要・データの説明 ２．データ分析のプロセス説明 ３．（入門編）シンプルに賃料を予測してみよう！ ４．（応用編①）地図に可視化して考えよう！ ５．（応用編②）APIを活用して、色々なデータを組み入れよう！ Contents
29. ZENRIN Maps APIの活用 29 • 今回のコンペの一番の特徴は国土数値情報を始めとした多種多様なデータセット提供 • データセット間の連携は緯度経度が主体 ◦ 住所を緯度経度に変換して利用（ジオコーディング） ◦ ただし住所の表記揺れや粒度の不揃いなどに注意 引用：第1回 データコンペ開会式 ゼンリン資料
30. ハンズオン！！！　*質問あれば気軽にチャットください 30 • 駅の評価や分類用に乗降客数に加え、人口や近隣のスーパーの数を追 加してみましょう • 他にもターミナル駅への所要時間など、組み合わせは多数！
31. （まとめ）予測モデルの精度向上に向けて 31 • まずはDataに真摯に向き合いましょう ◦ 俯瞰/各行（個票）/Web画像（物件写真や周辺） • TrainとTestの双方をみましょう ◦ 予測対象はTest。一方、バリデーションも大切 • データ（≒前処理）と賃料構造の理解が差異化要因になります ◦ 全変数を機械的に処理してlightGBM、マシンパワー任せのチューニン グやアンサンブルなどでは壁を超えられない • GISを活用し、仮説の検証や予実の差異を考察しましょう ◦ 精度の向上や多種多様なデータセット活用のヒント
32. Appendix.参考情報_不動産関連 32 • ビジネスモデル ◦ https://f-mikata.jp/bussiness-model/ • 賃貸の市況 ◦ http://www.reins.or.jp/library/ ◦ https://www.smtri.jp/market/mansion/ • マンション価格指数 ◦ https://www.mlit.go.jp/totikensangyo/totikensangyo_tk5_0000 85.html ◦ https://www.homes.co.jp/cont/data/data_00095/?_ga=2.17427 8951.404533083.1729441167-548013482.1729441167
33. Appendix.参考情報_データサイエンス基礎 33 • なるほど統計学園 - 総務省統計局 ◦ https://www.stat.go.jp/naruhodo/ • 社会人のためのデータサイエンス演習 ◦ https://gacco.org/stat-japan2/ ◦ （書籍）https://jstat.stores.jp/items/5f4defd9223ead019da6f34b • データサイエンティスト協会　DSSJournal お役立ちリンク ◦ https://www.datascientist.or.jp/dssjournal/link/ ◦ https://mag.ga-tech.co.jp/careers/mag/12391/ • （書籍）統計学ガイダンス ◦ https://www.nippyo.co.jp/shop/book/6582.html
34. Appendix.参考情報_コンペ関連 34 • Kaggle-ja Slack ◦ https://join.slack.com/t/kaggler-ja/shared_invite/zt-2t7w0h3tc-E3GwBbjYwe~k0hZ_E3UGfw • Kaggle-ja Wiki ◦ https://kaggler-ja.wiki/ • コンペ勝者のレポート ◦ https://www.slideshare.net/ShangxuanZhang/winning-data-science-competitions-presented-by-owen-zhang ◦ https://speakerdeck.com/smly/detafen-xi-kontesutofalse-sheng-zhe-jie-da-karaxue-bu?slide=69 • Signate 入賞者レポート（飯田産業 土地の販売価格の推定/マイナビ × SIGNATE Student Cup 2019: 賃貸物件の家賃予測） ◦ https://signate.jp/competitions/162/summary ◦ https://signate.jp/competitions/182/summary • （書籍）Kaggleで勝つデータ分析の技術 ◦ https://gihyo.jp/book/2019/978-4-297-10843-4
35. Appendix.参考情報_GA technologies、JSAI、UECの不動産×AI 35 • Advanced Innovation Strategy Center HP（価格推定） ◦ https://aisc.ga-tech.co.jp/research/data-science/home-value-estimate • Tech Lab（AISCのテクノロジーショーケース） ◦ https://prtimes.jp/main/html/rd/p/000000304.000021066.html ◦ https://www.lab.aisc.ga-tech.co.jp • AISC note（電通大、滋賀大の講義） ◦ https://note.com/takenotabi/n/n7bc11d2f21f9 ◦ https://note.com/takenotabi/n/n91fd2273ed4c • Renosy Magazine（賃料記事） ◦ https://www.renosy.com/magazine/entries/4477 • （JSAI）不動産とAI ◦ https://sites.google.com/view/realestate-ai/ • 電気通信大学データアントレプレナーフェロープログラム ◦ https://de.uec.ac.jp/