オープンデータ分析セミナー データ可視化・分析って何するの？

2025/3/5 CDLE北海道主催オープンデータ分析セミナーのセミナー資料です

Transcript

1. データ可視化・分析って 何するの？ CDLE北海道 蝦名 優希 2025/3/5（水） 札幌市オープンデータ利活用セミナー＋ハンズオン
2. 目次 自 己 紹 介 1 . オ ー プ ン デ ー タ に つ い て 2 . デ ー タ 可 視 化 の 目 的 ・ 概 要 3 . 可 視 化 ・ 分 析 内 容 の 紹 介 4 .
3. １.自己紹介
4. 北 海 道 札 幌 市 出 身 2 0 1 8 年 東 京 の 大 手 S I e r 就 職 　 → 2 0 2 1 年 U タ ー ン し 市 内 の S I e r に 転 職 C D L E 北 海 道 発 起 人 ・ リ ー ダ ー J D L A 認 定 資 格 G 検 定 2 0 1 9 # 1 取 得 E 資 格 2 0 2 4 # 1 取 得 札 幌 A I 道 場 第 ３ 期 門 下 生 X : @ y e b i b a n _ 蝦名　優希
5. 2.オープンデータについて
6. 国 、 地 方 公 共 団 体 及 び 事 業 者 が 保 有 す る 官 民 デ ー タ の う ち 、 国 民 誰 も が イ ン タ ー ネ ッ ト 等 を 通 じ て 容 易 に 利 用 （ 加 工 、 編 集 、 再 配 布 等 ） で き る よ う 、 次 の い ず れ の 項 目 に も 該 当 す る 形 で 公 開 さ れ た デ ー タ を オ ー プ ン デ ー タ と 定 義 す る 。 ① 営 利 目 的 、 非 営 利 目 的 を 問 わ ず 　 二 次 利 用 可 能 な ル ー ル が 適 用 さ れ た も の ② 機 械 判 読 に 適 し た も の ③ 無 償 で 利 用 で き る も の 参 考 ： デ ジ タ ル 庁 「 オ ー プ ン デ ー タ 基 本 指 針 」 オープンデータとは？
7. オープンデータの例 国 ・ 自 治 体 の オ ー プ ン デ ー タ e - S t a t （ 総 務 省 統 計 局 が 提 供 す る 日 本 の 政 府 統 計 デ ー タ を 掲 載 ） R E S U S （ 地 域 経 済 や 産 業 動 向 を 可 視 化 す る 政 府 提 供 の ツ ー ル ） 北 海 道 オ ー プ ン デ ー タ ポ ー タ ル （ 北 海 道 の 各 自 治 体 が 提 供 す る オ ー プ ン デ ー タ を 掲 載 ） D A T A S M A R T C I T Y S A P P O R O （ 札 幌 市 が 提 供 す る オ ー プ ン デ ー タ を 掲 載 ） 分 野 別 の オ ー プ ン デ ー タ  国 土 数 値 ダ ウ ン ロ ー ド サ イ ト （ 地 形 、 土 地 利 用 、 公 共 施 設 な ど の 国 土 に 関 す る 情 報 を 提 供 ）  気 象 庁 デ ー タ （ 天 気 予 報 、 気 温 、 降 水 量 、 台 風 、 地 震 な ど の デ ー タ を 取 得 可 能 ） 海 外 の オ ー プ ン デ ー タ W o r l d B a n k O p e n D a t a （ 世 界 銀 行 が 提 供 す る 各 国 の 経 済 指 標 デ ー タ ）  E U O p e n D a t a P o r t a l （ 統 計 、 研 究 、 環 境 、 公 共 サ ー ビ ス の デ ー タ が 利 用 可 能 ）  他にもたくさんの オープンデータがあります
8. マ ー ケ テ ィ ン グ に 活 用 福 井 県 で は 博 物 館 予 約 状 況 や 宿 泊 予 約 状 況 、 観 光 サ イ ト の ア ク セ ス デ ー タ を 公 開 観 光 客 の 動 向 を 把 握 し プ ロ モ ー シ ョ ン に 利 用 市 民 向 け の ア プ リ 開 発 伊 豆 箱 根 バ ス の リ ア ル タ イ ム デ ー タ を オ ー プ ン デ ー タ 化 リ ア ル タ イ ム 位 置 情 報 を G o o g l e マ ッ プ で 利 用 可 能 に オープンデータの活用事例 住 民 の 利 便 性 向 上 観 光 の 活 性 化 防 災 ・ 都 市 計 画 防 災 リ ス ク を 理 解 し 防 災 施 策 に 活 用 厚 木 市 は 3 D 都 市 モ デ ル と 洪 水 浸 水 想 定 区 域 や 土 砂 災 害 警 戒 区 域 、 震 度 分 布 図 な ど の デ ー タ を 活 用 3 D ハ ザ ー ド マ ッ プ を オ ー プ ン デ ー タ と し て 公 開 （出典：あつぎ3Dデジタルマップ） （出典：ＧTFSリアルタイムデータのオ ープンデータ化とリアルタイム位置情報 のGoogleマップへの掲載について） （出典：福井県観光データ分析システム 「FTAS」 ）
9. 3.データ可視化の目的・概要
10. 収集 前処理 分析 可視化 意思決定 データ活用の流れ データのダウンロード APIによる取得 クレンジング 整形 傾向分析 異常値の発見 統計解析 機械学習 レポート ダッシュボード
11. 情 報 を 直 感 的 に 理 解 で き る 数 値 の 羅 列 よ り も グ ラ フ や マ ッ プ な ど の 視 覚 的 表 現 の ほ う が 理 解 し や す く な る 異 常 値 や ト レ ン ド の 発 見 が 容 易 に な る 大 量 の デ ー タ の 中 に 含 ま れ る パ タ ー ン や 異 常 値 を 見 つ け や す く な る 迅 速 で 正 確 な 意 思 決 定 を サ ポ ー ト 可 視 化 す る こ と で 、 状 況 を 的 確 に 把 握 し 、 ス ピ ー デ ィ ー な 意 思 決 定 が 可 能 に な る デ ー タ の 説 得 力 を 高 め 、 共 有 を 円 滑 に す る プ レ ゼ ン や 報 告 書 で 視 覚 的 な 要 素 を 取 り 入 れ る と 、 デ ー タ の 説 得 力 が 増 し 、 意 思 決 定 者 や 関 係 者 と の コ ミ ュ ニ ケ ー シ ョ ン も ス ム ー ズ に な る データ可視化の目的
12. 一般的なツールを利用 (Excel、スプレッドシート等) BIツールを利用 (Tableau、Power BI等) コードを書く (Python、JavaScript等) 難易度 低 中 中〜高 特徴 手軽にグラフを作成 少量のデータを素早く可 視化 データの概要把握など、 簡単な分析 データベースと接続し動 的に分析 大規模なデータ分析 時系列分析や異常検知な ど高度な分析 自由度の高い分析 JavaScript：ダッシュボ ードなどWeb向けの可視 化 Python：機械学習結果の 可視化など高度な分析 データ可視化の方法 ハンズオンで利用
13. 環 境 以 下 の ど ち ら か ロ ー カ ル （ 自 分 の P C ） で 実 行 ク ラ ウ ド サ ー ビ ス （ G o o g l e C o r a b o l a t o r y な ど ） で 実 行 ラ イ ブ ラ リ の 利 用 計 算 や グ ラ フ 描 画 を 行 う た め の ラ イ ブ ラ リ を イ ン ポ ー ト し て 利 用 す る P a n d a s 　 ： 　 表 形 式 の デ ー タ を 扱 う N u m p y 　 ： 　 数 値 計 算 を 高 速 に 行 う M a t p l o t l i b 、 S e a b o r n 　 ： 　 グ ラ フ や 図 を 描 画 S c i k i t - l e a r n 　 ： 　 機 械 学 習 を 行 う Pythonの使い方
14. 4.可視化・分析内容の紹介
15. データ 内容 データ名 札幌市円山動物園の入場者数（2024年1月1日～2024年1月31日） 〜札幌市円山動物園の入場者数（2024年12月1日～2024年12月31日） URL https://ckan.pf-sapporo.jp/dataset/sapporo_maruyama_zoo_visitors 列 日付、A:総入園者数、B:有料入園者数、C:無料入園者数、D:Cのうち幼児、E:Cのうち小学生、F:Cのうち中学 生、G:Cのうち障がい者、H:Cのうち市内70歳以上、I:CのうちD～H以外 データ可視化の例（使用するデータ）
16. デ ー タ の 傾 向 ・ 比 較 ・ 構 成 を 可 視 化 データ可視化の例（1/5） 折 れ 線 グ ラ フ 円 グ ラ フ 時系列データの変化 （例：12月の日ごとの入場者数の推移） 棒 グ ラ フ カテゴリデータの比較 （例：12/1の有料入園者と 無料入園者数の比較） 全体に対する割合 （例：無料入園者に占める属性の割合）
17. 外れ値 デ ー タ の 分 布 を 可 視 化 す る データ可視化の例（2/5） ヒ ス ト グ ラ ム 箱 ひ げ 図 データの分布の形 （2024年の1日の総入場者数の分布） データのばらつき （2024年の1日の総入場者数の分布）
18. デ ー タ の 分 布 を 可 視 化 す る データ可視化の例（2/5） GWが最多！
19. 2 つ の 変 数 の 相 関 ( ※ ) を 可 視 化 す る データ可視化の例（3/5） 散 布 図 ヒ ー ト マ ッ プ 変数の関係を個々のデータで確認 （総入場者と幼児、総入場者と中学生の関係） 相関や傾向を大まかに把握 （各変数間の相関係数） ※相関：一方が変化すれば他方も 　　　　変化するように相互に 　　　　関係し合うこと
20. テ ー ブ ル デ ー タ 以 外 の デ ー タ 可 視 化 データ可視化の例（4/5） 言 語 デ ー タ 地 理 デ ー タ 例：ワードクラウド データ：SixTONES YouTubeのコメント 例：札幌市のヒグマ出没場所 データ：2024年　札幌市内のヒグマ出没情報
21. 【 発 展 】 時 系 列 デ ー タ の 分 析 の 注 意 点 データ可視化の例（5/5） トレンド（長期的な変化の傾向）や季節性（定期的に繰り返されるパターン）を把握する 　→移動平均（データのノイズを取り除き、全体の傾向を見やすくする）を活用 ラグ（過去のデータと現在のデータの関係）を確認 　　 （例）1週間前のデータと今日のデータが似ているか？ 　→自己相関があるかどうかを確認できる 自己相関（現在の値の過去の値の相関をはかる指標）を考慮する 　→季節性などの傾向をふまえた（＝ランダム値としてではない）予測を行える 　　モデルを選定して学習を行う
22. ご清聴ありがとうございました！ 実際にデータに触れてみましょう！