從開放資料到資料治理

2017 國發會開放資料工作坊

Transcript

1. Data Governance 從開放資料到資料治理 Opendata.TW / 張維志 – 2017.04.18 whisky@opendata.tw
2. • https://www.facebook.com/opendata.tw • https://www.facebook.com/groups/odtwn/ • https://www.facebook.com/groups/Open.Campus/
3. 2017 OD2DG 大綱 1. 政府開放資料的問題 2. 開放資料作好作滿 3. 機關網站與開放資料 4. 網站資訊結構化
4. 2017 OD2DG 簡報 1. http://bit.ly/2017odw-3 2. http://sli.do #8068
5. 2017 OD2DG 顯著有感地震報告資 料-顯著有感地震報告 小區域有感地震報告資 料-小區域有感地震報告 路外停車資訊 不動產買賣實價 登錄批次資料 勞工體格及健康檢 查認可醫療機構
6. 2017 OD2DG
7. 2017 OD2DG http://www.idealyzt.com/100-opendata-types/
8. 2017 OD2DG
9. 2017 OD2DG
10. 2017 OD2DG 問題： • 資料看起來很多，但是 80-90% 根本沒 人用 (少於 100-200 下載） • 資料很多都是 CSV / XML / JSNO – 但 是有多少是騙人的 (偽裝的三星）
11. 2017 OD2DG 資料為什麼沒人用 : 沒人用還是沒人知道 沒人用還是不知道怎麼用 沒人用還是資料品不堪用
12. 2017 OD2DG 沒人用還是沒人知道 開放資料要去哪裡找？ 誰會特別去找開放資料？
13. 2017 OD2DG
14. 2017 OD2DG
15. 2017 OD2DG 讓資料被找到 建立連結，需傳，推廣 開放資料也是業務的一環
16. 2017 OD2DG 沒人用還是不知道怎麼用 立法院公報，要用來幹嘛？ 路上的行道樹資料，可以做什麼
17. 2017 OD2DG
18. 2017 OD2DG
19. 2017 OD2DG
20. 2017 OD2DG
21. 2017 OD2DG 發掘資料的價值 用資料來解決問題 所以我們須要先定義問題 找出需求，然後才是答案
22. 2017 OD2DG http://www.ithome.com.tw/article/98070
23. 2017 OD2DG 沒人用還是資料品質不堪用 資料名稱不清楚 內容欄位說明不清楚 資料格式編碼有錯誤 資料欄位內容錯誤或缺失 資料收集來源不清楚
24. 2017 OD2DG
25. 2017 OD2DG
26. 2017 OD2DG 資料品質為什麼不佳: 因為資料產出的流程 因為不知道什麼是資料？ 因為不知道資料會被怎麼使用？ 因為不知道開放資料在幹嘛？
27. 2017 OD2DG 真正的問題 : 資料如何產出 如何把資料作好作滿
28. 2017 OD2DG 如何把資料作好作滿: 什麼是資料（資訊技術的定義） 什麼是資料品質
29. 2017 OD2DG 開放資料五星 :
30. 2017 OD2DG https://www.slideshare.net/ChiachunYeh/105-v1-20160317
31. 2017 OD2DG 資料來源：Open data Support (2014). Open Data & Metadata Quality. Available from: https://www.slideshare.net/OpenDataSupport/open-data-quality-29248578 . (last access 2016/1/30) 資料品質 :
32. 2017 OD2DG
33. 2017 OD2DG 資料來源：Open data Support (2014). Open Data & Metadata Quality. Available from: https://www.slideshare.net/OpenDataSupport/open-data-quality-29248578 . (last access 2016/1/30) 資料品質 :
34. 2017 OD2DG
35. 2017 OD2DG 資料品質評鑑 : 1. 資料 metadata 描述 2. 資料下載與取得 3. 資料編碼與資料結構化 4. 資料內容描述 (data schema) 5. 資料欄位與內容標準 (standard)
36. 2017 OD2DG 資料品質評鑑 : 1. 資料 metadata 描述 2. 資料下載與取得 3. 資料編碼與資料結構化 4. 資料內容描述 (data schema) 5. 資料欄位與內容標準 (standard)
37. 2017 OD2DG 資料集詮釋資料與內容 : 1. 資料集與關鍵字搜尋 2. 資料集的標題 3. 資料集的描述 4. 主要欄位說明 5. 資料集更新頻率
38. 2017 OD2DG http://data.gov.tw/node/22373
40. 2017 OD2DG
41. 2017 OD2DG
43. 2017 OD2DG
44. 2017 OD2DG 資料品質評鑑 : 1. 資料 metadata 描述 2. 資料下載與取得 3. 資料編碼與資料結構化 4. 資料內容描述 (data schema) 5. 資料欄位與內容標準 (standard)
45. 2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式 4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
46. 2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式 4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
47. 2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式 4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
48. 2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式 4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
49. 2017 OD2DG • 結構化 • DB – 資料庫 • XML / JSON / KML • 半結構化 • CSV / TSV • 非結構化 • Word / 圖片 / 影音
50. 2017 OD2DG
51. 2017 OD2DG
52. 2017 OD2DG 中文編碼 (Big5 / UTF8)
53. 2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式 4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗
54. 2017 OD2DG
55. 2017 OD2DG 主要欄位說明
56. 2017 OD2DG
57. 2017 OD2DG
58. 2017 OD2DG https://goo.gl/WnHp53
59. 2017 OD2DG 內容的檢驗 (結構化)資料分類 1. 表格數字 + 文字 Excel / Google Sheets 2. 地理空間資料 Google Fusion Table CartoDB
60. 2017 OD2DG 內容的檢驗 資料清洗 – Data Cleaning 一致性檢查 • 台北市，北市，台北 • 使用單位 (千元，萬？) • 多餘空白 • 重複資料 無效值與缺失值 • 噪音資料 / Noisy Data • 不完整資料 / incomplete Data
61. 2017 OD2DG 什麼才是好資料 : 我知道這個資料在說什麼 我知道資料怎麼收集 我知道資料涵蓋範圍和內容 我知道資料幾時會更新 我不用花時間去清洗資料
62. 2017 OD2DG 如何一招解救世界: 所有可公開資訊都在機關網站上 網站上資訊沒有個資或機密問題 所有人搜尋都會找到網站 從網站我可知道人民的需求 機關網站採用開放資料授權
63. 2017 OD2DG 有沒有可能 讓網站與網頁上的內容 直接轉為開放資料
64. 2017 OD2DG 釐清資料歸屬權 把網站內容轉為資料集
65. 2017 OD2DG 資料結構化 資料描述 - Metadata 開放近用 (開放格式，開放 API）
66. 2017 OD2DG
67. 2017 OD2DG http://osds.openlinksw.com/
68. 2017 OD2DG
69. https://icook.tw/recipes/81979.json 2017 OD2DG
70. 2017 OD2DG
71. 2017 OD2DG
72. 2017 OD2DG
73. 2017 OD2DG
74. 2017 OD2DG
75. 2017 OD2DG www.slideshare.net/ChiachunYeh/105-v1-20160317
76. 2017 OD2DG 資訊結構化 : 1. 資訊分類（網站內容） 2. 語意分類模式與資料模型 3. 資訊內容結構化與相關標準 4. 網頁嵌入結構化資料 5. 建立網站地圖 （結構化資料）
77. 2017 OD2DG 如何一招解救世界: 重新設計網站（網站資訊架構） 網站內容分類與結構化 後台設計（上稿與資料介接） 網頁呈現與網站地圖
78. 2017 OD2DG 資料治理與資料生命週期 但是還有許多其他資料
79. 2017 OD2DG https://www.w3.org/TR/2017/REC-dwbp-20170131/