從開放資料到資料治理

Data Governance 從開放資料到資料治理 Opendata.TW / 張維志 – 2017.04.18 [email protected]

• https://www.facebook.com/opendata.tw • https://www.facebook.com/groups/odtwn/ • https://www.facebook.com/groups/Open.Campus/

2017 OD2DG 大綱 1. 政府開放資料的問題 2. 開放資料作好作滿 3. 機關網站與開放資料 4.
網站資訊結構化

2017 OD2DG 簡報 1. http://bit.ly/2017odw-3 2. http://sli.do #8068

2017 OD2DG 顯著有感地震報告資料-顯著有感地震報告小區域有感地震報告資料-小區域有感地震報告路外停車資訊不動產買賣實價登錄批次資料勞工體格及健康檢
查認可醫療機構

2017 OD2DG

2017 OD2DG http://www.idealyzt.com/100-opendata-types/

2017 OD2DG

2017 OD2DG 問題： • 資料看起來很多，但是 80-90% 根本沒人用 (少於 100-200
下載） • 資料很多都是 CSV / XML / JSNO – 但是有多少是騙人的 (偽裝的三星）

2017 OD2DG 資料為什麼沒人用 : 沒人用還是沒人知道沒人用還是不知道怎麼用沒人用還是資料品不堪用

2017 OD2DG 沒人用還是沒人知道開放資料要去哪裡找？誰會特別去找開放資料？

2017 OD2DG

2017 OD2DG 讓資料被找到建立連結，需傳，推廣開放資料也是業務的一環

2017 OD2DG 沒人用還是不知道怎麼用立法院公報，要用來幹嘛？路上的行道樹資料，可以做什麼

2017 OD2DG

2017 OD2DG 發掘資料的價值用資料來解決問題所以我們須要先定義問題找出需求，然後才是答案

2017 OD2DG http://www.ithome.com.tw/article/98070

2017 OD2DG 沒人用還是資料品質不堪用資料名稱不清楚內容欄位說明不清楚資料格式編碼有錯誤資料欄位內容錯誤或缺失資料收集來源不清楚

2017 OD2DG

2017 OD2DG 資料品質為什麼不佳: 因為資料產出的流程因為不知道什麼是資料？因為不知道資料會被怎麼使用？因為不知道開放資料在幹嘛？

2017 OD2DG 真正的問題 : 資料如何產出如何把資料作好作滿

2017 OD2DG 如何把資料作好作滿: 什麼是資料（資訊技術的定義）什麼是資料品質

2017 OD2DG 開放資料五星 :

2017 OD2DG https://www.slideshare.net/ChiachunYeh/105-v1-20160317

2017 OD2DG 資料來源：Open data Support (2014). Open Data & Metadata
Quality. Available from: https://www.slideshare.net/OpenDataSupport/open-data-quality-29248578 . (last access 2016/1/30) 資料品質 :

2017 OD2DG

2017 OD2DG 資料來源：Open data Support (2014). Open Data & Metadata
Quality. Available from: https://www.slideshare.net/OpenDataSupport/open-data-quality-29248578 . (last access 2016/1/30) 資料品質 :

2017 OD2DG

2017 OD2DG 資料品質評鑑 : 1. 資料 metadata 描述 2. 資料下載與取得
3. 資料編碼與資料結構化 4. 資料內容描述 (data schema) 5. 資料欄位與內容標準 (standard)

2017 OD2DG 資料集詮釋資料與內容 : 1. 資料集與關鍵字搜尋 2. 資料集的標題 3. 資料集的描述
4. 主要欄位說明 5. 資料集更新頻率

2017 OD2DG http://data.gov.tw/node/22373

2017 OD2DG

2017 OD2DG 資料品質評鑑 : 1. 資料 metadata 描述 2. 資料下載與取得
3. 資料編碼與資料結構化 4. 資料內容描述 (data schema) 5. 資料欄位與內容標準 (standard)

2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式
4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗

2017 OD2DG • 結構化 • DB – 資料庫 • XML
/ JSON / KML • 半結構化 • CSV / TSV • 非結構化 • Word / 圖片 / 影音

2017 OD2DG

2017 OD2DG 中文編碼 (Big5 / UTF8)

2017 OD2DG 資料集檔案格式與內容: 1. 資料取得的方式 2. 檔案格式與編碼 (五星標準) 3. 專屬與非專屬格式
4. 結構化與非結構化格式 5. 主要欄位說明 6. 內容的檢驗

2017 OD2DG

2017 OD2DG 主要欄位說明

2017 OD2DG

2017 OD2DG https://goo.gl/WnHp53

2017 OD2DG 內容的檢驗 (結構化)資料分類 1. 表格數字 + 文字 Excel /
Google Sheets 2. 地理空間資料 Google Fusion Table CartoDB

2017 OD2DG 內容的檢驗資料清洗 – Data Cleaning 一致性檢查 • 台北市，北市，台北
• 使用單位 (千元，萬？) • 多餘空白 • 重複資料無效值與缺失值 • 噪音資料 / Noisy Data • 不完整資料 / incomplete Data

2017 OD2DG 什麼才是好資料 : 我知道這個資料在說什麼我知道資料怎麼收集我知道資料涵蓋範圍和內容我知道資料幾時會更新我不用花時間去清洗資料

2017 OD2DG 如何一招解救世界: 所有可公開資訊都在機關網站上網站上資訊沒有個資或機密問題所有人搜尋都會找到網站從網站我可知道人民的需求機關網站採用開放資料授權

2017 OD2DG 有沒有可能讓網站與網頁上的內容直接轉為開放資料

2017 OD2DG 釐清資料歸屬權把網站內容轉為資料集

2017 OD2DG 資料結構化資料描述 - Metadata 開放近用 (開放格式，開放 API）

2017 OD2DG

2017 OD2DG http://osds.openlinksw.com/

2017 OD2DG

https://icook.tw/recipes/81979.json 2017 OD2DG

2017 OD2DG

2017 OD2DG www.slideshare.net/ChiachunYeh/105-v1-20160317

2017 OD2DG 資訊結構化 : 1. 資訊分類（網站內容） 2. 語意分類模式與資料模型 3. 資訊內容結構化與相關標準
4. 網頁嵌入結構化資料 5. 建立網站地圖（結構化資料）

2017 OD2DG 如何一招解救世界: 重新設計網站（網站資訊架構）網站內容分類與結構化後台設計（上稿與資料介接）網頁呈現與網站地圖

2017 OD2DG 資料治理與資料生命週期但是還有許多其他資料

2017 OD2DG https://www.w3.org/TR/2017/REC-dwbp-20170131/

從開放資料到資料治理

從開放資料到資料治理

More Decks by wHisKy CHANG

Other Decks in Education

Featured

Transcript