資料應用與工作流程

2017 國發會開放資料工作坊

Transcript

1. Data Workflow 資料應用工作流程 Opendata.TW / 張維志 – 2017.04.17 whisky@opendata.tw
2. • https://www.facebook.com/opendata.tw • https://www.facebook.com/groups/odtwn/ • https://www.facebook.com/groups/Open.Campus/
3. 2017 Data Workflow 大綱： 1. 開放資料工作坊 2. 資料的價值 3. 資料科學與資料新聞學 4. 資料工作流程
4. 2017 Data Workflow 對誰來說 最有價值的資料？
5. 2017 Data Workflow
6. 2017 Data Workflow 行道樹資料，真的有這個 app
7. 2017 Data Workflow
8. 2017 Data Workflow
9. 2017 Data Workflow
10. 2017 Data Workflow
11. 2017 Data Workflow
12. 2017 Data Workflow
13. 2017 Data Workflow 開放資料工作坊 找出資料的價值
14. 2017 Data Workflow 工作坊目的： • 建立政府開放資料與機關治理政策的連 結（從政策到服務） • 建立品質優化的開放資料集 （開放資料 處裡流程） • 建立資料導向的服務與產品 (POC)
15. 2017 Data Workflow 執行流程： 1. 兩天共通課程 : a) 從資料治理到開放資料與開放政府 b) 資料應用工作流程 2. Mini DataJam : 政策與問題釐清 3. 個別輔導與協作 : 5 – 9 月
16. 2017 Data Workflow 共通課程： 第一天： 從開放資料到開放政府與資料治理 第二天： 資料應用工作流程 政府開放資料與施政治理 政策與問題意識 政府開放資料與開放政府 資料取得，清洗與彙整 資料，資料導向與資料治理 探索式資料分析與資料視覺化 資料應用工作流程說明 資料產品與服務
17. 2017 Data Workflow DataJam： • 三 - 四個小時，開放給所有人 • 預先選擇政策與問題範圍 • 分組腦力激盪 – 角色與問題提問 • 最重要與最急迫的問題 • 提出可能的解決方向 – 找出相關資料
18. 2017 Data Workflow 政策與議題 • 年度政策目標 • 年度重點計畫 • 其他政策 （民生，教育，就業，長照）
19. 2017 Data Workflow 相關資料 • 已經有開放資料 • 只有網站資訊 • 尚未整理公佈與開放
20. 2017 Data Workflow 輔導與協作： • 四月到八月底九月 • 雙週一次會面 (依照最終參與人數調整時間） • 資料應用流程完整程序 • 網路協作工具使用與教學 • 資料處裡工具使用與教學
21. 2017 Data Workflow 最終產出與實作 • 資料的應用主要可分為 • 資料呈現 – 視覺化 • 資料混搭 – 新服務與功能 (組合功能) • 決策建議與預測 – 推薦系統
22. 2017 Data Workflow 資料呈現 • 資料視覺化呈現 – 溝通與說明 • 地圖形式 • 資訊圖表 (infographics) • 儀表板 (dashboard)
23. 2017 Data Workflow
24. 2017 Data Workflow
25. 2017 Data Workflow 資料混搭 • 不同資料之間的組合 (mashup) • 查詢篩選功能 • 提示警示功能 • 儀表板 (dashboard)
29. 2017 Data Workflow
30. 2017 Data Workflow 主動推薦系統 • 資料混搭下進階服務 • 例如 google 地圖的交通資訊查詢 • 例如旅遊觀光行程推薦系統 • 推薦系統需要瞭解使用者的需求後，才能提 出對應的解決建議
32. 2017 Data Workflow 資料科學 / 資料新聞學 & 資料導向 / 資料素養
33. 2017 Data Workflow 資料科學： 用資料來解決問題的科學
34. 2017 Data Workflow
35. 2017 Data Workflow http://www.decisiondiet.io/what-is-data-science/
36. 2017 Data Workflow 資料新聞學： 從資料中找出故事 用資料來描述故事
37. 2017 Data Workflow http://datajournalismhandbook.org/ Data Journalism Handbook
38. 2017 Data Workflow
39. 2017 Data Workflow • 資料匯整 • 資料清理 • 資料解讀 • 資料整合 • 說出故事
40. 2017 Data Workflow 我們拿到的資料： Html / CSV / SQL / KML… • 2010.07.25 • 91,731 份文件 • Afghan war diary • 2010.07.25 • 91,731 份文件 • 2004.01 – 2009.12 http://mirror.wikileaks.info/wiki/Afghan_War_Diary,_2004-2010/
41. 2017 Data Workflow
42. 2017 Data Workflow
43. 2017 Data Workflow 第一步 定義問題 先有資料還是先有問題
44. 2017 Data Workflow 第二步 找出相關資料 開放資料，網站爬蟲
45. 2017 Data Workflow 第三步 基礎資料分析 探索式資料分析
46. 2017 Data Workflow 第四步 回答問題 資料呈現 – 資訊圖表 資料產品 – 資料服務
47. 2017 Data Workflow 重新再來一次 如果沒有回答問題 如果發現新的問題