前処理勉強会_発表資料_MITTI_20210724.pdf

Rによるオープンデータ前処理勉強会（医療データ）の発表資料です。

勉強会はこちら
https://connpass.com/event/219249/

Transcript

1. લॲཧΛRͰ΍ͬͯΈͨʂ 
 DPCσʔλʹ௅ઓʂ 1 2021/07/24 MITTI
2. ϑΥϧμͷ४උ .*55*ͷൃදͰ͸ҎԼͷߏ଄ͰϑΥϧμΛ࡞͍ͬͯ·͢
   3Ͱ΋Ͱ͖·͕࣌ؒ͢ͷ౎߹্ল͘ͷͰࣄલʹ࡞੒͢ΔͱਐΊ΍͍͢Ͱ͢ 2 ϓϩδΣΫτ
   ϑΥϧμ JOQVU TVNNBSZ .%$@@ PVUQVU JOQVU .%$@@
3. μ΢ϯϩʔυ 3 ͜ͷ4೥෼ ࢪઃ֓ཁද ʢ̔ʣ࣬ױผखज़ผूܭ MDC07 ˎ2016,2017೥͸2ͭʹ෼͔Ε͍ͯΔ MDC07ɿ੔ܗ֎Պ
4. μ΢ϯϩʔυͱอଘϑΝΠϧ໊ ͜ͷϑΥϧμ໊ͱϑΝΠϧ໊ͰਐΊ·͢ 4 ϓϩδΣΫτ
   ϑΥϧμ JOQVU TVNNBSZ .%$@@ PVUQVU TVNNBSZ .%$@@ ʢ̔ʣ࣬ױผखज़ผूܭ MDC07 ࢪઃ֓ཁද
5. ࣄલ४උ 5 #ࠓճ͸tidyverseύοέʔδΛ࢖͍·͢ɻ #Πϯετʔϧͨ͜͠ͱͳ͍ํ͸ઌʹΠϯετʔϧ install.packages(“tidyverse") #ͲͪΒͷൃදͰ΋࢖͍·͢ #Πϯετʔϧͨ͠ύοέʔδͷݺͼग़͠ library(tidyverse) #ࠓճ͸ಛʹdplyr,tidyr,stringr,purrrΛ࢖༻ library(readxl) #excelͷಡΈࠐΈʹ࢖༻
6. ୀӃױऀௐࠪ 6 https://www.mhlw.go.jp/stf/shingi2/0000196043_00003.html
7. ख࡞ۀͰͰ͖Δʁ 7 ෳ਺ྻ໊ ࡏӃ೔਺
   ͍Βͳ͍ ϋΠϑϯ
   ͍Βͳ͍ ೥౓͕มΘΔͱ
   ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
   පӃ໊͕มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ
   ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
   º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ
   Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ
   ൪߸ҧ͏͜ͱ͕͋Δ
   ௨൪ʹલͷ೥ͷࠂࣔ൪߸
8. ͜ΕͳΒ෼ੳʹ͔͚ͨΓάϥϑ͕࡞ΕΔ 8 ೥౓ͰมΘΔ൪߸Λ
   ἧ͑ͨ ࢢொଜ໊෇͚ͨ ෳ਺೥Λͭͳ͛ͨ ප໊Ͱ΋ݕࡧͰ͖Δ ਓ਺͚ͩʹͨ͠
9. ࠓճͷલॲཧ ˔UJEZʢ੔વσʔλʣʹ͢Δ
   ˔จࣈྻॲཧ
   ˔܁Γฦ͠ॲཧʹରԠ͢Δ
   ˔ؔ਺Ͱ·ͱΊΔ 9
10. UJEZʢ੔વσʔλʣͱ͸ʁ
    8JLJQFEJB༷ΑΓ
    IUUQTKBXJLJQFEJBPSHXJLJ5JEZ@EBUB 10
11. σʔλͷ੔ܗɿUJEZS 11 ࡶવσʔλ %>% pivot_longer ( col = c("6࣌", "12࣌", “18࣌”) , names_to = “࣌ࠁ” , values_to = “ఱؾ”)
12. UJEZʹ͢ΔͨΊͷઓ͍ 12 5JEZ /PU
    5JEZ
13. ࠓճͷલॲཧ ˔UJEZʢ੔વσʔλʣʹ͢ΔɿUJEZS
    ˔จࣈྻॲཧɿTUSJOHS
    ˔܁Γฦ͠ॲཧʹରԠ͢ΔɿQVSSS
    ˔ؔ਺Ͱ·ͱΊΔɿGVODUJPO
    ˔͚ͬͭ͘ΔɿKPJO 13
14. จࣈྻॲཧɿTUSJOHS 14 TUSJOHS ୅දతͳؔ਺ આ໌ ݕࡧ TUS@EFUFDU ͋Δจࣈྻؚ͕·Ε͍ͯͨΒ536& நग़ TUS@FYUSBDU
    TUS@FYUSBDU@BMM
    TUS@TVC ͋ΔύλʔϯʹҰக͢ΔจࣈྻΛநग़
    ࠷ॳʢ࠷ޙʣ˓จࣈΛநग़ ஔ͖׵͑ TUS@SFQMBDF
    TUS@SFQMBDF@BMM ύλʔϯʹϚονͨ͠ՕॴΛஔ׵ Ճ޻ TUS@D จࣈྻΛ͚ͬͭ͘Δ https://kazutan.github.io/kazutanR/stringr-intro.html ͕ৄ͍͠Ͱ͢ʂ
15. TUSJOHSͱਖ਼نදݱ 15 ྫʣ“MDC_02_8_07_2019.xlsx"ͱ͍͏ϑΝΠϧ໊͔Β৭ʑऔΓग़͍ͨ͠ str_extract(“จࣈྻ”, “৚݅” ) ৚݅ʹ͸৭ʑͳࢦఆ͕Ͱ͖Δ [ ] ͜ͷதʹ͋Δ਺஋ɾจࣈɾه߸ \\d ਺஋ \\D จࣈ . ͳΜͰ΋O K * 0ճҎ্ͷ܁Γฦ͠ { } ׅހ಺ͷ਺͚ͩ܁Γฦ͠ ^ จࣈྻͷઌ಄ $ จࣈྻͷ࠷ޙ fi MF
    
    l.%$@@@@YMTY
    TUS@FYUSBDU fi MF z<aaE>\^z
    TUS@FYUSBDU fi MF z.%$ <aaE>\^z
    TUS@FYUSBDU fi MF
    l<>Y z
    ਺஋4ܻ MDCɹ೚ҙͷ܁Γฦ͠ɹ਺஋4ܻ .(ه߸ͷυοτ)ɹ xɹɹɹ೚ҙͷ܁Γฦ͠
16. ˔UJEZʢ੔વσʔλʣʹ͢Δ
    ˔จࣈྻॲཧ
    ˔܁Γฦ͠ॲཧʹରԠ͢Δ
    ˔ؔ਺Ͱ·ͱΊΔ 16
17. 17 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ
    ܁Γฦ͠
    QVSSS
18. ͚ͬͭ͘ΔɿEQMZSKPJO 18 https://github.com/rstudio/cheatsheets/raw/master/data-transformation.pdf
19. ˔UJEZʢ੔વσʔλʣʹ͢Δ
    ˔܁Γฦ͠ॲཧʹରԠ͢Δ
    ˔จࣈྻॲཧ
    ˔ؔ਺Ͱ·ͱΊΔ 19
20. ؔ਺Ͱ·ͱΊΔϝϦοτͱϙΠϯτ ˔ෆཁͳม਺͕ݮΔ
    ˔ଞͷϑΝΠϧͰ΋ར༻Ͱ͖ΔɻNBQ͕࢖͍΍͘͢ͳΔɻ 20 ؔ਺಺Ͱ࢖ΘΕΔม਺͸ ࢒Βͳ͍ ϑΥϧμ಺ʹ͋ΔϑΝΠϧΛ ·ͱΊͯಡΈࠐΊΔ
21. ؔ਺Ͱ·ͱΊΔϝϦοτͱϙΠϯτ ˔͋Δ೥্͕ख͍͔ͬͨ͘Βͱ͍ͬͯҧ͏೥Ͱ΋্ख͘ߦ͔͘͸֬ೝඞཁ
    ɹɾYMT͕YMTYʹมΘͬͯ΋ରԠͰ͖Δίʔυ 
 ɹɾΤϥʔ͕ग़ͨΒͦͷ౎౓௚ؔ͠਺ʹܧ͗଍͍ͯ͘͠ 21
22. ۩ମྫ 22
23. ࠂࣔ൪߸Λଗ͑ΔͨΊͷલॲཧ 23
24. σʔλΛ֬ೝ ɾཉ͍͠σʔλ͸͚ͩ͜͜ 
 ɾ˞ͷϚʔΫ͍Βͳ͍ 
 ɾ೥౓ͷྻΛ଍͍ͨ͠ 
 ɾվߦ͍Βͳ͍ 24 ▶︎ ͜Ε͚ͩͳΒ௚઀ίʔυ͔͚ͦ͏
25. ೥౓Ͱྻ໊͕มΘ͍ͬͯͳ͍͔νΣοΫ 25 1ʙ3ྻ໨ͱ”ࢪઃ໊”ͷྻ͚ͩཉ͍͠ʂ select(1:3, “ࢪઃ໊”)
26. SFBE@FYDFMͰಡΈࠐΉ 26 read_excel ( path=ϑΝΠϧͷύε , sheet=γʔτͷ໊લ͔˓൪໨ͷγʔτ, #ࢦఆ͠ͳ͚Ε͹1ຕ໨ͷγʔτ skip=ઌ಄ʹ͍Βͳ͍ߦ͕͋Ε͹ࢦఆ , col_names=ྻ໊Λࢦఆ͍ͨ͠৔߹ʢFALSEʹ͢Δͱྻ໊ΛಡΈࠐ·ͳ͍ʣ , n_max=Կߦ໨·ͰಡΈࠐΉ͔ʁ ) ଓ͖͸σϞͰʂ
27. ࡞ͬͨ΋ͷΛؔ਺ʹ͢Δ 27 ଓ͖͸σϞͰʂ
28. ࠂࣔ൪߸ͱ௨൪ͷؔ܎ 28 ৽͍͠೥౓ͷ௨൪ͱݹ͍೥౓ͷࠂࣔ൪߸ͷ਺ࣈ͕߹͏Α͏ʹjoin͢Δ ৽͍͠೥౓ %>% left_join(ݹ͍೥౓, by = c(“௨൪” = “ࠂࣔ൪߸”)
29. ׬੒ʂ 29 ଓ͖͸σϞͰʂ
30. ࢢொଜ൪߸ ૯຿লͷσʔλ͔ΒࢢொଜίʔυͷϑΝΠϧ͕μ΢ϯϩʔυͰ͖Δ 30 https://www.soumu.go.jp/denshijiti/code.html
31. ୀӃױऀௐࠪ 31 https://www.mhlw.go.jp/stf/shingi2/0000196043_00003.html
32. ·ͣ͸ྻ໊͔Β 32 ෳ਺ྻ໊ ࡏӃ೔਺
    ͍Βͳ͍ ϋΠϑϯ
    ͍Βͳ͍ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ
    Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸
33. ࡞ઓ ˔ྻ໊ͷΈΛಡΈࠐΈॎʹ͢Δ
    33
34. ࡞ઓ ˔UJEZS fi MM Ͱ/"Λ্ͷ஋ͰຒΊΔ 34
35. ࡞ઓ ˔UJEZSVOJUF Ͱෳ਺ྻΛͭʹ߹ମͤ͞Δ 35 ৽͍͠ྻ໊ ܨ͍͛ͨྻ ϕΫτϧʹม׵ QVMM Ͱ΋0, ͜͜Ͱ͸શ෦
36. ࡞ઓ ˔TUS@SFQMBSF@BMMͰ/"΍ه߸Λফ͢ 36 ޷ΈͰ͜ΕΒͷه߸΍εϖʔεΛফ͢͜ͱ΋Մೳ
    ࠓճ͸ɻͱεϖʔεΛফͨ͠
37. ؔ਺ʹ͢Δ 37 ଓ͖͸σϞͰʂ
38. දه༳Εͷ֬ೝ 38 ࡏӃ೔਺
    ͍Βͳ͍ ϋΠϑϯ
    ͍Βͳ͍ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ
    Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸
39. දه༳ΕΛ୳͢ ˔֤೥ͷྻ໊Λऔಘ
    ˔TFUEJ ff Ͱยํʹ͔͠ͳ͍΋ͷΛ୳͢
    TFUEJ ff " # 
 ▶︎ "ʹ͔͠ແ͍΋ͷΛநग़
    TFUEJ ff # " 
 ▶︎ #ʹ͔͠ແ͍΋ͷΛநग़ 39
40. 40 ೥ͱ೥ɺ೥ͱ೥͸ಉ͡ ͱʹҧ͍͕͋Ε͹දه༳ΕͷՄೳੑ ΍͸දه༳ΕͰ͸ͳ͘
    ͦ΋ͦ΋ͦͷ೥ʹ͔͠ͳ͔ͬͨՄೳੑ
41. ͜ΕͰσʔλ͕ಡΈࠐΊΔʢޙͰ௚͢ʣ 41 ଓ͖͸σϞͰʂ
42. ͍Βͳ͍ྻ 42 ࡏӃ೔਺
    ͍Βͳ͍ ϋΠϑϯ
    ͍Βͳ͍ ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ
    Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ
43. ࡏӃ೔਺ͱʢ࠶ܝʣͷྻ͸͍Βͳ͍ ˔TFMFDU ͱDPOUBJOT ͰߜΓࠐΊΔ 43
44. ϋΠϑϯΛফ͢ ▶︎ ਺஋σʔλʹม׵ 44 ϋΠϑϯ
    ͍Βͳ͍ ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ
45. SFBESQBSTF@OVNCFS ˔SFBESQBSTF@OVNCFS ͸ࢦఆͨ͠ྻΛ਺஋σʔλʹ͢Δ ˔NVUBUF BDSPTT બͼ͍ͨྻ
    ؔ਺ Ͱෳ਺ྻಉ࣌ʹॲཧ͢Δ 45
46. /"Λʹม׵͢Δ ˔SFQMBDF@OB ࢦఆͨ͠ྻ ม׵͍ͨ͠஋ 
 ˔ؔ਺ʹҾ਺͕͋Δ৔߹΍ෳ਺ͷؔ਺Λඞཁͱ͢Δ৔߹͸ 
 ɹNVUBUF BDSPTT બͼ͍ͨྻ
    dؔ਺ Λ࢖͏ 
 46
47. ͜͜·ͰΛؔ਺ʹ͢Δ 47 ଓ͖͸σϞͰʂ
48. ࠂࣔ൪߸͕೥౓Ͱҧ͏໰୊ 48 ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ
49. ࢪઃ֓ཁදͱKPJO͢ΔʂDTWϑΝΠϧʹ͢Δ 49 ଓ͖͸σϞͰʂ
50. ͜͜·ͰͰ͖Δͱ܁Γฦ͢͜ͱ͕Ͱ͖Δ 50 ԣྻɺॎߦ
    º೥ؒ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ
51. 51 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ
    ܁Γฦ͠
    QVSSS
52. ˔ϑΥϧμ಺ʹ͋ΔΤΫηϧϑΝΠϧΛ·ͱΊͯಡΈࠐΉ
    -JTU fi MFT ϑΥϧμ໊ NBQؔ਺Λ࢖ͬͯ܁Γฦ͢ 52 pattern=Ͱ৚݅ΛߜΔ ଓ͖͸σϞͰʂ
53. ྻ਺ҧ͏໰୊ 53 ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ
54. XJEFσʔλ 54 σʔλ͕ԣʹฒΜͰ͍Δ
55. MPOHσʔλͳΒؔ܎ͳ͍ʂ ˔UJEZͳΒྻ਺͕૿͑Δ͚ͩ 55
56. UJEZSQJWPU@MPOHFSͰॎ࣋ͪσʔλʹม׵ QJWPU@MPOHFS 
 ɹDPMT
    
    ·ͱΊ͍ͨྻ 
 ɹOBNFT@UP
    
    ·ͱ·ͬͨޙʢྻ໊ʣͷྻ໊ 
 ɹWBMVFT@UP
    
    ·ͱ·ͬͨޙʢ஋ʣͷྻ໊ 56
57. QJWPU@MPOHFSͷ
    OBNFT@TFQ OBNFT@TFQͰྻΛ෼ׂ͢Δ͜ͱ͕Ͱ͖Δ 57
58. 5JEZ 58 ଓ͖͸σϞͰʂ
59. දه༳ΕΛ௚͢ 59 ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ
60. දه༳ΕΛ௚͢ ˔UJEZʹͳ͔ͬͨΒNVUBUFͱJGFMTFͰ͙͢ʹ௚ͤΔ 60
61. 61 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ
    ܁Γฦ͠
    QVSSS
62. ࠷ޙʹશ෦ͷϑΝΠϧΛಡΈࠐΉ 62 ଓ͖͸σϞͰʂ
63. ͓ർΕ༷Ͱͨ͠ʂʂʂ ྻߦͷσʔλʂʂ 63
64. ՝୊ ࠓճ͸࠷৽ͷ೥౓ͷපӃͷ໊લʹ߹Θ͍ͤͯΔ 
 ɹɾ࠷৽ͷ೥౓ʹͳ͍පӃ͸ল͔Ε͍ͯΔ 
 ɹɾ߹ซͨ͠පӃ͸ରԠ͍ͯ͠ͳ͍
    ▶︎ ʢࣗ෼ͷ࢓ࣄͷൣғͩͱࠔΒͳ͍͕ʣ 
 ɹɹݚڀͰ࢖͏ͳΒ΋ͬͱݫີʹ͢Δඞཁ͕͋Δ͔΋͠Εͳ͍
    ▶︎ ɹ%1$Λѻ͏ํͷҙݟΛ࢕ͬͯΈ͍ͨͰ͢ɻ 64
65. લॲཧ͕Ͱ͖Ε͹࣍ʹਐΊΔ ूܭɹɹɹɹɹɹɹɹɹɹɹɹɹɹ8&#ΞϓϦʢTIJOZʣ 65
66. TIJOZͳΒʂʂʂ 66
67. ऴΘΓʹ ˔&YDFMͷख࡞ۀͰ͸Ͱ͖ͳ͍͜ͱ͕3΍QZUIPOͳΒͰ͖ͯ͠·͍·͢
    ˔ҩྍ౷ܭ͸&YDFMͷ࡞Γํ͕ྑ͚Ε͹લॲཧ͸΄΅ඞཁ͋Γ·ͤΜ
    ˔ͨͩ৭ʑͳσʔλΛ෼ੳͨ͘͠ͳΔͱલॲཧ͸ඞཁʹͳΓ·͢ 
 ɹʢ༧ࢉͷׂҎ্͸લॲཧʹ࢖͍ͬͯΔͱ͍͏ӟ΋ʜʣ
    ˔·ͩ·ͩஓ੿ͳίʔυ΋ଟ͍Ͱ͢ɻ 
 ɹͲͷఔ౓ͷ࣮ྗ͔ʢશવμϝ ࠷௿ݶ͸ΫϦΞ ଈઓྗʹͳΔ
    PS
    OPUʣ΍ 
 ɹΞυόΠεɾϑΟʔυόοΫ͍͚ͨͩΔͱ޾͍Ͱ͢ʂ 67