Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データハンドリング/data_handling
Search
florets1
July 11, 2024
Education
2
140
データハンドリング/data_handling
florets1
July 11, 2024
Tweet
Share
More Decks by florets1
See All by florets1
直積は便利/direct_product_is_useful
florets1
3
220
butterfly_effect/butterfly_effect_in-house
florets1
1
90
カイ二乗検定との遭遇/The_path_to_encountering_the_chi-square_test
florets1
1
190
率の平均を求めてはいけない/Do_Not_Average_Rates
florets1
10
15k
請求と支払を照合する技術/using_full_join_in_r
florets1
2
200
応用セッション_同じデータでもP値が変わる話/key_considerations_in_NHST_2
florets1
1
1.1k
お名前から性別を推測する/Guessing_gender_from_name
florets1
1
410
バタフライ効果/butterfly_effect
florets1
0
220
尤度/likelihood
florets1
3
870
Other Decks in Education
See All in Education
week13@tcue2024
nonxxxizm
0
550
Flip-videochat
matleenalaakso
0
14k
(2024) Couper un gâteau... sans connaître le nombre de convives
mansuy
2
120
Qualtricsで相互作用実験する「SMARTRIQS」実践編
kscscr
0
260
Master of Applied Science & Engineering: Computer Science & Master of Science in Applied Informatics
signer
PRO
0
420
Requirements Analysis and Prototyping - Lecture 3 - Human-Computer Interaction (1023841ANR)
signer
PRO
0
760
WaPEN_Asial2024.pdf
asial_edu
0
410
2024年度春学期 統計学 第13回 不確かな測定の不確かさを測る ― 不偏分散とt分布 (2024. 7. 4)
akiraasano
PRO
0
160
勉強する必要ある?
mineo_matsuya
2
1.1k
PSYC-560 R and R Studio Setup
jdbedics
0
500
The Gender Gap in the Technology Field and Efforts to Address It
codeforeveryone
0
140
NTTコムウェアの東海支店でもアジャイル人材育てんとかんやん!結果どえらい人材が育ったがね!
mizuki_fujita
0
600
Featured
See All Featured
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
5
140
Fashionably flexible responsive web design (full day workshop)
malarkey
404
65k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
How STYLIGHT went responsive
nonsquared
95
5.1k
Faster Mobile Websites
deanohume
304
30k
Designing Experiences People Love
moore
138
23k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
Fireside Chat
paigeccino
32
3k
KATA
mclloyd
29
13k
Typedesign – Prime Four
hannesfritz
39
2.4k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
106
49k
It's Worth the Effort
3n
183
27k
Transcript
1 2024.07.13 Tokyo.R #114 データハンドリング
2 応募者の選考データ 雑然データ.csv 整然データ.csv
3 整然データは扱いやすい(1)
4 整然データは扱いやすい(2)
5 整然データは扱いやすい(3)
6 整然データは扱いやすい(4)
7 整然データは扱いやすい(5) いいところ:選考段階が三次、四次と増えてもコード変更なしで通過率を求めることができる
8 雑然データは扱いにくい(1)
9 雑然データは扱いにくい(2)
10 雑然データは扱いにくい(3) つらいところ:選考段階が増えるごとにコード変更が必要
11 雑然データを整然データに変換 整然データ.csv 雑然データ.csv pivot_longer
12 変換できたら後は同じ
13 整然データの定義(1) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。
14 整然データの定義(2) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 定義を満たしていない 変数が1つの列をなしていない
15 整然データの定義(3) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 定義を満たしていない 応募者NO.1、選考段階「一次」の観測で1行 応募者NO.1、選考段階「二次」の観測で1行 となってほしい
16 整然データの定義(4) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 定義を満たしている
17 整然データの定義(5) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 分ける ・一つの事実は一つの場所へ ・矛盾した登録を防げる
18 整然データの定義(6) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 1月応募.csv 2月応募.csv 3月応募.csv つなげる
19 整然データの定義(7) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 定義を満たしていない 1つのセルに複数の値が入っている
20 整然データの定義(8) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 分ける
雑然データに気を付けて データハンドリングが難しいなあ と感じたら、それは 雑然データかもしれません。 雑然データのままがんばるのではなく 整然データに変換できないか 検討してみましょう。