Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
階層、非階層クラスタリング
Search
Ringa_hyj
January 06, 2021
Science
0
86
階層、非階層クラスタリング
Ringa_hyj
January 06, 2021
Tweet
Share
More Decks by Ringa_hyj
See All by Ringa_hyj
Catching up with the tidymodels.[Japan.R 2021 LT]
ringa_hyj
3
790
多次元尺度法MDS
ringa_hyj
0
240
因子分析(仮)
ringa_hyj
0
120
tidymodels紹介「モデリング過程料理で表現できる説」
ringa_hyj
0
390
深層学習をつかった画像スタイル変換の話と今までの歴史
ringa_hyj
0
360
正準相関分析(仮)
ringa_hyj
0
93
対応分析
ringa_hyj
0
110
2020-11-15-第1回-統計学勉強会
ringa_hyj
0
690
生成モデルの今までと異常検知への応用(GAN,anoGAN,ganomaly,efficient,skip))
ringa_hyj
2
2.3k
Other Decks in Science
See All in Science
作業領域内の障害物を回避可能なバイナリマニピュレータの設計 / Design of binary manipulator avoiding obstacles in workspace
konakalab
0
160
化学におけるAI・シミュレーション活用のトレンドと 汎用原子レベルシミュレーター: Matlantisを使った素材開発
matlantis
0
260
Cross-Media Information Spaces and Architectures (CISA)
signer
PRO
3
29k
はじめての「相関と因果とエビデンス」入門:“動機づけられた推論” に抗うために
takehikoihayashi
17
6.8k
Spectral Sparsification of Hypergraphs
tasusu
0
170
Online Feedback Optimization
floriandoerfler
0
300
Causal discovery based on non-Gaussianity and nonlinearity
sshimizu2006
0
190
Boil Order
uni_of_nomi
0
120
WeMeet Group - 採用資料
wemeet
0
3.3k
The Incredible Machine: Developer Productivity and the Impact of AI
tomzimmermann
0
390
大規模言語モデルの開発
chokkan
PRO
84
33k
LIMEを用いた判断根拠の可視化
kentaitakura
0
340
Featured
See All Featured
How to train your dragon (web standard)
notwaldorf
88
5.7k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
840
Being A Developer After 40
akosma
87
590k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
229
52k
Building Adaptive Systems
keathley
38
2.3k
Navigating Team Friction
lara
183
14k
For a Future-Friendly Web
brad_frost
175
9.4k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
10 Git Anti Patterns You Should be Aware of
lemiorhan
655
59k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
Transcript
クラスター分析、クラスタリング、数値分類(toxonomy) 外的基準の無い状態でデータを集合にする手法 n個体をk群に分ける組み合わせの「総数」は 「第二スターリング数」で計算できる ※二項係数とよく似ているため、nCkになぞらえてnSkとあらわされる。 ※パスカルの三角形とも似ているが、単純に数列として求まるものではない。 , = 1 !
=0 −1 1 −
階層的手法 距離、類似度といった評価値から、近いものを順にまとめていく 凝集型階層的分類法とよばれたりする あと分枝型とか。 例:最近傍,最遠法、重心法、メディアン、加重平均、可変法、ウォード法 重心法: データ点ごとのユークリッド距離を計算 一番近い二点の重心(平均)をもとめ、二点を一点に置き換える。 これを繰り返す。 どのデータを結合したとき、重心がいくつであったか?を樹状にplotする←デンドログラム
樹状のなかでどの枝で切るか(クラスタをいくつにするか)を決める ※ユークリッドの他にメディアンなどを使ってもいいが、その場合「距離の逆転」が起こる
非階層的手法 階層以外の手法たち 例:k平均、ファジィc平均,ISODATA法 など 確率分布をクラスタと考えるので、混合分布ガウスモデルもこちらの分類 ヒストグラムで2分割: テストの点数を上位と下位に分けるとする。 まず並べる ヒストグラムを書いて谷で縦に切り2クラスに分ける (群間分散と郡内分散の比の最大化を目指す
群内/群間 の比が最大になるときが、最も谷が深い地点) k平均: データに適当にクラスを割り振る クラス内の平均を計算し、これに近いものを順にラベルつけなおしする また平均、収束するまで繰り返し ※初期値に依存、外れ値に弱い、シングルトン(ひとつだけのクラス)ができる
混合正規分布モデル いくつかの正規分布が背景に存在すると考え、 データから最尤法によってどの正規分布に属しているかを分ける EM法によって求めるが、長くなるので別記する(つもり) クラス数(いくつの正規分布が潜んでいるか)はクラスタリングあるあるだが、 AICによって決めたり、経験だったり
クラスタリングでの距離の公理 dij が0以上である dii=0 同じ点の距離は0 dij=dji 距離は方向で変化しない dij <= dik
+ djk 三角不等式が成り立つ ここまでを「計量的な距離」の公理 dij <= max(dik,djk) 超距離不等式が成り立つ これを加えると「超計量な距離」の公理 別称:ウルトラメトリック これを満たさないものを 非計量的な距離 とよぶ
距離の測り方 絶対距離、チェビシェフ、ユークリッド、平均ユークリッド、ミンコフスキー 類似度の測り方 相関係数、余弦係数 質的データは距離は考えられない。 対応分析の数量化得点を使って無理やり数値にしてから扱う場合は時々ある
あ