(NII Open House 2020) 異なるアルゴリズムを同じ視点から眺めてみようー機械学習の幾何的解釈

NII Open House 2020 での発表内容です．
この内容に関連したpreprintは以下：
https://arxiv.org/abs/2006.05321

Transcript

1. 異なるアルゴリズムを同じ視点から眺めてみよう 機械学習の幾何的解釈 アルゴリズム同士の関係を幾何的に捉えて，知見を得る． どんな研究？ 研究内容 各成分 が行列を特徴づける ∈ ℝ>0 × パラメータ と 期待値 で分布が決まる 行列の世界 確率分布の世界 変換 変換 = log − log −1, −log ,−1 +log −1,−1 = exp ෍ ′≤ ′≤ ′′ 杉山研究室 ガラムカリ和
2. 異なるアルゴリズムを同じ視点から眺めてみよう 機械学習の幾何的解釈 アルゴリズム同士の関係を幾何的に捉えて，知見を得る． どんな研究？ 研究内容 各成分 が行列を特徴づける ∈ ℝ>0 × パラメータ と 期待値 で分布が決まる Q.変換すると何が嬉しい？ 例１ 行列の列和と行和を１に揃える（バランシング） A.行列に対する条件がとで簡単に記述できる！ Ask u,v,for daig diag = 1 ← − 例２ 任意の列を１列目の定数倍にする（1ランク近似） Ask ′ for ′ = argmin rank A′ =1 − ′ ← 0 Sugiyama, M., et al Tensor Balancing on Statistical Manifold, , ∈ 2,3, ⋯ 2 行列の世界 確率分布の世界 行列 確率 行列 確率 = 1 変換 変換 = log − log −1, −log ,−1 +log −1,−1 = exp ෍ ′≤ ′≤ ′′ Ghalamkari, K., et al, 杉山研究室 ガラムカリ和
3. 異なるアルゴリズムを同じ視点から眺めてみよう 機械学習の幾何的解釈 アルゴリズム同士の関係を幾何的に捉えて，知見を得る． どんな研究？ 研究内容 各成分 が行列を特徴づける 分かったこと 1 1ランクの行列が居る曲面 ∈ ℝ>0 × パラメータ と 期待値 で分布が決まる Q.変換すると何が嬉しい？ 例１ 行列の列和と行和を１に揃える（バランシング） A.行列に対する条件がとで簡単に記述できる！ Ask u,v,for daig diag = 1 ← − 例２ 任意の列を１列目の定数倍にする（1ランク近似） Ask ′ for ′ = argmin rank A′ =1 − ′ バランシング行列が居る曲線 1 ∩ 1 は一意に定まる． ← 0 Sugiyama, M., et al Tensor Balancing on Statistical Manifold, , ∈ 2,3, ⋯ 2 行列の世界 確率分布の世界 行列 確率 行列 確率 (, )の空間でアルゴリズムを議論して， 無関係に見える行列操作間の新しい視点を与える． (座標中の各点が行列に対応） = 1 20次元の行列の低ランク近似 変換 変換 = log − log −1, −log ,−1 +log −1,−1 = exp ෍ ′≤ ′≤ ′′ 空間 1 22 = 21 12 実は確率分布も独立分布の積に分解可能 ⇒物理学での平均場近似と関連 1 では期待値が分解される Ghalamkari, K., et al, 杉山研究室 ガラムカリ和 22 空間 12 22 12 21 21 ′
4. 異なるアルゴリズムを同じ視点から眺めてみよう 機械学習の幾何的解釈 アルゴリズム同士の関係を幾何的に捉えて，知見を得る． どんな研究？ 研究内容 各成分 が行列を特徴づける 分かったこと 1 1ランクの行列が居る曲面 ∈ ℝ>0 × パラメータ と 期待値 で分布が決まる Q.変換すると何が嬉しい？ 例１ 行列の列和と行和を１に揃える（バランシング） A.行列に対する条件がとで簡単に記述できる！ Ask u,v,for daig diag = 1 ← − 例２ 任意の列を１列目の定数倍にする（1ランク近似） Ask ′ for ′ = argmin rank A′ =1 − ′ バランシング行列が居る曲線 1 ∩ 1 は一意に定まる． ← 0 Sugiyama, M., et al Tensor Balancing on Statistical Manifold, , ∈ 2,3, ⋯ 2 行列の世界 確率分布の世界 行列 確率 行列 確率 従来手法 提案手法 近似の不正確さ 低ランク近似後のランク (, )の空間でアルゴリズムを議論して， 無関係に見える行列操作間の新しい視点を与える． , 座標系の凸な特徴を応用した， 低ランク近似法を開発 (座標中の各点が行列に対応） ルジャンドル低ランク近似 = 1 20次元の行列の低ランク近似 変換 変換 = log − log −1, −log ,−1 +log −1,−1 = exp ෍ ′≤ ′≤ ′′ 空間 1 22 = 21 12 実は確率分布も独立分布の積に分解可能 ⇒物理学での平均場近似と関連 1 では期待値が分解される 詳細はこちら… Rank Reduction, Matrix Balancing, and Mean-Field Approximation on Statistical Manifold (2020) Ghalamkari, K., et al, Nyström method 杉山研究室 ガラムカリ和 22 空間 12 22 12 21 21 ′