Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
高次元データに対するL1正則化の有効性
Search
Takayuki Uchiba
December 14, 2018
Technology
1
3k
高次元データに対するL1正則化の有効性
高次元データに対してよく用いられるL1正則化、特にLasso回帰の有効性について数理統計的にわかっている話を少しだけサマリーしました。
Takayuki Uchiba
December 14, 2018
Tweet
Share
More Decks by Takayuki Uchiba
See All by Takayuki Uchiba
statistician_ja_lt5.pdf
utaka233
0
630
縮小推定のはなし.pdf
utaka233
1
2.2k
Other Decks in Technology
See All in Technology
オープンソースAIとは何か? --「オープンソースAIの定義 v1.0」詳細解説
shujisado
9
870
OCI 運用監視サービス 概要
oracle4engineer
PRO
0
4.8k
組織成長を加速させるオンボーディングの取り組み
sudoakiy
2
110
20241120_JAWS_東京_ランチタイムLT#17_AWS認定全冠の先へ
tsumita
2
250
誰も全体を知らない ~ ロールの垣根を超えて引き上げる開発生産性 / Boosting Development Productivity Across Roles
kakehashi
1
230
サイバーセキュリティと認知バイアス:対策の隙を埋める心理学的アプローチ
shumei_ito
0
380
Evangelismo técnico: ¿qué, cómo y por qué?
trishagee
0
360
隣接領域をBeyondするFinatextのエンジニア組織設計 / beyond-engineering-areas
stajima
1
270
フルカイテン株式会社 採用資料
fullkaiten
0
40k
Introduction to Works of ML Engineer in LY Corporation
lycorp_recruit_jp
0
120
Can We Measure Developer Productivity?
ewolff
1
150
Lexical Analysis
shigashiyama
1
150
Featured
See All Featured
Scaling GitHub
holman
458
140k
Happy Clients
brianwarren
98
6.7k
Ruby is Unlike a Banana
tanoku
97
11k
Imperfection Machines: The Place of Print at Facebook
scottboms
265
13k
Art, The Web, and Tiny UX
lynnandtonic
297
20k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
93
16k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
506
140k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
169
50k
Visualization
eitanlees
145
15k
Building an army of robots
kneath
302
43k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
The Pragmatic Product Professional
lauravandoore
31
6.3k
Transcript
ߴ࣍ݩσʔλʹର͢Δ-ਖ਼ଇԽͷ༗ޮੑ !VUBLB ػցֶशͷཧ"EWFOU$BMFOEBS
എܠ ߴ࣍ݩσʔλ ɾೖྗมͷݸEαϯϓϧαΠζO ɾྫɿηϯαʔσʔλ࣍ੈγʔέϯαʔʹΑΔήϊϜྻσʔλͳͲ ߴ࣍ݩσʔλʹ͓͚Δ༧ଌ ɾදྫઢܗճؼϞσϧɿ ɹɹɾฏۉଛࣦ࠷খԽਪఆྔɿਖ਼نํఔࣜͷղ ɹɹɹߴ࣍ݩσʔλͰɺਖ਼نํఔࣜͷղͷҰҙੑΛظͰ͖ͳ͍ɻ ɹɹɹͳͥͳΒɺਖ਼نํఔࣜͷղ͕ҰҙͰ͋ΔͨΊʹ ɹɹɹཁߦྻ͕GVMMSBOLͰ͋Δඞཁ͕͋Δɻͱ͜Ζ͕ɺ
ɹɹɹͳͷͰɺߴ࣍ݩσʔλͰҰൠʹΓཱͨͣແݶʹղΛڐ͠ಘΔɻ y = Xw + ϵ, ϵ ∼ N(0,σ2En ) XT Xw = XTy rankXT X = n rankXT X = rankX ̂ w = argmin 1 2n ||y − Xw||2 2 ˠ
ઢܗճؼϞσϧʹ͓͚Δ-ਖ਼ଇԽʢ-BTTPճؼʣ ߴ࣍ݩσʔλʹ͓͚ΔઢܗճؼϞσϧ ɾूஂϞσϧʹఆ͢ΔԾઆɿճؼ͕εύʔεϕΫτϧͰ͋Δͱ͍͏ظ ɾ-BTTPճؼɿ-ਖ਼ଇԽʹΑΔεύʔεਪఆ ɹɾฏۉ̎ଛࣦ࠷খԽΛҎԼͷΑ͏ʹमਖ਼͢Δɻ ɹɹ͜ΕɺҎԼͷΑ͏ͳ੍͖࠷దԽͱಉͰ͋Δɻ ɹɹతؔͷತੑ͔Βղଘࡏͯ͠ҰҙʹͳΔɻ ɹɹ͞Βʹɺ੍݅ͷܗ͔Βղ͕εύʔεϕΫτϧʹͳΔ͜ͱ͕ظͰ͖Δɻ ̂ w
= argmin 1 2n ||y − Xw||2 2 + λn ||w|| 1 min 1 2n ||y − Xw||2 2 s . t . ||w|| 1 ≤ C
հ͢Δఆཧ ఆཧɿ</FHBICBO3BWJLVNBS8BJOXSJHIU:V $PSPMMBSZ> ूஂ͕ઢܗճؼϞσϧͰɺಛʹճؼɹ͕Lεύʔεͱ͠·͢ɻ ·ͨɺೖྗมEྻͰಠཱʹඪ४ਖ਼نʹै͍ͬͯΔͱ͠·͠ΐ͏ɻ͍· αΠζOͷඪຊΛऔͬͨ࣌ɺ ΛΈͨ͢ेେ͖ͳਖ਼ͷD͕͋Δͱ͠·͢ɻ͜ͷͱ͖ɺਖ਼ଇԽύϥϝʔλΛ ΛΈͨ͢Α͏ʹͱΕ-BTTPճؼʹΑͬͯಘΒΕΔϕΫτϧɹগͳ͘ͱ֬ ͰҎԼͷධՁΛΈͨ͢ɻ͜͜Ͱɺ$ఆͱ͢Δɻ
w* ̂ w n ≥ ck log(d) λn ≥ 8σ log(d)/n 1 − 1/d − O(exp(−n/2)) || ̂ w − w*||2 2 ≤ C kσ2 log(d) n
հ͢Δఆཧͷओு ཁ͢Δʹɺ ɾूஂ͕ઢܗճؼϞσϧͰճؼ͕ेʹεύʔεϕΫτϧͰ͋Δɻ ɾೖྗۭ͕ؒेʹߴ࣍ݩʹͳ͍ͬͯΔɻ ͷͰ͋Εɺेʹେ͖ͳਖ਼ଇԽύϥϝʔλΛΈͨ͢Α͏ʹͱΔ͜ͱͰɺ-BTTP ճؼͷਪఆྔͷฏۉޡࠩ ɾ࣍ݩʹରͯ͠ରతʹ͔͠ґଘ͠ͳ͍ɻʢ࣍ݩͷґଘ͕͍ʂʣ ɾճؼͷεύʔεੑɺޡࠩͷࢄɺαϯϓϧαΠζʹઢܗʹґଘ͢Δɻ ͱ͍͏ධՁΛ༩͍͑ͯΔɻ
ূ໌ͷͨΊͷ४උ Ωʔϫʔυɿ੍ݶڧತੑ 34$DPOEJUJPO αΠζɹɹͷߦྻ9ʹରͯ͠ɺू߹$ S Λ࣍ͷΑ͏ʹఆٛ͠·͢ɻ ਖ਼ͷఆɹ͕ଘࡏͯ͠ɺҙͷ$ S ͷݩ϶ʹରͯ͠ҎԼͷෆࣜ
ཱ͕͢Δͱ͖ɺߦྻ9$ S ʹ੍ؔͯ͠ݶڧತੑΛΈͨ͢ͱݴ͍·͢ɻ n × d C(r) = { Δ ∈ ℝd ∣ Δ ≠ 0, ||Δ|| 1 ||Δ|| 2 ≤ r } 1 n ||XΔ||2 2 ≥ κ||Δ||2 2 κ
੍ݶڧತੑͷͱͰͷ-BTTPਪఆྔͷྑ͞ ิɿ</FHBICBO3BWJLVNBS8BJOXSJHIU:V 5IFPSFN> ूஂʹର͢ΔԾఆɺఆཧͱ·ͬͨ͘ಉ͡Ͱ͋Δͱ͢Δɻ͠ਖ਼ͷఆD Λͱͬͯɺߦྻ9͕ू߹ɹɹɹɹɹɹɹʹରͯ͠ఆɹͰڧತੑΛ࣋ͭͱ͢Δɻ ͜ͷͱ͖ɺҙͷਖ਼ͷLʹରͯ͠ Ͱ͋Εɺਖ਼ଇԽύϥϝʔλ͕ɹɹɹɹɹɹɹɹͷ-BTTPճؼʹΑͬͯಘΒΕΔ ਪఆྔҎԼͷධՁΛຬͨ͠·͢ɻ C(8
n/(c log d)) κ n ≥ ck log(d) λn ≥ 2||XTϵ|| ∞ /n || ̂ w − w*||2 2 ≤ 9kλn κ2 ͜ͷධՁͩͱ͋·Γخ͕͠͞Θ͔Βͳ͍ɻ
ศརͳෆࣜ ิɿ<3BTLVUUJ8BJOXSJHIU:V 1SPQPTJUJPO> αΠζɹɹͷߦྻ9ͷ֤ߦ͕ಠཱʹଟมྔਖ਼ن/ Є ʹैͬͯಘΒΕΔͱ͖ ਖ਼ͷఆD D`͕ଘࡏͯ͠ɺҙͷE࣍ݩϕΫτϧWʹରͯ͠গͳ͘ͱ֬
ͰҎԼͷධՁ͕Γཱͪ·͢ɻͨͩ͠ɺ4ೖྗมͷඪ४ภࠩͷ࠷େͰ͢ɻ n × d 1 − c exp(−c′n) ||Xv|| 2 n ≥ 1 4 ||Σ1/2v|| 2 − 9S log(d) n ||v|| 1
ఆཧͷূ໌ 3BTLVUUJ8BJOXSJHIU:Vͷෆ͔ࣜΒ ΛಘΔɻͦ͜ͰɺɹɹɹɹɹɹɹɹͳͷͰɺఆDΛेେ͖͘ͱΕΕ ੍ݶڧತੑ͕গͳ͘ͱ֬ɹɹɹɹɹɹɹͰΓཱͭ͜ͱ͕Θ͔Γ·͢ɻ ͜͜ͰɺࠓͱͬͨఆD͕ɹɹɹɹɹɹΈͨ͢ͱԾఆͯ͠ɺ /FHBICBO3BWJLVNBS8BJOXSJHIU:VͷఆཧΛߟ͑·͢ɻਖ਼ଇԽύϥϝʔλͷ ͔݅Βɺগͳ͘ͱ֬ Ͱਪఆྔʹؔ͢ΔఆཧͷධՁΛಘΔɻҎ্ͰఆཧΛূ໌Ͱ͖ͨɻ ||Xv|| 2
n ≥ 1 4 ( 1 − 36 log(d) n ||v|| 1 ||v|| 2 ) v ∈ C(8 n/(c log d)) 1 − c exp(−c′n) n ≥ ck log(d) P [ ||XTϵ|| ∞ ≤ 8σ2n log(d)] ≥ 1 − 1 d − exp (− n 2 )
ࢀߟจݙ <>3BTLVUUJ8BJOXSJHIU:V .JOJNBYSBUFTPGFTUJNBUJPOGPSIJHI EJNFOTJPOBMMJOFBSSFHSFTTJPOPWFSMRCBMMT *&&&5SBOTBDUJPO PO*OGPSNBUJPO5IFPSZ <>/FHBICBO3BWJLVNBS8BJOXSJHIU:V "6OJpFE'SBNFXPSLGPS )JHI%JNFOTJPOBM"OBMZTJTPG.&TUJNBUPSTXJUI%FDPNQPTBCMF
3FHVMBSJ[FST 4UBUJTUJDBM4DJFODF 7PM /P <>Ԭ྄ଠ εύʔεੑʹجͮ͘ػցֶश ػցֶशϓϩϑΣογϣφϧ γϦʔζ ߨஊࣾ