Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
Search
Mitsuki Ogasahara
July 11, 2014
Science
0
440
パターン認識と機械学習 〜指数型分布族とノンパラメトリック〜
株式会社サイバーエージェントのPRML輪読会で発表した内容です
Mitsuki Ogasahara
July 11, 2014
Tweet
Share
More Decks by Mitsuki Ogasahara
See All by Mitsuki Ogasahara
ひとり情シスなCTOがLLMと始めるオペレーション最適化 / CTO's LLM-Powered Ops
yamitzky
0
520
コスト管理から向き合う技術的負債 / Accounting for Technical Debt Through Cost Management
yamitzky
0
30
Utility-first な CSS-in-JS 〜Tailwind CSS と Chakra UI を添えて〜 / Utility-First CSS-in-JS
yamitzky
5
1.5k
今から始める型安全 Python / Start Python Type Hints
yamitzky
13
4.8k
技術が好きで好きで好きでたまらないエンジニアが「取締役」になって思う、マネジメントキャリアパス / My Manager's Path
yamitzky
2
1.1k
Python 3.9 時代の型安全な Pythonの極め方 / Mastering Type Safety in Python 3.9 Era
yamitzky
35
30k
なぜサーバーレスとDockerなのか 〜 インフラ運用を最小化するサービス開発 〜 / Why We Choose Serverless AND Docker
yamitzky
0
4k
サーバーレスを活用して少数精鋭で開発するニュースアプリ #devsumi
yamitzky
4
2.9k
ここが辛いよサーバーレス だが私は乗り越えた #builderscon
yamitzky
14
7.9k
Other Decks in Science
See All in Science
深層学習を用いた根菜類の個数カウントによる収量推定法の開発
kentaitakura
0
170
Masseyのレーティングを用いたフォーミュラレースドライバーの実績評価手法の開発 / Development of a Performance Evaluation Method for Formula Race Drivers Using Massey Ratings
konakalab
0
170
眼科AIコンテスト2024_特別賞_6位Solution
pon0matsu
0
420
データマイニング - ノードの中心性
trycycle
PRO
0
200
統計学入門講座 第4回スライド
techmathproject
0
150
データベース01: データベースを使わない世界
trycycle
PRO
1
680
データベース06: SQL (3/3) 副問い合わせ
trycycle
PRO
1
560
白金鉱業Meetup Vol.16_【初学者向け発表】 数理最適化のはじめの一歩 〜身近な問題で学ぶ最適化の面白さ〜
brainpadpr
11
2.3k
MCMCのR-hatは分散分析である
moricup
0
390
ド文系だった私が、 KaggleのNCAAコンペでソロ金取れるまで
wakamatsu_takumu
2
710
科学で迫る勝敗の法則(電気学会・SICE若手セミナー講演 2024年12月) / The principle of victory discovered by science (Lecture for young academists in IEEJ-SICE))
konakalab
0
110
研究って何だっけ / What is Research?
ks91
PRO
1
110
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Being A Developer After 40
akosma
90
590k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Optimizing for Happiness
mojombo
379
70k
Documentation Writing (for coders)
carmenintech
72
4.9k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1k
Fireside Chat
paigeccino
37
3.5k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
750
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
Bash Introduction
62gerente
613
210k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Transcript
ʮύλʔϯೝࣝͱػցֶशʯ ྠಡษڧձ ʙࢦܕɾϊϯύϥϝτϦοΫ๏ʙ
ࣗݾհ w ໊લ w খּݪޫو .JUTVLJ0("4")"3" w ೖࣾ w
w ॴଐ w ג $ZCFS;։ൃΤϯδχΞ w ֶੜ࣌ͷݚڀ w ࣗવݴޠॲཧɾػցֶश
࣍ w ࢦܕ w ࠷ਪఆͱे౷ܭྔ w ڞࣄલ w ແใࣄલ w
ϊϯύϥϝτϦοΫ๏ w Χʔωϧີਪఆ๏ w ࠷ۙ๏
ࢦܕ Q w ࣜ Ͱఆٛ͞ΕΔͷ ू߹ ! w
ʮΨεʯʮଟ߲ʯͳͲɺ 13.-ʹग़ͯ͘Δଟ͘ͷ͕ࢦܕʹؚ·ΕΔ ˠࣜ Ͱఆٛ͢͜͠ͱ͕Ͱ͖Δ w ˞YεΧϥʔͰϕΫτϧͰྑ͍ w ˞YࢄͰ࿈ଓͰྑ͍
ࢦܕ Q ! w Yʹؔ͢Δؔ w TDBMJOHDPOTUBOUͱݺΕ .-B11ΑΓ ɺ ʮʯ͕ೖΔ͜ͱ͋Δ
ϕϧψʔΠɺΨϯϚ h ( x )
ࢦܕ Q ! w Бʹؔ͢Δؔ w ֬ີؔͷੵ͕ʹͳΔΑ͏ʹ ਖ਼نԽ͢ΔͨΊͷͷ g(⌘)
g ( ⌘ ) Z h (x) exp ⌘T u (x) d x = 1 Z ( ⌘ ) = 1 g ( ⌘ ) = Z h (x) exp ⌘T u (x) d x
ϕϧψʔΠࢦܕ͔ʁ ! w ແཧΓFYQͷதʹೖΕͯΈΔ ! ! ! w БΛࣜ
ͷΑ͏ʹఆٛ͢Δ Bern ( x | µ ) = µx(1 µ )1 x Bern(x | µ) = exp { ln µx (1 µ) 1 x} = exp { x ln µ + (1 x) ln 1 µ } = exp { x(ln µ ln 1 µ) + ln 1 µ } = (1 µ) exp { ln( µ 1 µ )x } ⌘ = ln( µ 1 µ )
ϕϧψʔΠࢦܕ͔ʁ ! w ࠷ऴతʹɺ ! w ͱͳΓɺࣜ ͱରԠͨ͠ Bern
( x | µ ) = µx(1 µ )1 x
ࢀߟɿࢦܕʹؚ·Εͳ͍ͷ w ࠞ߹ਖ਼ن FYQͷʹͳͬͯ͠·͍ɺࣜ ʹͳΒͳ͍
࠷ਪఆ w ࢦܕͷҰൠܗͷࣜ ͔Βɺ ࠷ਪఆྔБΛٻΊΔ w ಠཱʹಉʹै͏σʔλू߹9ʹ͍ͭͯߟ͑Δͱɺ ͜ͷؔ !
w ରؔ
࠷ਪఆ w ରؔͷ Бʹؔͯ͠ͷ ޯ͕ͱͳΔΛݟͭ ͚͍ͨ
࠷ਪఆ w ݪଇͱͯ͠ɺࣜ Λղ͘ͱБಘΒΕΔ ! ! w ·ͨɺ࠷ਪఆʹґଘ͢Δ े౷ܭྔ
w ݴ͍͑Δͱɺ࠷ਪఆΛٻΊΔͨΊʹɺ ɹɹɹͷ૯ ·ͨฏۉ ͷΈ͕͋ΕΑ͍
࠷ਪఆͱਅͷύϥϝʔλ w Бͷ࠷ਪఆࣜ Λղ͘ͱಘΒΕΔ ! ! w ͷఆٛʹجͮ͘ͱɺ !
! w ͭ·Γɺ/ˠ㱣ͷۃݶͰɺ࠷ਪఆʹਅͷ g ( ⌘ ) Z h (x) exp ⌘T u (x) d x = 1
ڞࣄલ w ࢦܕͷҙͷʹ͍ͭͯɺ ࣍ͷܗͰॻ͚Δڞࣄલ͕ଘࡏ͢Δ ! w ಋग़ॻ͍ͯͳ͍͕ɺڞͰ͋Δ͜ͱ͕͔֬ΊΒΕΔ ؔ ͱࣄલ
Λ͔͚ɺ ࣄޙΛٻΊΔ
ڞࣄલ w ಋग़ॻ͍ͯͳ͍͕ɺڞͰ͋Δ͜ͱ͕͔֬ΊΒΕΔ ؔ ͱࣄલ Λ͔͚ɺ ࣄޙΛٻΊΔ
ڞࣄલ w ࣄલͷύϥϝʔλΛɺ Ծ؍ଌͱͯ͠ղऍ͢Δ͜ͱͰ͖Δ ! ! ! ! w DGQɹೋ߲ͷڞࣄલʮϕʔλʯͷ
ɹɹɹɹɹύϥϝʔλΛɺԾͷ؍ଌͱͯ͠ղऍͨ͠ Ծͷ؍ଌ /ʹ૬ Ծͷ؍ଌ V Y ʹ૬
ແใࣄલ w ࣄલΛஔ͖͍͕ͨɺ ύϥϝʔλ ʹ͍ͭͯͷ ͕ࣝͳ͍ͱ͖ w Ұ༷Λஔ͚ྑ͍ʁ ! w
Е͕࿈ଓ͔ͭൣғ͕ܾ·ͬͯͳ͍ͱ͖ɺ Еʹ͍ͭͯͷੵ͕ൃࢄͯ͠͠·͍ɺਖ਼نԽͰ͖ͳ͍ ˠมଇࣄલ
ແใࣄલ w ࣍ͷΑ͏ͳฏߦҠಈෆมੑΛ࣋ͬͨΛߟ͑Δ ྫɿਖ਼ن w ˞ฏߦҠಈෆมੑ w YΛఆҠಈͯ͠ɺҐஔύϥϝʔλЖΛಉ͚ͩ͡Ҡಈ͢Εɺ ֬ີͷܗมΘΒͳ͍
ͷͱ͖ ͱ͢Δͱɺ
ແใࣄલ w ฏߦҠಈෆมੑΛ࣋ͭࣄલʹ͍ͭͯߟ͑Δͱɺ ੵ͕۠ؒฏߦҠಈͯ͠ɺͦͷ֬มΘΒͳ͍ ! ! w Αͬͯɺࣜ ΑΓఆͱͳΔ
ແใࣄલ w ΨεͷЖͷ߹ɺ М@?ˠ㱣ͷۃݶͰແใࣄલͱͳΔ ! ! ! w ࣄޙʹɺࣄલͷύϥϝʔλ͕Өڹ͠ͳ͘ͳΔ
ϊϯύϥϝτϦοΫ๏ w ύϥϝτϦοΫ w ີؔ Ϟσϧ ΛબΜͰɺύϥϝʔλΛσʔλ͔Βਪఆ͢Δ ˠϞσϧ͕σʔλΛද͢ͷʹශऑͩͱɺ༧ଌਫ਼ѱ͍ w ྫ
ΨεΛσʔλʹͯΊͯɺЖɾМ?Λਪఆͨ͠ ˠσʔλ͕ଟๆੑͩͱɺΨεͰଊ͑ΒΕͳ͍ w ϊϯύϥϝτϦοΫ w ͷܗঢ়ʹஔ͘Ծఆ͕গͳ͍ w ྫ ଟๆੑͩͱ͔୯ๆੑͳͲͷԾఆஔ͔ͳ͍
ώετάϥϜີਪఆ๏ w ਅͷ֬ີؔ ઢ ͔Β ੜ͞ΕͨͷσʔλΑΓ ਪఆ ੨ώετάϥϜ ͨ͠ͷ w
YΛ෯϶ͷ۠ؒʹ۠Γɺ ͦͷ۠ؒʹೖͬͨYͷ؍ଌΛ Χϯτ͢Δɻ ͜ΕΛɺࣜ Ͱਖ਼نԽͨ͠ͷ
ώετάϥϜີਪఆ๏ w ࣍ݩɾ̎࣍ݩఔͷ؆୯ͳՄࢹԽʹཱͭɺ ؆ศͳํ๏ w ͜ͷΞϓϩʔν͔Βɺ࣍ͷ͕̎ͭΘ͔Δ w ͋Δͷ֬ີΛਪఆ͢Δʹɺۙͷ؍ଌͷΛߟྀ͢Δ ඞཁ͕͋Δ w
۠ؒͷ෯େ͖͗ͯ͢ খ͍͚͗ͯ͢͞ͳ͍ w খɿσʔλʹӨڹ͗͢͠Δ w େɿݩͷΛશ͘࠶ݱͰ͖ͳ͍ w ˠϞσϧͷෳࡶ͞ͷબʹࣅ͍ͯΔ
ώετάϥϜີਪఆ๏ͷ w ਪఆͨ͠ີ͕ෆ࿈ଓͰ͋Δ ۠ؒͱ۠ؒͷؒ w ࣍ݩͷढ͍ w Yͷ࣍ݩΛ%ͱ͢Δͱɺ۠ؒͷ૯.?%ݸ
Χʔωϧີਪఆ๏ w ະͷ֬ີQ Y ͔ΒಘΒΕͨ؍ଌू߹Λͬͯɺ Q Y ͷΛਪఆ͍ͨ͠ w YΛؚΉখ͞ͳྖҬ3ͷ֬Λ1ͱ͢Δ
! w /ݸͷ؍ଌ͕ಘΒΕͨͱͯ͠ɺ,ݸͷ؍ଌ͕ 3ʹؚ·ΕΔ֬ɺೋ߲ʹै͏ P = Z R p( x )d x p(K|N, P) = Bin(K|N, P)
Χʔωϧີਪఆ๏ w ೋ߲ͷظɾࢄΑΓɺ࣍ͷ͕ؔࣜಘΒΕΔ w /͕େ͖͍ͱ͖ɺࢄখ͘͞ͳΓɺظͷ͔ؔΒ w ·ͨɺ3͕খ͘͞ɺQ Y
͕3ͰҰఆͩͱۙࣅ͢Δͱ w Ҏ্ΑΓɺ࣍ͷີਪఆͷ͕ؔࣜಘΒΕΔ var K N = P(1 P) N E K N = P K ' NP P ' p( x )V p( x ) = K NV
Χʔωϧີਪఆ๏ w Ҏ্ΑΓɺ࣍ͷີਪఆͷ͕ؔࣜಘΒΕΔ ! w ֬ີQ Y Λਪఆ͢ΔͨΊʹɺ,ͱ7Λਪఆ͢Δ w ,ΛݻఆͰ7Λਪఆ
ˠ,ۙີਪఆ๏ w 7ΛݻఆͰ,Λਪఆ ˠΧʔωϧີਪఆ๏ p( x ) = K NV
Χʔωϧີਪఆ๏ w 7Λݻఆ͠ɺ,Λਪఆ͍ͨ͠ w ֬ີQ Y ΛٻΊ͍ͨΛYɺ؍ଌΛY@Oͱ͢Δ w Ұล͕IͰɺYΛத৺ͱ͢Δখ͞ͳཱํମͷ தʹ͋Δͷ૯
! w ҰลIͷཱํମͳͷͰɺ7I?%ͱͳΓɺ K = K X n=1 k ✓ x xn h ◆ p( x ) = 1 N K X n=1 1 hD k ✓ x xn h ◆
Χʔωϧີਪఆ๏ w খ͞ͳཱํମͷҰลIͷେ͖͕͞ ฏԽͷͨΊͷύϥϝʔλʹͳ͍ͬͯΔ w I͕ݻఆʹͳͬͯ͠·͏ ˠσʔλີ͕ߴ͍ྖҬͱ͍ྖҬͰɺෆ߹͕͋Δ
,ۙີਪఆ๏ w ,Λݻఆ͠ɺ7Λਪఆ͍ͨ͠ w ֬ີQ Y ΛٻΊ͍ͨΛYɺ؍ଌΛY@Oͱ͢Δ w YΛத৺ͱͯ͠ɺ͕,ݸؚ·ΕΔΑ͏ͳٿΛ୳͢ͱ 7Ұҙʹఆ·Γɺ֬ີਪఆ͞ΕΔ
ਤXXXPDXUJUFDIBDKQJOEFYQIQ NPEVMF(FOFSBMBDUJPO%PXO-PBEpMF QEGUZQFDBMΑΓ p( x ) = K NV
,ۙີਪఆ๏ w ,͕ฏԽύϥϝʔλʔͱͳ͍ͬͯΔ
·ͱΊΔͱʜ w Χʔωϧີਪఆ๏ w ྖҬͷମੵΛݻఆ͢Δ w Ұลͷ͕͞Iͳཱํମʹɺ؍ଌYO͕Կݸ͋Δ͔ΛٻΊͨ w I͕ฏԽύϥϝʔλʔ w
,ۙ๏ w ྖҬͷɺ؍ଌYOͷݸΛݻఆ͢Δ w ؍ଌYO͕LݸʹͳΔΑ͏ʹɺྖҬΛ͛ͨ w L͕ฏԽύϥϝʔλʔ
,ۙ๏ΛͬͨΫϥεྨ w ,ۙ๏ͱ."1ਪఆΛͬͯɺΫϥεྨΛߦ͏ w YͷΫϥε$@Lͷࣄޙ֬ΛٻΊ͍ͨ
,ۙ๏ΛͬͨΫϥεྨ w ϕΠζͷఆཧΑΓɺ ! w ֬ີQ Y ɺઌ΄ͲٻΊͨͱ͓Γ ! w
ࣄલɺશͯͷ؍ଌͷ͏ͪΫϥεʹଐ͢Δ؍ଌ ! w ɺͦͷΫϥεʹଐ͢Δ؍ଌͰͷ֬ີΑΓɺ p(Ck | x ) = p( x |Ck)p(Ck) p( x ) p( x ) = K NV p(Ck) = Nk N p( x |Ck) = Kk NkV
,ۙ๏ΛͬͨΫϥεྨ w ϕΠζͷఆཧʹೖ͢Δͱɺ ! w Αͬͯɺ,ۙͷ͏ͪɺΫϥε$@Lʹଐ͢ΔͷͰ ଟܾΛऔΕΑ͍ w ಛʹɺ,ͷͱ͖࠷ۙ๏ͱݺΕΔ p(Ck
| x ) = p( x |Ck)p(Ck) p( x ) = Kk K ˖ʹ͍ۙ̏ͭͷͰଟܾΛऔ͍ͬͯΔ ࠷ۙ๏Ͱɺ ࠷ۙ๏ͰɺΫϥεͷҟͳΔͷରͷ ਨೋઢʹͳ͍ͬͯΔ
w ͋ΔYͷ֬ີQ Y Λਪఆ͢Δʹ͋ͨͬͯɺ શͯͷσʔλΛอ࣋͢Δඞཁ͕͋Δ w σʔλ͕૿͑ΔͱɺۙΛ୳ࡧ͍͕ͯ࣌ؒ͘͠େʹ ͳΔ ˠ୳ࡧ͢ΔͨΊͷߏΛ࡞Δ
ຊདྷɺ࠷͍ۙΛશ୳ࡧ͢Δඞཁ͕͋Δ
͓ΘΓ