Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Deep Neural Networkの共同学習
Search
Hironobu Fujiyoshi
February 02, 2023
Technology
0
790
Deep Neural Networkの共同学習
2023年2月2日
知識転移グラフによる深層共同学習
知識転移グラフによる最適な半教師あり学習の探索
素人発想玄人実行2.0
Hironobu Fujiyoshi
February 02, 2023
Tweet
Share
More Decks by Hironobu Fujiyoshi
See All by Hironobu Fujiyoshi
チュートリアル:Mamba, Vision Mamba (Vim)
hf149
6
3.4k
TransformerによるBEV Perception
hf149
1
790
-SSII技術マップを通して見る過去・現在,そして未来-
hf149
1
830
⾃⼰教師あり学習によるビジョン基盤モデルの事前学習
hf149
3
1.4k
Beyond Explainable AI: Co-evolution of AI and Humans
hf149
0
340
Deep Collaborative Learning by Knowledge Transfer Graph
hf149
0
340
局所特徴量:画像認識における特徴表現獲得の変遷
hf149
10
5.4k
深層学習によるセマンティックセグメンテーションとその最新動向
hf149
4
1.9k
素人発想玄人実行2.0
hf149
0
1.6k
Other Decks in Technology
See All in Technology
ソフトウェア開発現代史: "LeanとDevOpsの科学"の「科学」とは何か? - DORA Report 10年の変遷を追って - #DevOpsDaysTokyo
takabow
0
380
食べログが挑む!飲食店ネット予約システムで自動テスト無双して手動テストゼロを実現する戦略
hagevvashi
3
420
クラウド開発環境Cloud Workstationsの紹介
yunosukey
0
160
いつも初心者向けの記事に助けられているので得意分野では初心者向けの記事を書きます
toru_kubota
2
310
От ручной разметки к LLM: как мы создавали облако тегов в Lamoda. Анастасия Ангелова, Data Scientist, Lamoda Tech
lamodatech
0
710
品質文化を支える小さいクロスファンクショナルなチーム / Cross-functional teams fostering quality culture
toma_sm
0
100
AIでめっちゃ便利になったけど、結局みんなで学ぶよねっていう話
kakehashi
PRO
0
110
4/17/25 - CIJUG - Java Meets AI: Build LLM-Powered Apps with LangChain4j (part 2)
edeandrea
PRO
0
100
バックオフィス向け toB SaaS バクラクにおけるレコメンド技術活用 / recommender-systems-in-layerx-bakuraku
yuya4
6
540
Devinで模索する AIファースト開発〜ゼロベースから始めるDevOpsの進化〜
potix2
PRO
7
3.4k
Amazon S3 Tables + Amazon Athena / Apache Iceberg
okaru
0
270
AIと開発者の共創: エージェント時代におけるAIフレンドリーなDevOpsの実践
bicstone
1
310
Featured
See All Featured
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.3k
Testing 201, or: Great Expectations
jmmastey
42
7.5k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
34
2.2k
RailsConf 2023
tenderlove
30
1.1k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Why Our Code Smells
bkeepers
PRO
336
57k
Building Flexible Design Systems
yeseniaperezcruz
329
38k
Designing Experiences People Love
moore
141
24k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
13
670
Into the Great Unknown - MozCon
thekraken
37
1.7k
Thoughts on Productivity
jonyablonski
69
4.6k
Transcript
%FFQ/FVSBM/FUXPSLͷڞಉֶश ౻٢߂ʢத෦େֶɾػց֮ϩϘςΟΫεάϧʔϓʣ IUUQNQSHKQ
݄ɿۚग़༤ઌੜ͔Β͍͓ͨݴ༿ 2 த෦େֶϩΰ த෦େֶϩΰ
w ʮൃ୯७ɼૉɼࣗ༝ɼ؆୯ で ͳ͚Ε ば ͳΒͳ͍ɽ͔͠͠ɼൃΛ࣮ߦʹҠ͢ʹࣝ が ͍Δɼख़࿅͞Εٕͨ が ͍Δʯʢۚग़༤ʣ
ʮૉਓൃݰਓ࣮ߦʯͱʁ 3 த෦େֶϩΰ த෦େֶϩΰ IUUQTXXXBNB[PODPKQEQ#11428/ IUUQNQSHKQ5,CPPL
w ʮݴ͏қ͘ɼߦ͏͠ʯͷయܕ w ͔ΒΛܦͯʮૉਓൃݰਓ࣮ߦʯ͚ۙͮͨݚڀ ඇํੑ-P(ϑΟϧλʹΑΔෳͷΞϑΟϯྖҬͷਪఆ<)BTFHBXB *$$7> ࣝసҠ グ
ϥϑʹΑΔڞಉֶश<.JOBNJ "$$7> <0LBNPUP &$$7> ݚڀϞοτʔʮૉਓൃݰਓ࣮ߦʯ 4 த෦େֶϩΰ த෦େֶϩΰ จ" จ# จ$ จ% จ" จ# จ$ จ% จ& ଟ͘ͷจΛਂ͘ಡΜͰ͍͘ͱ ຊ࣭తͳݚڀ ຊ࣭Ͱͳ͘খ͞ͳ͜ͱ ʹணͨ͠ݚڀ ݚڀۭؒ
ਂֶशͷωοτϫʔΫߏ த෦େֶϩΰ த෦େֶϩΰ w *-473$ʹ͓͚ΔωοτϫʔΫߏͷมભ 2012 SuperVision GoogLeNet Konvolüzasyon Pooling
Softmax Diğer [Krizhevsky NIPS 2012] [Szegedy arxiv 2014]-22 [Sim "MFY/FU MBZFST *-473$ 2014 GoogLeNet Konvolüzasyon Pooling Softmax Diğer VGG MSRA [Szegedy arxiv 2014]-22 [Simonyan arxiv 2014] -19 [He arxiv 2014] n 2014 GoogLeNet Konvolüzasyon Pooling Softmax Diğer VGG MSRA 35/36 t derin öğ kullanm 20/36 t açık-kay Caffe uygula kullanm 012] [Szegedy arxiv 2014]-22 [Simonyan arxiv 2014] -19 [He arxiv 2014] 7(( MBZFST *-473$ (PPHMF/FU MBZFST *-473$ 14 3FT/FU MBZFST *-473$ ˠ ສύϥϝʔλ ˠԯύϥϝʔλ ˠ ສύϥϝʔλ
,OPXMFEHF%JTUJMMBUJPO ,% <()JOUPO > த෦େֶϩΰ த෦େֶϩΰ w ࣝৠཹ ֶशࡁΈ-BSHFωοτϫʔΫ͔Β4NBMMωοτϫʔΫʹࣝసҠ
ੑೳΛอͪͭͭɺύϥϝʔλͱܭࢉίετΛݮՄೳ 5FBDIFS /FUXPSL 4UVEFOU /FUXPSL -BSHF QSFUSBJOFE 4NBMM ,OPXMFEHFUSBOTGFS ࣝৠཹ ࣝ
,OPXMFEHF%JTUJMMBUJPO ,% <()JOUPO > த෦େֶϩΰ த෦େֶϩΰ w ࣝৠཹɿ5FBDIFSˠ4UVEFOU ֶशࡁΈ-BSHFωοτϫʔΫ͔Β4NBMMωοτϫʔΫʹࣝసҠ
ੑೳΛอͪͭͭɺύϥϝʔλͱܭࢉίετΛݮՄೳ ֶशํ๏ɿ)BSEUBSHFUͱ4PGUUBSHFUͰ4UVEFOUωοτϫʔΫΛֶश %BSL,OPXMFEHFʢӅΕͨࣝʣ 5FBDIFS 4UVEFOU $SPTT&OUSPQZ $SPTT&OUSPQZ MBCFM QSFUSBJOFE 4PGUUBSHFU )BSEUBSHFU ʢਖ਼ղϥϕϧʣ p1 p2 ʢ֬ʣ #BDLQSPQ
%FFQ.VUVBM-FBSOJOH %.- <:;IBOH > த෦େֶϩΰ த෦େֶϩΰ w 4UVEFOUωοτϫʔΫͷ૬ޓֶशɿ4UVEFOU⁶4UVEFOU ,VMMCBDL-FJCMFS
,- %JWFSHFODFͰωοτϫʔΫͷग़ྗ ͱ Λ͚ۙͮ߹͏ p1 p2 MBCFM 4UVEFOU 4UVEFOU p1 p2 KL(p1 ||p2 ) KL(p2 ||p1 ) ˠྠߨͷΑ͏ͳֶशܗଶͰ͋ΓɺࣝৠཹΑΓਫ਼্͕ )BSE5BSHFU $SPTT&OUSPQZ 4PGU5BSHFU ,-EJWFSHFODF
%FFQ.VUVBM-FBSOJOH %.- <:;IBOH > த෦େֶϩΰ த෦େֶϩΰ w Կނ%.-͏·͍͘͘ͷ͔ʁ *OEFQFOEFOU
Y Zd Y Zd %.- 7*46"-*;*/(5)&-044-"/%4$"1&0'/&63"-/&54</FVS*14> ˠ%.-͍୩ʹམ͍ͪͯΔ
%FFQ.VUVBM-FBSOJOH %.- <:;IBOH > த෦େֶϩΰ த෦େֶϩΰ w ͍୩ʹམ͍ͪͯΔͱԿނྑ͍ͷ͔ʁ ύϥϝʔλ
ʢ͘͠ೖྗ ʣ͕มಈͯ͠ଛࣦมԽ͠ͳ͍ˠ൚Խೳྗ͕ߴ͍ *OEFQFOEFOUɿଛࣦ͕খ͘͞ͳΔ୩ʹऩଋʢ͍୩ͱݶΒͳ͍ʣ %.-ɿೋͭͷωοτϫʔΫͷग़ྗ͕ࣅΔΑ͏ʹֶशˠ͍୩Λ୳͢ ˠϩεͷϥϯυεέʔϓ͕ޯͷ؇͔ͳತؔʹ͖ۙͮਫ਼্ w x -PTT y = f(x) y = wTx w ࣸ૾ؔɿχϡʔϥϧωοτϫʔΫ " # %.- %.- *OEFQFOEFOU
ωοτϫʔΫؒͷࣝసҠ த෦େֶϩΰ த෦େֶϩΰ w ͍୩ʹམ͍ͪͯΔͱԿނྑ͍ͷ͔ʁࣝΛ͑Δ͜ͱͰೝࣝੑೳ্͕ ࣝৠཹɿ,OPXMFEHF%JTUJMMBUJPO<()JOUPO > ૬ޓֶशɿ%FFQ.VUVBM-FBSOJOH<:;IBOH
> 5FBDIFS 4UVEFOU ,OPXMFEHF%JTUJMMBUJPO ,% 4UVEFOU 4UVEFOU %FFQ.VUVBM-FBSOJOH %.- p1 p2 p1 p2
ࣝৠཹɾ૬ޓֶशͷੜख๏ த෦େֶϩΰ த෦େֶϩΰ 4UVEFOU 4UVEFOU 4UVEFOU 4UVEFOU 4UVEFOU 4UVEFOU
4UVEFOU 5FBDIFS 4UVEFOU 5FBDIFS 4UVEFOU 5FBDIFS 5" 4UVEFOU ,OPXMFEHF%JTUJMMBUJPO %FFQ.VUVBM-FBSOJOH ,OPXMFEHF%JTUJMMBUJPO <()JOUPO > #PSO"HBJO <'VSMBOFMMP > 5FBDIFS"TTJTUBOU <.JS[BEFI > %FFQ.VUVBM-FBSOJOH<:;IBOH > -BSHFϞσϧ4NBMMϞσϧ ಉҰαΠζ தؒϞσϧ͋Γ -BSHFϞσϧ4NBMMϞσϧ ಉҰαΠζ Ϟσϧ p1 p2 p1 p2 p1 p2 p1 p2 p1 p2 p3 p1 p2 p3
ࣝৠཹɾ૬ޓֶशͷੜख๏ த෦େֶϩΰ த෦େֶϩΰ ,OPXMFEHF%JTUJMMBUJPO <()JOUPO > #PSO"HBJO <'VSMBOFMMP >
5FBDIFS"TTJTUBOU <.JS[BEFI > %FFQ.VUVBM-FBSOJOH<:;IBOH > ,OPXMFEHF%JTUJMMBUJPO %FFQ.VUVBM-FBSOJOH -BSHFϞσϧ4NBMMϞσϧ ಉҰαΠζ தؒϞσϧ͋Γ -BSHFϞσϧ4NBMMϞσϧ ಉҰαΠζ Ϟσϧ ਓ͕ઃܭͨ͠ݶఆతͳֶशํ๏
ຊݚڀͷඪ த෦େֶϩΰ த෦େֶϩΰ w ڞಉֶशΛΫϥεϧʔϜεέʔϧ֦ு ଟ༷ੑͷߴ͍ڞಉֶशΛ࣮ݱ ʮૉਓൃʯ ˠڭࣨͰͷֶशͷΑ͏ʹઌੜ͔ΒͰͳ͘ଟ͘ͷੜె͕ෳࡶʹڭ͑͋͏ֶश
w ڞಉֶशΛΫϥεϧʔϜεέʔϧ֦ு ଟ༷ੑͷߴ͍ڞಉֶशΛ࣮ݱ w ࣝసҠάϥϑͷఏҊ<.JOBNJ "$$7> ैདྷख๏ ,%ͱ%.-
Λแͭͭ͠ɺ৽ֶ͍͠शํ๏ΛؚΉදݱํ๏ ̐छྨͷ(BUFؔʹΑΓࣝసҠΛ੍ޚ͢Δ͜ͱͰଟ༷ͳڞಉֶश ,% %.- ຊݚڀͷඪ த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 ࣝసҠάϥϑ
w άϥϑΛ༻͍ͯ,%ͱ%.-Λදݱ ϊʔυɿਂֶशϞσϧ Τοδɿࣝৠཹͷଛࣦ άϥϑදݱͷม த෦େֶϩΰ த෦େֶϩΰ
,OPXMFEHF%JTUJMMBUJPO ,% 5FBDIFS 4UVEFOU 4UVEFOU 4UVEFOU %FFQ.VUVBM-FBSOJOH %.- p1 p2 p1 p2 -BSHF 4NBMM m1 m2 ํͷΤοδ -BSHF 4NBMM m1 m2 ํͷΤοδ άϥϑදݱ
w ิॿϊʔυ͕ධՁରϊʔυͷֶशΛαϙʔτ͢Δ ϊʔυɿਂֶशϞσϧ Τοδɿࣝৠཹͷଛࣦ ࣝసҠάϥϑ ϊʔυ͕ͷ߹ த෦େֶϩΰ த෦େֶϩΰ
𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 ਖ਼ղϥϕϧ ධՁରϊʔυ 3FT/FU ิॿϊʔυ 3FT/FU 8JEF3FT/FU %FOTF/FU …
w ֤ΤοδʹҟͳΔଛࣦؔΛఆٛ ଛࣦؔͷΈ߹ΘͤΛ୳ࡧ͢Δ͜ͱͰ৽ͨͳֶशํ๏Λ࣮ݱ ࣝసҠάϥϑ ϊʔυ͕ͷ߹ த෦େֶϩΰ த෦େֶϩΰ 𝑚
3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 ଛࣦؔ 𝐿 = 𝐻 ( 𝑝 ^ 𝑦 , 𝑝 𝑛 ) 𝐿 = 𝐾 𝐿 ( 𝑝 𝑛 || 𝑝 𝑚 ) 𝐿 = 0 … ˠଟ༷ͳࣝసҠΛදݱ͢ΔϑϨʔϜϫʔΫΛઃܭ ʮݰਓ࣮ߦᶃʯ
w ϊʔυ̎ TPVSDF ͔Βϊʔυ̍ EFTUJOBUJPO ͷࣝసҠ ΤοδͷࣝసҠͷଛࣦܭࢉ த෦େֶϩΰ த෦େֶϩΰ
𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 -PTT GVOD 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 p2 (c|x) p1 (c|x) L2,1 (p2 , p1 ) 'PSXBSE
w ϊʔυ̎ TPVSDF ͔Βϊʔυ̍ EFTUJOBUJPO ͷࣝసҠ ΤοδͷࣝసҠͷଛࣦܭࢉ த෦େֶϩΰ த෦େֶϩΰ
𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 -PTT GVOD 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) #BDLQSPQ %FUBDI #BDLXBSE
w ϊʔυ̎ TPVSDF ͔Βϊʔυ̍ EFTUJOBUJPO ͷࣝసҠ ΤοδͷࣝసҠͷଛࣦܭࢉ த෦େֶϩΰ த෦େֶϩΰ
𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 -PTT GVOD 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) Gate KL div 'PSXBSE p2 (c|x) p1 (c|x)
w ͲͷΑ͏ʹࣝసҠ͢Δ͔Λ੍ޚ ήʔτؔ த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1
𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) 'PSXBSE p2 (c|x) p1 (c|x) Gate KL div $VUPGG(BUF -JOFBS(BUF 5ISPVHI(BUF $PSSFDU(BUF
w ೖྗ͞ΕͨΛͦͷ··ग़ྗ͢Δ ήʔτؔɿ5ISPVHI(BUF த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1
𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) $VUPGG(BUF -JOFBS(BUF $PSSFDU(BUF 5ISPVHI(BUF 𝐺 ( 𝐷 𝐾 𝐿 ) = 𝐷 𝐾 𝐿 มߋΛՃ͑ͣɺ ͦͷ··ୡ 'PSXBSE p2 (c|x) p1 (c|x) Gate KL div
w ೖྗʹରͯ͠ৗʹΛग़ྗ ήʔτؔɿ$VUP ff (BUF த෦େֶϩΰ த෦େֶϩΰ 𝑚 3
𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) $VUPGG(BUF -JOFBS(BUF $PSSFDU(BUF 5ISPVHI(BUF ৗʹΛग़ྗ Τοδͷஅ 𝐺 ( 𝐷 𝐾 𝐿 ) = 0 'PSXBSE p2 (c|x) p1 (c|x) Gate KL div
w ֶश͕࣌ؒܦաͱͱʹग़ྗ͕ঃʑʹେ͖͘ͳΔ ήʔτؔɿ-JOFBS(BUF த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1
𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) $VUPGG(BUF -JOFBS(BUF $PSSFDU(BUF 5ISPVHI(BUF Gate KL div ࣌ؒͱڞʹग़ྗ͕ େ͖͘ͳΔ 𝐺 ( 𝐷 𝐾 𝐿 ) = 𝑡 𝑡 𝑚 𝑎 𝑥 ∙ 𝐷 𝐾 𝐿 'PSXBSE p2 (c|x) p1 (c|x)
w ιʔεϊʔυ͕ਖ਼ղͨ͠߹ͷΈग़ྗ ήʔτؔɿ$PSSFDUHBUF த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1
𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) $VUPGG(BUF -JOFBS(BUF $PSSFDU(BUF 5ISPVHI(BUF Gate KL div ਖ਼ղͨ͠αϯϓϧͷ ใͷΈୡ 𝐺 ( 𝐷 𝐾 𝐿 ) = 𝛿 ^ 𝑦 , 𝑦 𝑚 2 ∙ 𝐷 𝐾 𝐿 'PSXBSE p2 (c|x) p1 (c|x)
w ͲͷΑ͏ʹࣝసҠ͢Δ͔Λ੍ޚ ήʔτؔ த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1
𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) 'PSXBSE p2 (c|x) p1 (c|x) Gate KL div $VUPGG(BUF -JOFBS(BUF 5ISPVHI(BUF $PSSFDU(BUF
w ϋΠύʔύϥϝʔλαʔνͰࣝసҠάϥϑΛ࠷దԽ ࠷దԽख๏"TZODISPOPVT4VDDFTTJWF)BMWJOH"MHPSJUIN "4)" ύϥϝʔλήʔτؔ ิॿϊʔυ ࣝసҠάϥϑͷ࠷దԽ
த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 ήʔτؔ • 5ISPVHI(BUF • $VUPGG(BUF • -JOFBS(BUF • $PSSFDU(BUF • 3FT/FU ධՁରϊʔυ • 3FT/FU • 3FT/FU • 8JEF3FT/FU ิॿϊʔυ શΈ߹Θͤɿ ௨Γʢϊʔυͷ߹ʣ
ࣝసҠάϥϑͷ࠷దԽ த෦େֶϩΰ த෦େֶϩΰ αʔόɹɹɹɹɿ ୳ࡧճɹɹɹɹɿ ճ ϑϨʔϜϫʔΫɹɿ0QUVOB
w ධՁରϊʔυɿ 3FT/FU w 7BOJMMBϞσϧɿ ࠷దԽʹΑͬͯ֫ಘͨࣝ͠సҠάϥϑʢୈҐʣ த෦େֶϩΰ த෦େֶϩΰ
ڭࢣϥϕϧ ධՁରϊʔυ ิॿϊʔυ QSFUSBJOFE ิॿϊʔυ ڭࢣϥϕϧ
w ධՁରϊʔυɿ 3FT/FU w 7BOJMMBϞσϧɿ ࠷దԽʹΑͬͯ֫ಘͨࣝ͠సҠάϥϑʢୈҐʣ த෦େֶϩΰ த෦େֶϩΰ
ิॿϊʔυ QSFUSBJOFE ิॿϊʔυ ධՁରϊʔυ ࣝৠཹ
w ධՁରϊʔυɿ 3FT/FU w 7BOJMMBϞσϧɿ ࠷దԽʹΑͬͯ֫ಘͨࣝ͠సҠάϥϑʢୈҐʣ த෦େֶϩΰ த෦େֶϩΰ
ิॿϊʔυ QSFUSBJOFE ิॿϊʔυ ධՁରϊʔυ ॳΊ,%ϥΠΫͳֶशɼ࣍ୈʹ,%ʴ%.-ͳֶश͕ߦΘΕΔ ɹ૬ޓֶशɹ
w ࣮ݧ֓ཁ σʔληοτɿ$*'"3 ֶशϊʔυɿ ࠷దԽରϊʔυɿ3FT/FU ैདྷख๏ ,%
%.- ͱͷൺֱ த෦େֶϩΰ த෦େֶϩΰ ख๏ ೝࣝ<> ิॿϊʔυͷϞσϧ *OEFQFOEFOU r ,% 3FT/FU QSFUSBJOFE %.- 3FT/FU 3FT/FU 0VST 3FT/FU QSFUSBJOFE 3FT/FU
࠷దԽʹΑͬͯ֫ಘͨࣝ͠సҠάϥϑ $*'"3 த෦େֶϩΰ த෦େֶϩΰ ϊʔυɿ ϊʔυɿ ϊʔυɿ
ϊʔυɿ ϊʔυɿ ϊʔυɿ *OEFQFOEFOU3FT/FU
࠷దԽʹΑͬͯ֫ಘͨࣝ͠సҠάϥϑ $*'"3 த෦େֶϩΰ த෦େֶϩΰ *OEFQFOEFOU3FT/FU ϊʔυɿ
w ࣝసҠάϥϑʹΞϯαϯϒϧϊʔυͱΞςϯγϣϯϩεΛಋೖ ΞςϯγϣϯϩεɿΤοδͷϩεʹΞςϯγϣϯϩεΛՃ Ξϯαϯϒϧϊʔυɿ֤ϊʔυͷग़ྗΛΞϯαϯϒϧ͢Δػߏ ࣝసҠάϥϑΛ༻͍ͨΞϯαϯϒϧֶश<0LBNPUP &$$7> த෦େֶϩΰ த෦େֶϩΰ
Ξϯαϯϒϧϊʔυ ^ 𝑦 𝐿 ^ 𝑦 , 𝑒 𝑒𝑛𝑠 𝑚 1 𝑚 2 𝑚 3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝐿 ^ 𝑦 ,3 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,1 𝐿 2,1 𝐿 1,2 𝐿 3,1 𝐿 1,3 𝐿 2,3 𝐿 3,2 𝐿 i,j = 𝐾 𝐿 ( 𝒑 i , 𝒑 j) ± 𝐿 𝐴 𝑇 ( 𝑸 i , 𝑸 j ) Ξςϯγϣϯϩε
w ϊʔυ͔̎Βϊʔυ̍ͷΞςϯγϣϯϩε ೋͭͷϞσϧؒͷΞςϯγϣϯΛ͚ۙͮͨΓ͢ޮՌ Ξςϯγϣϯϩε த෦େֶϩΰ த෦େֶϩΰ 4PVSDF %FTUJOBUJPO
𝑚 2 𝑚 1 p2 (c|x) p1 (c|x) 'PSXBSE 𝑚 1 𝑚 2 𝑚 3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝐿 ^ 𝑦 ,3 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,1 𝐿 2,1 𝐿 1,2 𝐿 3,1 𝐿 1,3 𝐿 2,3 𝐿 3,2 ,-EJW x x "UUFOUJPO "UUFOUJPO 𝑸 = 𝐶 ∑ 𝑖 =1 𝑨 𝑖 𝑝 ɿಛϚοϓ ɿνϟωϧ ɿϊϧϜ 𝑨 𝑖 𝐶 𝑝 ैདྷͷଛࣦ 𝐿 𝐴𝑇 𝐿 𝐴𝑇 ( 𝑸 2 , 𝑸 1 ) = 1 𝐽 𝐽 ∑ 𝑗 𝑸 𝑗 2 𝑸 𝑗 2 2 − 𝑸 𝑗 1 𝑸 𝑗 1 2 2 "UUFOUJPOଛࣦ (BUF 𝐿 2,1 = G( 𝐾𝐿 ( 𝒑 2 , 𝒑 1) ± 𝐿 𝐴 𝑇 ( 𝑸 2 , 𝑸 1 )) ͚ۙͮΔ ͢ + −
w ,-EJWFSHFODFͱΞςϯγϣϯϩεΛ#BDLQSPQͯ͠ Λߋ৽ 𝑚 1 ϊʔυ̎ TPVSDF ͔Βϊʔυ̍ EFTUJOBUJPO ͷࣝసҠ
த෦େֶϩΰ த෦େֶϩΰ 𝑚 2 𝑚 1 𝑚 1 𝑚 2 𝑚 3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝐿 ^ 𝑦 ,3 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,1 𝐿 1,2 𝐿 3,1 𝐿 1,3 𝐿 2,3 𝐿 3,2 x x 4PVSDF %FTUJOBUJPO ͚ۙͮΔ ͢ + − 𝐿 2,1 #BDLXBSE 𝐿 2,1 = G( 𝐾𝐿 ( 𝒑 2 , 𝒑 1) ± 𝐿 𝐴 𝑇 ( 𝑸 2 , 𝑸 1 )) ,-EJW 𝐿 𝐴𝑇 (BUF "UUFOUJPO "UUFOUJPO Detach Back-prop
w ΞϯαϯϒϧϊʔυΛλʔήοτϊʔυͱͯ͠࠷େԽ͢ΔΑ͏ʹ࠷దԽ ֤ϊʔυͷग़ྗΛฏۉʹΑΓΞϯαϯϒϧ͢Δػߏ Ξϯαϯϒϧϊʔυ த෦େֶϩΰ த෦େֶϩΰ ^ 𝑦
𝐿 ^ 𝑦 , 𝑒 𝑒𝑛𝑠 𝑚 1 𝑚 2 𝑚 3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝐿 ^ 𝑦 ,3 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,1 𝐿 2,1 𝐿 1,2 𝐿 3,1 𝐿 1,3 𝐿 2,3 𝐿 3,2 𝑚 1 𝑚 2 𝑒𝑛𝑠 Ξϯαϯϒϧϊʔυ 𝑚 3 Ξϯαϯϒϧػߏ 𝑝 ( 𝑐 𝑥 ) = 𝑝 1 ( 𝑐 𝑥 ) + 𝑝 2 ( 𝑐 𝑥 ) + 𝑝 3 ( 𝑐 | 𝑥 ) 𝑝 1 ( 𝑐 𝑥 ) 𝑝 2 ( 𝑐 𝑥 ) 𝑝 3 ( 𝑐 𝑥 ) 𝑝 ( 𝑐 𝑥 )
ࣝసҠάϥϑͷΞϯαϯϒϧޮՌ த෦େֶϩΰ த෦େֶϩΰ ˠࣝసҠάϥϑʹ͓͍ͯΞϯαϯϒϧਫ਼্͕
࠷దԽͨ͠ΞϯαϯϒϧࣝసҠάϥϑ ϊʔυɿʣ த෦େֶϩΰ த෦େֶϩΰ ˠҟͳΔΞςϯγϣϯϚοϓʢΞϯαϯϒϧʹదͨ͠ଟ༷ੑʣΛ֫ಘ w Ξϯαϯϒϧϊʔυɿ w 7BOJMMBϞσϧɿ
ೖྗը૾
࠷దԽͨ͠ΞϯαϯϒϧࣝసҠάϥϑ ϊʔυɿʣ த෦େֶϩΰ த෦େֶϩΰ ʹ͚ۙͮΔ ʹ͚ۙͮΔ ͔Β͢ ˠҟͳΔΞςϯγϣϯϚοϓʢΞϯαϯϒϧʹదͨ͠ଟ༷ੑʣΛ֫ಘ ʹ͚ۙͮΔ
͔Β͢ ͓ޓ͍ʹ͚ۙͮΔ ʹ͚ۙͮΔ ʹ͚ۙͮΔ ʹ͚ۙͮΔ ೖྗը૾ w Ξϯαϯϒϧϊʔυɿ w 7BOJMMBϞσϧɿ
ଟ༷ͳΞϯαϯϒϧϞσϧ͔Βͷࣝৠཹ த෦େֶϩΰ த෦େֶϩΰ w ࣝసҠάϥϑͷΞϯαϯϒϧΛڭࢣͱͯࣝ͠ৠཹ ڭࢣωοτϫʔΫɿࣝసҠάϥϑͰֶशͨ͠ෳͷ"#/ʢ3FT/FUʣ ੜెωοτϫʔΫɿ"#/ʢ3FT/FUʣ
ೖྗը૾ 𝒙 4UVEFOU/FUXPSL ωοτϫʔΫ 𝑚 1 𝒍 1 ( 𝒙 ) 𝒍 3 ( 𝒙 ) ωοτϫʔΫ 𝑚 3 𝒍 𝑒 𝑛 𝑠 ( 𝒙 ) 𝒑 𝑠 ( 𝒙 ) ڭࢣϥϕϧ ^ 𝑦 ࣝసҠ 𝒑 𝑒 𝑛 𝑠 ( 𝒙 ) Թ͖4PGUNBYؔ 5FBDIFS/FUXPSL 𝑒 𝑛 𝑠 𝑚 1 𝑚 2 𝑚 3 ࣝసҠάϥϑ
ଟ༷ͳΞϯαϯϒϧϞσϧ͔Βͷࣝৠཹ த෦େֶϩΰ த෦େֶϩΰ ࣝసҠάϥϑʹΑΔΞϯαϯϒϧΛৠཹ͢Δ͜ͱͰ ಉ͡ύϥϝʔλͰߴ͍ೝࣝੑೳΛൃش
ࣝసҠάϥϑʹΑΔڞಉֶश த෦େֶϩΰ த෦େֶϩΰ w ࣝసҠάϥϑΛఏҊ ̐छྨͷ(BUFؔʹΑΓɺࣝసҠΛ੍ޚ͢Δ͜ͱͰଟ༷ͳڞಉֶश ϋΠύʔύϥϝʔλαʔνʹΑΔ࠷దͳࣝసҠάϥϑΛ୳ࡧ
ࣝసҠάϥϑʹΑΔΞϯαϯϒϧֶश w ൃݟͨ͜͠ͱʢϊʔυͷ߹ʣ ,%ͱ%.-͕༥߹ͨࣝ͠సҠάϥϑैདྷ๏Λ͑Δਫ਼Λୡ ,%ͱ%.-ͷ༥߹ͨࣝ͠సҠάϥϑ 𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦
ૉਓൃݰਓ࣮ߦ த෦େֶϩΰ த෦େֶϩΰ w ࣝసҠάϥϑΛఏҊࣝసҠ グ ϥϑʹΑΔڞಉֶश<.JOBNJ .*36 "$$7>
ݚڀऀઃఆͱղ͖ํΛݶఆͤ ず ɼࣝసҠΛදݱ͢ΔϑϨʔϜϫʔΫΛݚڀऀ が ઐੑΛൃ شͯ͠ઃܭ ࠷దԽ୳ࡧΛߦ͏͜ͱ で ৽ͨͳݟΛൃݟ 4PGUXBSF ࣌ͷݚڀํ๏ ܭࢉػ が େͳ パ ϥϝʔλۭ͔ؒΒ༷Λຬͨ͢ プ ϩ グ ϥϜΛ୳ࡧ ʮૉਓൃݰਓ࣮ߦʯ ୳ࡧʹΑΓ֫ಘͨ͠৽ͨͳݟ が ࣍ͷ৽ͨͳݚڀͷॹͱͳΔ͜ͱΛظ ݚڀۭؒ ͜Ε·Ͱͷݚڀ ݚ ڀ ͷ ෳ ࡶ ͞ ૉਓൃݰਓ࣮ߦ
47 த෦େֶϩΰ த෦େֶϩΰ ࣝసҠάϥϑʹΑΔ࠷దͳڭࢣ͋Γਂڞಉֶशͷ୳ࡧ<ଜຊ +4"*> ʮૉਓൃݰਓ࣮ߦʯ ୳ࡧʹΑΓ֫ಘͨ͠৽ͨͳݟ が ࣍ͷ৽ͨͳݚڀͷॹͱͳΔ͜ͱΛظ
w ϥϕϧ͋Γσʔλͱϥϕϧͳ͠σʔλΛֶशʹར༻ Ξϊςʔγϣϯʢϥϕϧ͚ʣʹ͔͔Δίετݮ ֶश༻σʔλͷ֬อ͕༰қ ڭࢣ͋Γֶशʢ4FNJTVQFSWJTFEMFBSOJOH 44- ֶश༻σʔλʹର͢Δσʔλͷׂ߹
w Ұகੑਖ਼ଇԽʢ$POTJTUFODZSFHVMBSJ[BUJPOʣ ϥϕϧͳ͠σʔλʹઁಈΛ༩͠ɼͦͷը૾ʹର͢ΔҰகੑΛֶश ैདྷ๏ɿ NPEFM<-BJOF *$-3>ɼ.FBO5FBDIFS<5BSWBJOFO /FVS*14>ͳͲ w
ٖࣅϥϕϦϯάʢ1TFVEPMBCFMJOHʣ ༧ଌ݁ՌΛPOFIPUԽٖͯ͠ࣅϥϕϧΛϥϕϧͳ͠σʔλʹ༩ ϥϕϧ͋Γσʔλͱٖࣅϥϕϧ͋Γσʔλͷࠞ߹ηοτΛ༻͍ͯڭࢣ͋Γֶश ैདྷ๏ɿ1TFVEP-BCFM<-FF *$.->ͳͲ Π ڭࢣ͋Γֶशͷදతͳํ๏ ϥϕϧͳ͠σʔλ ༧ଌ /FUXPSL ٖࣅϥϕϧ͋Γσʔλ ʢϥϕϧͳ͠σʔλʣ )BSEUBSHFU ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ 予測1 摂動を付与 ٖࣅϥϕϦϯά ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ 予測1 摂動を付与 Ұ؏ੑਖ਼ଇԽ ϥϕϧͳ͠σʔλ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ 予測1 摂動を付与 ʴઁಈ ʴઁಈ ༧ଌ ༧ଌ ޡࠩ /FUXPSL
w ٖࣅϥϕϦϯάɿऑม࣌ͷ༧ଌ͕ᮢΛ͑ͨ߹ͷΈٖࣅϥϕϧΛੜ ऑมɿࠨӈస ฏߦҠಈ w Ұகੑଛࣦɿੜٖͨ͠ࣅϥϕϧͱڧม࣌ͷ༧ଌͷޡࠩ ڧมɿෳछͷը૾มʹΑΔڧ͍ઁಈʢ3BOE"VHNFOU<$VCVLF $713>ʣ
Ұகੑਖ਼ଇԽͱٖࣅϥϕϦϯάͷϋΠϒϦουɿ'JY.BUDI<4PIO /FVS*14> Ұ؏ੑଛࣦ ༧ଌ /FUXPSL ڧม ऑม ڭࢣ͋Γଛࣦ ϥϕϧ ༧ଌ ٖࣅϥϕϦϯά ϥϕϧ͋Γσʔλ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 予測2 摂動を付与 ϥϕϧͳ͠σʔλ )BSEUBSHFU ˠਓ͕ઃܭͨ͠Έ߹ΘͤͰ͋ΔͨΊ࠷దͳֶश๏ͱݶΒͳ͍
w ਓखʹΑΒͳ͍৽͍͠ڭࢣ͋Γڞಉֶश๏ͷ֫ಘ w Ξϓϩʔν ֤ैདྷ๏ΛͦΕͧΕάϥϑͰ౷Ұతʹදݱ άϥϑදݱͷߏཁૉΛϥϯμϜʹΈ߹Θͤͯߴਫ਼ͳֶश๏Λ୳ࡧ ຊݚڀͷత
ɾɾɾ άϥϑදݱ NPEFM Π .FBO5FBDIFS !! !" Parameter for Exponential Moving Average KL-div ɾɾɾ NPEFM Π .FBO5FBDIFS ैདྷ๏ Network !! " +$! Network !! +$! ′ &(!! , " + $! ′) BackProp Loss Graphical representation !! !! !! &(!! , " + $! ) KL-div KL-div Network EMA(%! ) ' +)! Exponential Moving Average Network %! +)! ′ +(EMA(%! ), ' + )! ) +(%! , ' + )! ′) Loss BackProp !! !" Parameter for Exponential Moving Average Graphical representation KL-div ྫɿ NPEFM .FBO5FBDIFS Π άϥϑߏͷ୳ࡧ !! KL-div !" Parameter for Exponential Moving Average KL-div ɾɾɾ
ɾɾɾ άϥϑදݱ NPEFM Π .FBO5FBDIFS !! !" Parameter for Exponential
Moving Average KL-div ɾɾɾ NPEFM Π .FBO5FBDIFS ैདྷ๏ Network !! " +$! Network !! +$! ′ &(!! , " + $! ′) BackProp Loss Graphical representation !! !! !! &(!! , " + $! ) KL-div KL-div Network EMA(%! ) ' +)! Exponential Moving Average Network %! +)! ′ +(EMA(%! ), ' + )! ) +(%! , ' + )! ′) Loss BackProp !! !" Parameter for Exponential Moving Average Graphical representation KL-div ྫɿ NPEFM .FBO5FBDIFS Π άϥϑߏͷ୳ࡧ !! KL-div !" Parameter for Exponential Moving Average KL-div ɾɾɾ w ֤ैདྷ๏ΛͦΕͧΕάϥϑͰ౷Ұతʹදݱ Έ߹Θ͕ͤ༰қʹͳΓϋΠύʔύϥϝʔλͷΑ͏ʹௐՄೳ ϊʔυɿωοτϫʔΫ Τοδɿଛࣦܭࢉ ैདྷͷڭࢣ͋Γֶश๏ΛάϥϑͰදݱ
w ڭࢣ͋ΓଛࣦͱҰகੑଛࣦ͕খ͘͞ͳΔΑ͏ʹֶश ڭࢣ͋Γଛࣦɿϥϕϧ͋Γσʔλͷ༧ଌͱϥϕϧͷޡࠩ Ұ؏ੑଛࣦɹɿϥϕϧͳ͠σʔλʹҟͳΔઁಈΛ༩ͨ࣌͠ͷ༧ଌؒͷޡࠩ ઁಈɿ%SPQPVUɼը૾ม Ұகਖ਼ଇԽͷදతͳख๏ɿ NPEFM<-BJOF *$-3>
Π Ұகੑଛࣦ ༧ଌ /FUXPSL ڭࢣ͋Γଛࣦ ϥϕϧ ༧ଌ ϥϕϧ͋Γσʔλ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 予測2 摂動を付与 ϥϕϧͳ͠σʔλ ʴઁಈ ʴઁಈ )BSEUBSHFU ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ 予測1 摂動を付与
w Ұகੑଛࣦɿ࢝ͷϊʔυͱऴͷϊʔυ͕ಉ͡ΤοδͰදݱ ,-EJWFSHFODFʢ,-EJWʣͰ༧ଌؒͷޡࠩΛܭࢉ NPEFMΛάϥϑͰදݱ Π KL(f(x), f(x′  ))
= C ∑ i fi (x)log fi (x) fi (x′  ) NPEFM Π άϥϑදݱ ɿ֬ʢ༧ଌ֬ʣ ɿΫϥε f(x), f(x′  ) C Network !! " +$! Network !! +$! ′ &(!! , " + $! ′) BackProp Loss Graphical representation !! !! !! &(!! , " + $! ) KL-div KL-div
w NPEFMʹࢦҠಈฏۉʢ&."ʣωοτϫʔΫΛಋೖֶͯ͠श ҰகੑଛࣦɿωοτϫʔΫͱ&."ωοτϫʔΫʹ͓͚Δ༧ଌؒͷޡࠩ &."ωοτϫʔΫͷॏΈωοτϫʔΫͷॏΈΛՃࢉ͢Δ͜ͱͰߋ৽ ॏΈύϥϝʔλͷΞϯαϯϒϧʹΑΓߴ͍ੑೳΛൃش͠ɼֶशΛิॿ Π Ұகੑਖ਼ଇԽͷදతͳख๏ɿ.FBO5FBDIFS<5BSWBJOFO /FVS*14>
ڭࢣ͋Γଛࣦ ϥϕϧ ϥϕϧ͋Γσʔλ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 予測2 摂動を付与 )BSEUBSHFU Ұகੑଛࣦ ༧ଌ /FUXPSL ༧ଌ ϥϕϧͳ͠σʔλ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 摂動を付与 ڭࢣ͋Γଛࣦ ϥϕϧ ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( ) *+, -./ 卡䇦: 卡䇦; ㏗俍> 冊卥 ϥϕϧ͋Γ σʔλ POFIPU ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ㏗俍> 冊卥 ϥϕϧͳ͠ σʔλ /FUXPSL ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( ) *+, -./ 卡䇦: ㏗俍> 冊卥 ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ༧ଌ ༧ଌ Ұ؏ੑଛࣦ ڭࢣ͋Γଛࣦ ϥϕϧ ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( ) *+, -./ 卡䇦: 卡䇦; ㏗俍> 冊卥 ϥϕϧ͋Γ σʔλ POFIPU ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( ) *+, -./ 卡䇦: 卡䇦; ㏗俍> 冊卥 ϥϕϧͳ͠ σʔλ /FUXPSL ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( ) *+, -./ 卡䇦: 卡䇦; ㏗俍> 冊卥 ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( 卡䇦: ㏗俍> 冊卥 ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( 卡䇦: ㏗俍> 冊卥 ༧ଌ ༧ଌ Ұ؏ੑଛࣦ ʴઁಈ ʴઁಈ /FUXPSL
w &."ωοτϫʔΫʹՃࢉ͢ΔύϥϝʔλͷํΛΤοδͰදݱ &."ωοτϫʔΫɿύϥϝʔλ ͷࢦҠಈฏۉ Ͱߋ৽ θ1 EMA(θ1 ) .FBO5FBDIFSΛάϥϑͰදݱ
EMA(θ1,t ) = αEMA(θ1,t−1 ) + (1 − α)θ1,t ɿϋΠύʔύϥϝʔλ ɿֶशεςοϓ α t .FBO5FBDIFS άϥϑදݱ Network EMA(%! ) ' +)! Exponential Moving Average Network %! +)! ′ +(EMA(%! ), ' + )! ′) +(%! , ' + )! ) Loss BackProp !! !" Parameter for Exponential Moving Average Graphical representation KL-div
w ϥϕϧͳ͠σʔλʹٖࣅϥϕϧΛ༩ֶͯ͠श ֶशং൫ϥϕϧ͋ΓσʔλͷΈΛ༻͍ͯڭࢣ͋Γֶश ༧ଌΛͱʹϥϕϧͳ͠σʔλʹٖࣅϥϕϧΛ༩ʢ·ͨߋ৽ʣ ϥϕϧ͋Γσʔλͱٖࣅϥϕϧ͋Γσʔλͷࠞ߹ηοτΛ༻͍ͯڭࢣ͋Γֶश ̎ͱ̏Λ܁Γฦ͢
ϥϕϧ ༧ଌ ޡࠩ /FUXPSL ٖࣅϥϕϧ ͋Γσʔλ ࠞ߹ηοτ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 摂動を付与 ϥϕϧ͋Γ σʔλ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 予測2 摂動を付与 ٖࣅϥϕϧ͋Γσʔλ )BSEUBSHFU ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 予測2 摂動を付与 ϥϕϧͳ͠σʔλ ༧ଌ /FUXPSL ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 予測2 摂動を付与 ٖࣅϥϕϦϯάͷදతͳख๏ɿ1TFVEP-BCFM<-FF *$.->
w ٖࣅϥϕϧʹର͢Δ༧ଌͷޡࠩΛٻΊΔ1TFVEP-PTTʹΑΓΤοδͰදݱ 1TFVEP-PTTɿٖࣅϥϕϧͱ༧ଌ֬ͷޡࠩ 1TFVEP-BCFMΛάϥϑͰදݱ <latexit sha1_base64="9XwaGSKqylX1+h8MvKMwyXtmIvQ=">AAACqXichVFNTxNBGH5Yv6B+UORi4qWxQUqAZtYQNCQmRDTx4IGChUaWbGaHabth9iO706Zls3+AP+DBEybGqD/Di0cuHOo/MB4x8eLBt9tNCBL1nczMM8+8zzvPzDihcmPN2GDMuHT5ytVr4xOF6zdu3posTt3eioNOJGRdBCqIGg6PpXJ9WdeuVrIRRpJ7jpLbzv7acH+7K6PYDfyXuh/KXY+3fLfpCq6JsotPLY/rtuAqeZHaSRjLtNKbe7yYsY6TPEvtXn82sSKvpIJW2qxYui01t82FUm/eOsjg7JxdLLMqy6J0EZg5KCOP9aD4Hhb2EECgAw8SPjRhBY6Y2g5MMITE7SIhLiLkZvsSKQqk7VCWpAxO7D6NLVrt5KxP62HNOFMLOkVRj0hZwgw7YR/YKfvCPrFv7NdfayVZjaGXPs3OSCtDe/LwzubP/6o8mjXaZ6p/etZo4lHm1SXvYcYMbyFG+u7B69PNlY2Z5D57y76T/yM2YJ/pBn73h3hXkxtvUKAPMP987otg60HVXK4u1ZbKq0/yrxjHXdxDhd77IVbxHOuo07kfcYwBvhrzRs1oGK9GqcZYrpnGuTDEb06spCc=</latexit> Lpse(x) = E
xy0logf(✓1, x + ⇣0 1 ) <latexit sha1_base64="9XwaGSKqylX1+h8MvKMwyXtmIvQ=">AAACqXichVFNTxNBGH5Yv6B+UORi4qWxQUqAZtYQNCQmRDTx4IGChUaWbGaHabth9iO706Zls3+AP+DBEybGqD/Di0cuHOo/MB4x8eLBt9tNCBL1nczMM8+8zzvPzDihcmPN2GDMuHT5ytVr4xOF6zdu3posTt3eioNOJGRdBCqIGg6PpXJ9WdeuVrIRRpJ7jpLbzv7acH+7K6PYDfyXuh/KXY+3fLfpCq6JsotPLY/rtuAqeZHaSRjLtNKbe7yYsY6TPEvtXn82sSKvpIJW2qxYui01t82FUm/eOsjg7JxdLLMqy6J0EZg5KCOP9aD4Hhb2EECgAw8SPjRhBY6Y2g5MMITE7SIhLiLkZvsSKQqk7VCWpAxO7D6NLVrt5KxP62HNOFMLOkVRj0hZwgw7YR/YKfvCPrFv7NdfayVZjaGXPs3OSCtDe/LwzubP/6o8mjXaZ6p/etZo4lHm1SXvYcYMbyFG+u7B69PNlY2Z5D57y76T/yM2YJ/pBn73h3hXkxtvUKAPMP987otg60HVXK4u1ZbKq0/yrxjHXdxDhd77IVbxHOuo07kfcYwBvhrzRs1oGK9GqcZYrpnGuTDEb06spCc=</latexit> Lpse(x) = E xy0logf(✓1, x + ⇣0 1 ) <latexit sha1_base64="9XwaGSKqylX1+h8MvKMwyXtmIvQ=">AAACqXichVFNTxNBGH5Yv6B+UORi4qWxQUqAZtYQNCQmRDTx4IGChUaWbGaHabth9iO706Zls3+AP+DBEybGqD/Di0cuHOo/MB4x8eLBt9tNCBL1nczMM8+8zzvPzDihcmPN2GDMuHT5ytVr4xOF6zdu3posTt3eioNOJGRdBCqIGg6PpXJ9WdeuVrIRRpJ7jpLbzv7acH+7K6PYDfyXuh/KXY+3fLfpCq6JsotPLY/rtuAqeZHaSRjLtNKbe7yYsY6TPEvtXn82sSKvpIJW2qxYui01t82FUm/eOsjg7JxdLLMqy6J0EZg5KCOP9aD4Hhb2EECgAw8SPjRhBY6Y2g5MMITE7SIhLiLkZvsSKQqk7VCWpAxO7D6NLVrt5KxP62HNOFMLOkVRj0hZwgw7YR/YKfvCPrFv7NdfayVZjaGXPs3OSCtDe/LwzubP/6o8mjXaZ6p/etZo4lHm1SXvYcYMbyFG+u7B69PNlY2Z5D57y76T/yM2YJ/pBn73h3hXkxtvUKAPMP987otg60HVXK4u1ZbKq0/yrxjHXdxDhd77IVbxHOuo07kfcYwBvhrzRs1oGK9GqcZYrpnGuTDEb06spCc=</latexit> Lpse(x) = E xy0logf(✓1, x + ⇣0 1 ) 1TFVEP-BCFM άϥϑදݱ ωοτϫʔΫ͕̎ͭͷ߹ Network !! or !" Pseudo-Labeling one-hot Network !! " +$! +$! ′ &(!! , " + $! ) Loss PseudoLoss !! !! !" PseudoLoss Graphical representation or BackProp
w ධՁରϊʔυͷਫ਼͕࠷େԽ͢ΔΑ͏ʹάϥϑߏΛ࠷దԽ ิॿϊʔυɿධՁରϊʔυͷֶशΛαϙʔτ Losses: ・KL-divergence ・PseudoLoss Gate functions: ・Through
Gate ・Cutoff Gate ・Linear Gate ・Threshold Gate Explore space: Models: ・ResNet32 ・WideResNet28-2 ・WideResNet28-6 ・EMA model Edge Node Backprop Detach Gate Loss ⋅ ධՁରϊʔυ ิॿϊʔυ άϥϑ࠷దԽʹΑΔڭࢣ͋Γਂڞಉֶश๏ͷ୳ࡧ
ධՁ݁Ռ ϥϕϧ͋Γσʔλ
BMM 4VQFSWJTFE 1TFVEP-BCFM .FBO5FBDIFS 'JY.BUDI 0VST ϊʔυ 0VST ϊʔυ NPEFM Π ਖ਼ղ<> ˠϥϕϧ͋ΓσʔλʹΑͬͯ࠷దͳڭࢣ͋Γֶश๏ҟͳΔ ଟ͍߹ʢ ʣɿ1TFVEP-BCFM͕ߴਫ਼ গͳ͍߹ʢ ʙ ʣɿ NPEFM .FBO5FBDIFS͕ߴਫ਼ Π
ධՁ݁Ռ ϥϕϧ͋Γσʔλ
BMM 4VQFSWJTFE 1TFVEP-BCFM .FBO5FBDIFS 'JY.BUDI 0VST ϊʔυ 0VST ϊʔυ NPEFM Π ਖ਼ղ<> ˠैདྷ๏ͱൺ୳ࡧͨ͠ख๏ʢ0VSTʣͷਫ਼͕࠷ߴ͍ ʴ̒ ʴ
w ࠷దԽͨ͠άϥϑߏΛௐࠪ ڭࢣ͋Γֶशͷ w ௐࠪ ֶशܦաʹ͓͚Δڭࢣ͋Γڞಉֶशͷ ϥϕϧ͋Γσʔλʹ͓͚Δڭࢣ͋Γڞಉֶशͷ
ϊʔυͷมԽʹ͓͚Δڭࢣ͋Γڞಉֶशͷ ࠷దԽͨ͠άϥϑߏ
w ϊʔυɿ̎ɼϥϕϧ͋Γσʔλɿ ʢগͳ͍ʣ ਖ਼ղɿ<> ࠷దԽͨ͠άϥϑߏɿֶशܦաʹ͓͚Δ<> (BUFؔ ֶशํ๏ 1. ResNet32
(55.94%) Linear 2. WRN28_6 (57.81%) Linear Linear Label Through Label Through 1. ResNet32 (55.94%) Consistency 2. WRN28_6 (57.81%) KD Consistency Label Supervised Label Supervised ڭࢣ͋Γֶश ڭࢣ͋Γֶश ֶशং൫ɿݸʑͷϊʔυͰಠཱʹڭࢣ͋Γֶश
w ϊʔυɿ̎ɼϥϕϧ͋Γσʔλɿ ʢগͳ͍ʣ ਖ਼ղɿ<> ࠷దԽͨ͠άϥϑߏɿֶशܦաʹ͓͚Δ<> (BUFؔ ֶशํ๏ 1. ResNet32
(55.94%) Linear 2. WRN28_6 (57.81%) Linear Linear Label Through Label Through ֶशং൫ɿݸʑͷϊʔυͰಠཱʹڭࢣ͋Γֶश 1. ResNet32 (55.94%) Consistency 2. WRN28_6 (57.81%) KD Consistency Label Supervised Label Supervised ˠֶशલͱޙͰҟͳΔֶशઓུ͕ޮՌత ֶशऴ൫ɿݸʑͷϞσϧ͕ NPEFMʹΑΔֶशʹมԽͭͭ͠ɼ̎൪ϊʔυ͔Βৠཹ Π NPEFM Π NPEFM Π ৠཹ
w ϊʔυɿ̎ɼϥϕϧ͋Γσʔλɿ ʢଟ͍ʣ ਖ਼ղɿ<> ࠷దԽͨ͠άϥϑߏɿֶशܦաʹ͓͚Δ<> (BUFؔ ֶशํ๏ 1. ResNet32
(62.76%) Linear 2. WRN28_6 (60.4%) Through 1. ResNet32 (62.76%) Consistency 2. WRN28_6 (60.4%) PseudoLabeling ֶशࡁΈϞσϧ ٖࣅϥϕϦϯά ֶशং൫ɿࣄલֶशϞσϧͷٖࣅϥϕϦϯάͰֶश NPEFM Π ֶशऴ൫ɿٖࣅϥϕϦϯάͱ NPEFMͰֶश Π ˠֶशऴ൫ʹҰகੑਖ਼ଇԽʢ NPEFMʣͰֶश͢Δ͜ͱ͕ޮՌత Π
ֶशܦաʹ͓͚Δɿ6."1ʹΑΔՄࢹԽ FQPDI FQPDI 1. ResNet32 (62.76%) Consistency 2. WRN28_6 (60.4%)
PseudoLabeling ֶशࡁΈϞσϧ ٖࣅϥϕϦϯά NPEFM Π ˠֶशޙͷҰகੑਖ਼ଇԽʢ NPEFMʣʹΑΓΫϥελԽ͕ਐΉ Π 1. ResNet32 (62.76%) Consistency 2. WRN28_6 (60.4%) PseudoLabeling ֶशࡁΈϞσϧ ٖࣅϥϕϦϯά
w ϥϕϧ͋Γσʔλ͕গͳ͍ʢ ຕʣ߹ ࠷దԽͨ͠άϥϑߏɿϥϕϧ͋Γσʔλʹ͓͚Δ<> 4,000 label 2,000 label 6,000 label
1. ResNet32 (55.94%) Consistency 2. WRN28_6 (57.81%) KD Consistency Label Supervised Label Supervised <> <> ֶशํ๏ʢϊʔυ̎ʣ ֶशํ๏ʢϊʔυ̏ʣ ϥϕϧ͋Γσʔλ͕গͳ͍߹ɿ Ұகੑਖ਼ଇԽʢ NPEFMʣͱৠཹʢ૬ޓֶशʣ͕ޮՌత Π ৠཹ NPEFM Π NPEFM Π NPEFM Π .FBO5FBDIFS ૬ޓֶश
w ϥϕϧ͋Γσʔλ͕ଟ͍ʢ ຕʣ߹ ࠷దԽͨ͠άϥϑߏɿϥϕϧ͋Γσʔλʹ͓͚Δ<> ֶशํ๏ʢϊʔυ̎ʣ ֶशํ๏ʢϊʔυ̏ʣ <> <> Gate関数 学習方法
Gate function Learning method 1. ResNet32 (62.76%) Consistency 2. WRN28_6 (60.4%) PseudoLabeling ֶशࡁΈϞσϧ ٖࣅϥϕϦϯά ٖࣅϥϕϦϯά ϥϕϧ͋Γσʔλ͕ଟ͍߹ɿ ˠධՁରϊʔυٖࣅϥϕϦϯάΛ༻ֶ͍ͯश
w ϊʔυͷ߹ ࠷దԽͨ͠άϥϑߏɿϊʔυ͕ଟ͍࣌ͷ ֶशํ๏ ʢϥϕϧ͋Γσʔλ ຕʣ ֶशํ๏ ʢϥϕϧ͋Γσʔλ ຕʣ <>
<> Gate関数 学習方法 Gate function Learning method label 6,000 label 10,000 label 8,000 label .FBO5FBDIFS .FBO5FBDIFS ૬ޓֶश ิॿϊʔυ.FBO5FBDIFSΛแˠࢦҠಈฏۉϞσϧͰΑΓྑ͍5FBDIFSΛֶश ϊʔυ͕ଟ͍߹.FBO5FBDIFSͰิॿϊʔυΛվળ͢Δ͜ͱ͕ޮՌత ɹˠڭࢣ͋Γڞಉֶश
w ධՁରϊʔυʹରͯ͠खಈͰΤοδΛՃ ϥϕϧ͔ΒͷΤοδɹɹɹɹɹɹɿڭࢣ͋Γֶश ධՁରϊʔυ͔Β̎ͷΤοδɿ.FBO5FBDIFSͱͷ૬ޓֶश ୳ࡧͰಘͨݟΛ׆͔ͨ͠खಈઃܭʹΑΔߋͳΔվળ ख࡞ۀͰઃܭͨ͠άϥϑʢʣ ୳ࡧͰ֫ಘͨ͠άϥϑʢʣ QU্
୳ࡧͰಘͨάϥϑͱݟΛ׆͔͠खಈઃܭͰ͞Βʹվળ .FBO5FBDIFSͰิॿϊʔυΛվળͭͭ͠ ٖࣅϥϕϦϯάͰֶश .FBO5FBDIFSͰิॿϊʔυΛվળͭͭ͠ ٖࣅϥϕϦϯάͰ NPEFMͱ૬ޓֶश Π ֶशํ๏ ֶशํ๏ 学習方法 n Learning method .FBO5FBDIFS ٖࣅϥϕϦϯά Gate関数 学習方法 Gate function Learning method .FBO5FBDIFS ٖࣅϥϕϦϯά Ұ؏ੑਖ਼ଇԽ ૬ޓֶश 'FFECBDL ڭࢣ͋Γֶश -BCFM
w άϥϑ୳ࡧʹΑΓ৽͍͠ڭࢣ͋Γڞಉֶश๏Λ୳ࡧ άϥϑ୳ࡧʹΑΓಘΒΕͨޮՌతͳڭࢣ͋Γڞಉֶशʹ͓͚Δݟ ֶशͷܦաͱͱʹֶशઓུΛมԽͤ͞Δ͜ͱͰߴਫ਼Խ ֶशޙʹҰ؏ੑਖ਼ଇԽʢ NPEFMʣΛߦ͏͜ͱ͕༗ޮ ϥϕϧ͋Γσʔλ͝ͱʹ࠷దͳֶशઓུҟͳΔ
ϥϕϧ͋Γσʔλ͕ଟ͍߹ٖࣅϥϕϦϯάͰͷֶश͕༗ޮɹ ෳϞσϧΛ༻͍ͨڞಉֶशڭࢣ͋Γֶशʹ༗ޮ ϊʔυ͕ଟ͍߹.FBO5FBDIFSͰิॿϊʔυΛվળ͢Δ͜ͱͰޮՌతͳڭࢣ͋ΓڞಉֶशΛ࣮ݱ ୳ࡧͰಘͨάϥϑͱݟΛ׆͔͠खಈઃܭͰ͞Βʹվળ ϊʔυɼϥϕϧ͋Γσʔλ ͷ୳ࡧͰಘͨάϥϑͷਫ਼ΛखಈઃܭͰQUվળ Π ·ͱΊɿࣝసҠάϥϑʹΑΔ࠷దͳڭࢣ͋Γਂڞಉֶशͷ୳ࡧ
ૉਓൃݰਓ࣮ߦ த෦େֶϩΰ த෦େֶϩΰ ʲϑΣϩʔ͔Βͷϝοηʔδʳ ใɾγεςϜιαΠΤςΟࢽ ୈ 26 רୈ 4
߸ʢ௨ר 105 ߸ʣ ૉਓൃݰਓ࣮ߦ 2.0 ϑΣϩʔ ౻٢ ߂ த෦େֶ ʮண؟େہணखখہɼૉਓൃݰਓ࣮ߦʯɼ 2006 8 ݄ʹࡏ֎ݚڀͰถࠃΧʔωΪʔϝϩϯ େֶϩϘοτֶݚڀॴʹ 1 ؒࡏ͠ɼؼࠃ ͷࡍʹۚग़༤ઌੜ͔Β͍ͨݴ༿Ͱ͋Δɽ ʮૉ ਓൃݰਓ࣮ߦʯͱɼ ۚग़ઌੜͷஶॻ [1] ʹΑ Δͱɼ ʮൃ୯७ɼૉɼࣗ༝ɼ؆୯Ͱͳ͚Ε ͳΒͳ͍ɽ͔͠͠ɼൃΛ࣮ߦʹҠ͢ʹ ͕͍ࣝΔɼख़࿅͞Εٕ͕͍ͨΔʯͱ͍͏͜ͱͰ ͋ΔɽචऀͦΕҎདྷɼ͜ͷݴ༿ΛϞοτʔʹ ͯ͠ݚڀʹऔΓΜͰ͍Δɽ ͔͠͠ɼ ʮݴ͏қ ͘ɼߦ͏͠ʯͷయܕͰ͋Γɼ࣮ફ͢Δͷ ͳ͔ͳ͔͍͠ɽଟ͘ͷจΛಡΜͰ͍͘ͱ ͕ࣝਂ·Γઐੑߴ͘ͳΔ͕ɼͦΕ͕োนͱ ͳͬͯɼຊ࣭Ͱͳ͘খ͞ͳ͜ͱʹணͨ͠ ઃఆΛߦ͍͕ͪͰ͋Δɽ·ͨɼຊ࣭Λଊ͑ͯ Λ۪ͤͣʹ࣮͢Δͱ͏·͘ಈ͔ͳ͍ ͜ͱ͕͋Δɽ ຊߘͰɼ 10 Λܦͯʮૉਓൃ ݰਓ࣮ߦʯʹগ͚͚ͩۙͮͨ͠ͷͰͱࢥ͏ චऀΒͷݚڀ 2 ྫʹ͍ͭͯհ͠ɼ࠷ۙɼࣗ ͳΓʹࢥ͍ඳ͘ʮૉਓൃݰਓ࣮ߦʯͷΞοϓ σʔτΛڞ༗͍ͨ͠ɽ 2010 ࠒɼը૾ؒͷରԠϚονϯάͷͨΊ ͷಛݕग़ɾهड़ͷݚڀ͕ଟ͘औΓ·Εͯ ͍ͨɽதͰɼࣹӨมԽΛ͏ը૾ؒͷରԠ ϚονϯάɼΩʔϙΠϯτͷಛΛදݱ͢Δ ΞϑΟϯྖҬΛٻΊΔඞཁ͕͋Γɼ͍͠ Ͱ͋ͬͨɽैདྷख๏ͰɼΩʔϙΠϯτʹର͠ ͯҰͭͷΞϑΟϯྖҬ͔͠ਪఆ͠ͳ͍ͨΊɼը ૾ͷมܗΩʔϙΠϯτͷҐஔͣΕͷӨڹʹΑ ΓҟͳΔΞϑΟϯྖҬΛਪఆͯ͠͠·͏ͱ͍͏ ͕͋ͬͨɽ͜Εɼہॴత୳ࡧΛߦ͏͜ͱ ͕ݪҼͰ͋Γɼ ʮண؟খہணखখہʯͱݴ͑Δɽ 2015 ʹචऀΒ͕ࠃࡍձٞ ICCV ʹͯൃදͨ͠ ʮඇํੑ LoG ϑΟϧλʹΑΔෳͷΞϑΟϯ ྖҬͷਪఆʯ [2] Ͱɼ༷ʑͳପԁܗঢ়ͷඇํ ੑ LoG ϑΟϧλΛ༻͍ͯෳͷΞϑΟϯྖҬΛ ਪఆ͢Δ͜ͱΛఏҊͨ͠ɽγϯϓϧʹɼҰͭͰ ͳ͘ෳͷྖҬ͕͋ͬͯΑ͍ͷͰɼͱ͍ ͏ʮૉਓൃʯͰ͋Δɽ ͔͠͠ɼ ͍࣮͟ͱͳΔ ͱɼ ඇํੑ LoG ϑΟϧλʹ x ํͷεέʔ ϧɼy ํͷεέʔϧɼճస֯ͷ 3 ύϥϝʔλ ͕͋ΓɼͦͷΈ߹ΘͤઍछྨͱͳΔɽෳ ͷΞϑΟϯྖҬΛਪఆ͢ΔͨΊɼযΔ͕༨Γ ͜ͷઍछྨͷϑΟϧλશͯΛΈࠐΉॲཧΛ ͜ͷ··ߦ͏ͱɼେͳܭࢉίετ͕ඞཁͱͳ Δɽ ͦ͜Ͱɼ ʮݰਓ࣮ߦʯͱͯ͠ɼઍछྨͷඇ ํੑ LoG ϑΟϧλ܈ΛಛҟղʹΑΓٻ Ίͨ 14 छྨͷݻ༗ϑΟϧλͰۙࣅ͠ɼΈࠐ ΈॲཧΛޮతʹܭࢉ͢Δ͜ͱʹͨ͠ɽ͜Εʹ ΑΓɼෳͷΞϑΟϯྖҬΛޮతʹٻΊΔ͜ ͱ͕Ͱ͖ɼࣹӨมԽΛ͏ը૾ؒͷରԠϚο νϯάͷߴਫ਼ԽΛ࣮ݱͨ͠ɽ͜ͷݚڀʹ͓͍ ͯɼ ʮૉਓൃݰਓ࣮ߦʯͷݴ༿͕ݚڀͷํੑ ਐΊํΛܾΊΔखॿ͚Λͯ͘͠ΕͨΑ͏ʹࢥ ͑ɼ2006 ͔Β 10 ΛܦͯɼΑ͏͘ʮૉ ਓൃݰਓ࣮ߦʯʹҰา͚ۙͮͨͱࢥ͑Δݚڀ Ͱ͋ͬͨɽ͜ͷݚڀҎޙɼৗʹɼૉਓൃͰ ݰਓ࣮ߦʹͳ͍ͬͯΔ͔Λࣗࣗ͠ͳ͕Βݚ ڀʹऔΓΜͰདྷͨɽ 2012 Ҏ߱ɼਂֶश͕ओମͱͳͬͨίϯϐ 16 IUUQTXXXKTUBHFKTUHPKQBSUJDMFJFJDFJTTKPVSOBM@@BSUJDMFDIBSKB
ίϯϐϡʔλϏδϣϯ࠷લઢ த෦େֶϩΰ த෦େֶϩΰ IUUQTXXXLZPSJUTVQVCDPKQCPPLEFUBJM ίϯϐϡʔλϏδϣϯ࠷લઢ Spring 2022 ʗר಄ݴ 5
ר಄ݴ Spring 2022 Visual HullతνϡʔτϦΞϧͷεεϝ ˙౻٢߂ 2000 લޙʹऔΓ·Ε͍ͯͨίϯϐϡʔλϏδϣϯͷΞϧΰϦζϜͰ͋Δ ࢹମੵަࠩ๏ʢvisual hullʣΛ͝ଘͩΖ͏͔ɻࢹମੵަࠩ๏ɼLaurentini ͕ఏҊͨ͠ Shape-from-silhouette ʹΑΔ 3D ࠶ߏख๏Ͱ͋Δɻ·ͣɼΧϝ ϥࢹ͔ΒγϧΤοτը૾1) Λ༻͍ͯ෮ݩରͷΦϒδΣΫτΛӨͨ͠γϧ 1) γϧΤοτը૾ͷલܠϚεΫ ɼ෮ݩରԠͰ͋ΔΦϒδΣ Ϋτͷ 2 ࣍ݩӨͰ͋Δɻ Τοτԁਲ਼Λ࡞͢ΔɻҟͳΔࢹͰࡱӨͨ͠γϧΤοτը૾͔Βੜ͞Εͨ ԁਲ਼ͷަ Visual Hull ͱݺΕɼ͜ͷަΛٻΊΔ͜ͱͰΦϒδΣΫτͷ 3 ࣍ݩܗঢ়ͷ෮ݩ͕ՄೳͱͳΔɻਤ 1 ɼCV ͳΒͼʹ CG քͰ༗໊ͳ “Stanford Bunny” ʢhttp://graphics.stanford.edu/data/3Dscanrep/ʣ ͱݺΕΔ 3D Φ ϒδΣΫτΛ෮ݩͨ͠ྫͰ͋Δɻগͳ͍ࢹͷγϧΤοτը૾͔Β෮ݩͨ͠ 3 ࣍ݩܗঢ়ɼຊདྷͷόχʔͷ 3 ࣍ݩܗঢ়ʹͳ͍ͬͯͳ͍ɻҰํͰɼଟͷҟͳΔ ࢹͷγϧΤοτը૾Λ༻͍Δͱɼਖ਼֬ͳ 3 ࣍ݩܗঢ়Λ෮ݩ͢Δ͜ͱ͕Ͱ͖Δɻ ͜ΕɼݪஶจΛಡΉ͜ͱʹ͓͍ͯಉ༷Ͱ͋Δͱࢲࢥ͏ɻจͷຊ࣭ ͕Ͳ͜ʹ͋Δ͔Λਂ͘ཧղ͢ΔʹɼҰࢹ͔ΒಡΈࠐΉͷͰͳ͘ɼҟͳΔ (a) 3 ࢹ (b) 80 ࢹ ʜ A B C A B C γϧΤοτը૾ ෮ݩ݁Ռ ਤ 1 ࢹମੵަࠩ๏ʢvisual hullʣ ɻhttp://www.sanko-shoko.net/note.php? id=tjly ͷίʔυΛར༻ͯ͠࡞ɻ ί ϯϐϡʔλ Ϗδϣ ϯ࠷લઢɹ 4QSJOH Ҫ৲ળٱɾ ڇٱɾ ยԬ༟༤ɾ ౻٢߂ฤ IUUQTXXXLZPSJUTVQVCDPKQCPPLEFUBJM
.13(5PVS 74 த෦େֶϩΰ த෦େֶϩΰ IUUQTXXXZPVUVCFDPNXBUDI W(LV,'5&
ػց֮ϩϘςΟΫεݚڀάϧʔϓ த෦େֶϩΰ த෦େֶϩΰ ڭत ౻٢߂ Hironobu Fujiyoshi E-mail:
[email protected]
1997
த෦େֶେֶӃത࢜ޙظ՝ఔमྃ, 1997 ถΧʔωΪʔϝϩϯେֶϩϘοτֶݚڀॴPostdoctoral Fellow, 2000 த෦େֶֶ෦ใֶՊߨࢣ, 2004 த෦େֶ।ڭत, 2005 ถΧʔωΪʔϝϩϯେֶϩϘοτֶݚڀॴ٬һݚڀһ(ʙ2006), 2010 த෦େֶڭत, 2014໊ݹେֶ٬һڭत. ܭࢉػࢹ֮ɼಈը૾ॲཧɼύλʔϯೝࣝɾཧղͷݚڀʹैࣄɽ ϩϘΧοϓݚڀ(2005)ɼใॲཧֶձจࢽCVIM༏लจ(2009)ɼใॲཧֶձࢁԼه೦ݚڀ(2009)ɼը૾ηϯγϯάγϯϙδϜ༏लֶज़(2010, 2013, 2014) ɼ ిࢠใ௨৴ֶձ ใɾγεςϜιαΠΤςΟจ(2013)ଞ ڭत ࢁԼོٛ Takayoshi Yamashita E-mail:
[email protected]
2002 ಸྑઌՊֶٕज़େֶӃେֶത࢜લظ՝ఔमྃ, 2002 ΦϜϩϯגࣜձࣾೖࣾ, 2009 த෦େֶେֶӃത࢜ޙظ՝ఔमྃ(ࣾձਓυΫλʔ), 2014 த෦େֶߨࢣɼ2017 த෦େֶ।ڭतɼ2021 த෦େֶڭतɽ ਓͷཧղʹ͚ͨಈը૾ॲཧɼύλʔϯೝࣝɾػցֶशͷݚڀʹैࣄɽ ը૾ηϯγϯάγϯϙδϜߴ(2009)ɼిࢠใ௨৴ֶձ ใɾγεςϜιαΠΤςΟจ(2013)ɼిࢠใ௨৴ֶձPRMUݚڀձݚڀྭ(2013)डɽ ߨࢣ ฏཌྷ Tsubasa Hirakawa E-mail:
[email protected]
2013 ౡେֶେֶӃത࢜՝ఔલظऴྃɼ2014 ౡେֶେֶӃത࢜՝ఔޙظೖֶɼ2017 த෦େֶݚڀһ (ʙ2019)ɼ2017 ౡେֶେֶӃത࢜ޙظ՝ఔमྃɽ2019 த෦େֶಛॿڭɼ2021 த෦େֶߨࢣɽ2014 ಠཱߦ๏ਓຊֶज़ৼڵձಛผݚڀһDC1ɽ2014 ESIEE Paris٬һݚڀһ (ʙ2015)ɽ ίϯϐϡʔλϏδϣϯɼύλʔϯೝࣝɼҩ༻ը૾ॲཧͷݚڀʹैࣄ