Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
宝くじ仮説の話を少し / LT Lottery Ticket Hypothesis
Search
SKA’s Web
November 14, 2021
Programming
0
410
宝くじ仮説の話を少し / LT Lottery Ticket Hypothesis
Python機械学習勉強会 in 新潟のLTの資料です。深層学習の「宝くじ仮説」について少しだけ話します。
SKA’s Web
November 14, 2021
Tweet
Share
More Decks by SKA’s Web
See All by SKA’s Web
.NETでOBS Studio操作してみたけど…… / Operating OBS Studio by .NET
skasweb
0
160
学習しやすいネットワークガチャ? 深層学習の「宝くじ仮説」 【VRアカデミア クリスマスリレー】 / VR Lottery Ticket Hypothesis
skasweb
1
550
自然言語処理の基本 / Basic of Natural Language Processing
skasweb
0
330
AIとクラスター分析について自作アイテムを用いて解説してみた 【VRアカデミア3周年カウントダウン】 / Explaining AI and Cluster Analysis Using My Item
skasweb
0
320
Other Decks in Programming
See All in Programming
チームのテスト力を総合的に鍛えて品質、スピード、レジリエンスを共立させる/Testing approach that improves quality, speed, and resilience
goyoki
5
1.2k
SwiftでMCPサーバーを作ろう!
giginet
PRO
2
180
AIのメモリー
watany
7
370
顧客の画像データをテラバイト単位で配信する 画像サーバを WebP にした際に起こった課題と その対応策 ~継続的な取り組みを添えて~
takutakahashi
4
1.4k
Python型ヒント完全ガイド 初心者でも分かる、現代的で実践的な使い方
mickey_kubo
1
250
AI コーディングエージェントの時代へ:JetBrains が描く開発の未来
masaruhr
1
210
Claude Code + Container Use と Cursor で作る ローカル並列開発環境のススメ / ccc local dev
kaelaela
12
7.3k
可変変数との向き合い方 $$変数名が踊り出す$$ / php conference Variable variables
gunji
0
210
CIを整備してメンテナンスを生成AIに任せる
hazumirr
0
140
DMMを支える決済基盤の技術的負債にどう立ち向かうか / Addressing Technical Debt in Payment Infrastructure
yoshiyoshifujii
4
510
Yes, You Can Work on Rails & any other Gem
kaspth
0
110
ペアプロ × 生成AI 現場での実践と課題について / generative-ai-in-pair-programming
codmoninc
2
22k
Featured
See All Featured
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Facilitating Awesome Meetings
lara
54
6.5k
Practical Orchestrator
shlominoach
189
11k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
Documentation Writing (for coders)
carmenintech
72
4.9k
Thoughts on Productivity
jonyablonski
69
4.7k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
We Have a Design System, Now What?
morganepeng
53
7.7k
Transcript
͍ۙͷͰʮๅ͘͡ԾઆʯͷΛগ͠ 1ZUIPOػցֶशษڧձ JO৽ׁ ৽ׁݝ࢈75VCFS 4,"`T8FC CJO 1
ࢿྉͷϦϯΫͱࢀߟจݙ 2 IUUQTTQFBLFSEFDLDPNTLBTXFCMUMPUUFSZUJDLFUIZQPUIFTJT ࢀߟจݙ ɾIUUQTEFFQTRVBSFKQMPUUFSZUJDLFU ɾIUUQTMBCPSPBJBDUJWJUZDPMVNOFOHJOFFSๅ͘͡Ծઆ ݩจ ɾJonathan Frankle, Michael
Carbin, “The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks”, cs.LG : 1803.03635, ICLR 2019 ɾ5JBOMPOH$IFO +POBUIBO'SBOLMF 4IJZV $IBOH 4JKJB -JV :BOH;IBOH ;IBOHZBOH 8BOH .JDIBFM$BSCJO l5IF-PUUFSZ5JDLFU)ZQPUIFTJTGPS1SFUSBJOFE#&35/FUXPSLTz
5XJUUFS࿈ܞ 3 #pyml_niigata ͰͭͿ͘ͱʜʜ
࢈ۀ 4 ɾ ڊେ ͳϞσϧʢ#&35ɺ5ɺFUDʣ͕ͳͥਫ਼ྑ͍ͷ͔ʁ ɾύϥϝʔλʔ͕ଟ͍΄ͲΨνϟ͕͋ͨΔʂʁ ɾԠ༻͢Δͱ&EHF"*Ͱߴਫ਼ͳϞσϧΛಈ͔ͤΔʁ
ڊେͳϞσϧ 5
ڊେͳϞσϧ 6 ɾ͜ΜͳʹେྔͷύϥϝʔλʔΛ͏·͘ߋ৽͢Δ͜ͱͰ͖Δͷʁ ɾաֶश͠ͳ͍ͷʁ ๅ͘͡Ծઆ
ๅ͘͡Ծઆ 7 ɾχϡʔϥϧωοτϫʔΫॳظͷॏΈ͕ཚ ɾ࠷ॳ͔Β͍͍ײ͡ʹֶशՄೳͳ෦ωοτϫʔΫ͕͋Δ ɾ͋ͨΓ͘͡ωοτϫʔΫΛத৺ʹֶश͞ΕΔ ɾͣΕ͘͡ωοτϫʔΫࢬמΓͯ͠ਫ਼΄΅མͪͳ͍ ɾ#&35Ͱׂʙׂͷলύϥϝʔλʔ͕Մೳʢʁʣ ɾߴʹֶशɺਪ͕Ͱ͖Δ ɾ&EHF"*Ͱಈ͔ͤΔʁ
Ϟσϧͷݮ 8 ʢ·ͩௐ͍ͯ·ͤΜ PS[ ʣ ʢʣʹಈըߘ͠·͢ ʢࠓ͙͢Γ͍ͨΜ͚ͩͲͬͯਓࢀߟจݙݩจΛಡΜͰΈ͍ͯͩ͘͞ʣ
·ͱΊ 9 ɾχϡʔϥϧωοτϫʔΫͷॳظͷॏΈཚ ɾ͋ͨΓωοτϫʔΫͱͣΕωοτϫʔΫ͕͋Δ ɾ࿈ΨνϟͰͨΒͳ͍ʁ ԯ࿈͘Β͍Ε͚ͬ͜͏ͨΔΑʂ ɾ͍ͬͯ͏ͷ͕࠷ۙͷ ڊେϞσϧʢ#&35ɺ5ɺFUDʣ ɾͣΕωοτϫʔΫΛࢬמΓ͢Εগͳ͍ετϨʔδͰߴʹਪͰ͖Δ ɾ͡Ό͋Ͳ͏Δͷʁ
ˠ ·ͨࠓͳʂ
ࢿྉͷϦϯΫͱࢀߟจݙ 10 IUUQTTQFBLFSEFDLDPNTLBTXFC΄͛΄͛ ࢀߟจݙ ɾIUUQTEFFQTRVBSFKQMPUUFSZUJDLFU ɾIUUQTMBCPSPBJBDUJWJUZDPMVNOFOHJOFFSๅ͘͡Ծઆ ݩจ ɾJonathan Frankle, Michael
Carbin, “The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks”, cs.LG : 1803.03635, ICLR 2019 ɾ5JBOMPOH$IFO +POBUIBO'SBOLMF 4IJZV $IBOH 4JKJB -JV :BOH;IBOH ;IBOHZBOH 8BOH .JDIBFM$BSCJO l5IF-PUUFSZ5JDLFU)ZQPUIFTJTGPS1SFUSBJOFE#&35/FUXPSLTz