Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ライセンスの呪いを祓う 続編 / License-free Deep Learning for...
Search
Henry Cui
January 27, 2023
Programming
0
220
ライセンスの呪いを祓う 続編 / License-free Deep Learning for Images
Henry Cui
January 27, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
210
Direct Preference Optimization
zchenry
0
380
Diffusion Model with Perceptual Loss
zchenry
0
410
レンズの下のLLM / LLM under the Lens
zchenry
0
190
Go with the Prompt Flow
zchenry
0
170
Mojo Dojo
zchenry
0
220
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
580
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
260
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
130
Other Decks in Programming
See All in Programming
Oracle Database Technology Night 92 Database Connection control FAN-AC
oracle4engineer
PRO
1
400
KessokuでDIでもgoroutineを活用する / Go Connect #6
mazrean
0
140
Ruby Parser progress report 2025
yui_knk
1
300
テストカバレッジ100%を10年続けて得られた学びと品質
mottyzzz
2
480
AWS発のAIエディタKiroを使ってみた
iriikeita
1
160
Design Foundational Data Engineering Observability
sucitw
3
160
Swift Updates - Learn Languages 2025
koher
2
450
プロポーザル駆動学習 / Proposal-Driven Learning
mackey0225
2
820
2025 年のコーディングエージェントの現在地とエンジニアの仕事の変化について
azukiazusa1
17
9.2k
レガシープロジェクトで最大限AIの恩恵を受けられるようClaude Codeを利用する
tk1351
4
1.6k
Kiroで始めるAI-DLC
kaonash
2
540
The Past, Present, and Future of Enterprise Java
ivargrimstad
0
340
Featured
See All Featured
Designing for humans not robots
tammielis
253
25k
The Language of Interfaces
destraynor
161
25k
Making the Leap to Tech Lead
cromwellryan
135
9.5k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Testing 201, or: Great Expectations
jmmastey
45
7.6k
Balancing Empowerment & Direction
lara
3
610
Agile that works and the tools we love
rasmusluckow
330
21k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
51
5.6k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
GraphQLとの向き合い方2022年版
quramy
49
14k
A Modern Web Designer's Workflow
chriscoyier
696
190k
Transcript
ライセンスの呪いを祓う 続編 機械学習の社会実装勉強会第19回 Henry 2023/1/28
目標とモチベーション ▪ 目標 • 機械的に・自動的に生成された画像のみで、汎用的な画像認識モデ ルを学習したい ▪ 機械学習の社会実装的なモチベーション • pre-trained
model・foundation model を利用したいときに、それに関 わるライセンス問題をクリアにしたい • 自分で大規模画像データセットを集める手間を省きたい ▪ 機械学習の研究的なモチベーション • 機械学習モデルの学習プロセスの解明 • 自然画像ではない画像でどこまで特徴量抽出ができるかの解明 2
前回の内容 ▪ 数式に従って生成された画像のみを使って、汎用的な特徴量 抽出能力を持った画像認識モデルを学習できる • Fractal • Contour 3
今日の内容 ▪ 同じ著者グループによる2本の論文紹介 • Learning to See by Looking at
Noise, Baradad et al., NeurIPS 2021 • Procedural Image Programs for Representation Learning, Baradad et al., NuerIPS 2022 ▪ 先週との違い • 幅広い生成法 • ラベルなしで対照学習 • 主にカラフルな画像を使う 4
Baradad et al. 2021 5
Baradad et al. 2021 ▪ 5種類の生成法を考える a. 法則に従う ▪ FractalやCG等
b. Dead Leavesモデル ▪ ランダムのシェープで覆う c. 統計的画像生成 ▪ Spectrum:フーリエ変換がリアル画像のフーリエ変換と似る ▪ Wavelet-marginal model:wavelet係数が制約を満たす d. GANs ▪ StyleGAN:初期化したモデルで生成やそれに統計的制約をつける e. 特徴量可視化 ▪ ResNet50を使う 6
全体的な性能 ▪ AlexNetモデルとInfoNCE損失 ▪ 一般的にStyleGANで生成された画像を使ったほうが性能が よい 7
意味のある特徴量抽出ができる 8
Ablation Study ▪ 以下の2点が大事 • 統計的に自然画像に似ている • 程よい多様性を持つ 9
Baradad et al. 2022 ▪ Baradad et al. 2021の弱点 •
良いモデルを学習するには、生成プロセスを丁寧に調整する必要があ る • 生成手順が複雑で、手間がかかる ▪ 提案法 • OpenGLの短いコードを大量に集める • GPUで高性能並列で高速に画像生成する • 深く制御せずに学習する 10
Baradad et al. 2022 11
データ収集 ▪ 2つのソースから • Twitter:コードが短くて、より複雑な画像を生成 • Shadertoy:コードが長くて、よりシンプルな画像を生成 ▪ 2つのデータセットに •
Shaders1k:Twitterのみ • Shaders21k:TwitterとShadertoy両方 ▪ クラスラベルも • 同じコードでシードを変えて生成 12
分類性能 ▪ 教師付き分類(CE)、教師付き対照学習(SupCon)、教師なし 対照学習(SimCLR) ▪ log関数に従う 13
大規模対照学習 14
Shaderで性能良くするために 15 ▪ 生成画像間の多様性 ▪ 複数のShaderでは、多様性を持つ部分集合を選べば良い