Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ライセンスの呪いを祓う
Search
Henry Cui
December 31, 2022
Technology
0
490
ライセンスの呪いを祓う
Henry Cui
December 31, 2022
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
200
Direct Preference Optimization
zchenry
0
380
Diffusion Model with Perceptual Loss
zchenry
0
390
レンズの下のLLM / LLM under the Lens
zchenry
0
180
Go with the Prompt Flow
zchenry
0
160
Mojo Dojo
zchenry
0
210
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
570
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
240
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
120
Other Decks in Technology
See All in Technology
AI によるドキュメント処理を加速するためのOCR 結果の永続化と再利用戦略
tomoaki25
0
150
地域コミュニティへの「感謝」と「恩返し」 / 20250726jawsug-tochigi
kasacchiful
0
110
alecthomas/kong はいいぞ
fujiwara3
6
1.2k
Microsoft Learn MCP/Fabric データエージェント/Fabric MCP/Copilot Studio-簡単・便利なAIエージェント作ってみた -"Building Simple and Powerful AI Agents with Microsoft Learn MCP, Fabric Data Agent, Fabric MCP, and Copilot Studio"-
reireireijinjin6
1
170
AI エンジニアの立場からみた、AI コーディング時代の開発の品質向上の取り組みと妄想
soh9834
8
600
LLMでAI-OCR、実際どうなの? / llm_ai_ocr_layerx_bet_ai_day_lt
sbrf248
0
260
Kiro Hookを Terraformで検証
ao_inoue
0
140
Recoil脱却の現状と挑戦
kirik
3
480
Turn Your Community into a Fundraising Catalyst for Black Philanthropy Month
auctria
PRO
0
200
自分がLinc’wellで提供しているプロダクトを理解するためにやったこと
murabayashi
1
170
AIに全任せしないコーディングとマネジメント思考
kikuchikakeru
0
280
データエンジニアがクラシルでやりたいことの現在地
gappy50
3
730
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
The Pragmatic Product Professional
lauravandoore
35
6.8k
Music & Morning Musume
bryan
46
6.7k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
How to train your dragon (web standard)
notwaldorf
96
6.1k
Making Projects Easy
brettharned
117
6.3k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Thoughts on Productivity
jonyablonski
69
4.8k
Speed Design
sergeychernyshev
32
1k
The Cost Of JavaScript in 2023
addyosmani
51
8.7k
Transcript
ライセンスの呪いを祓う 機械学習の社会実装勉強会第18回 Henry 2022/12/31
ライセンス! ▪ このライブラリー・この実装を使いたい! → ライセンスを見てみたら、だめでした。。。 ▪ 色々回避策を施し、やっとリリースできる → と思いきや、pre-trained modelをfine
tuningしていた ▪ ほとんどのpre-trained modelはImageNetで学習していた • ImageNetやPlaces365自体は商用不可 • 学習済みモデルの重みという数値の塊は、ImageNetと違うけど、商用 不可と承認したうえでデータをダウンロードし学習を回すので、やはり 学習済みモデルも商用不可なのでは → そもそも最初でImageNetでpre-trainしなければ厄介なことにならな い → ImageNet以外のpre-training data候補として、人工生成画像が有 望! 2
Pre-training without Natural Images ▪ ACCV 2020, IJCV 2022 ▪
数学的に大量な画像を生成したい • Fractalは有名な数学的構造 • シンプルなパラメータで複雑な模様を制御できる ▪ Iterated Function System (IFS)で生成プロセスを定義 • • 一つのIFSを一つの分類カテゴリにする • 確率pでiを決める • 以下の式でxを変換 3
Pre-training without Natural Images ▪ Downstream taskにおいて、scratchを遥かに超える収束速 度を達成 4
実験結果 ▪ 基本的にデータ数(カテゴリ数または各カテゴリの画像数)は 多いほうが性能が良い ▪ ResNet-50という小さめのモデルを使ったので、キャパシティ のより大きいモデルで更に精度向上の可能性 5
実験結果 ▪ ImageNetと拮抗するぐらいの性能 ▪ 人工データに数の上限がないので、モデルのキャパシティを 上げることで性能向上の可能性 6
Can Vision Transformers Learn without Natural Images? ▪ AAAI 2022
▪ 前述の生成過程を少し拡張し、Vision Transformersに適用し た ▪ より性能の良いpre-trainが達成できた 7
Replacing Labeled Real-Image Datasets with Auto-Generated Contours ▪ CVPR 2022
▪ 生成プロセスがより精緻化になったContourベースの人工 データで、Vision Transformersのpre-trainで(限定的ですが) ImageNetを超えた 8
Replacing Labeled Real-Image Datasets with Auto-Generated Contours ▪ Vision TransformerのAttention
Mapで、Fractalsにとって縁 のところが注目される → Contourで良い ▪ 自由度が高い人工データのほうが性能が良い → 生成プロセ スにある可動パラメータを増やせば良い 9
まとめ ▪ ライセンス問題回避のために、人工生成画像で画像認識モデ ルをpre-trainする手法に関する論文 • Vision Transformersで優れた性能が実現 ▪ Future work
• ほとんど白黒の画像を扱ってきたが、カラフルな生成画像でpre-train すればよりパワフルになる! 10