Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
CVPR2024論文紹介:Segmentation
Search
hinako0123
July 20, 2024
Research
0
110
CVPR2024論文紹介:Segmentation
hinako0123
July 20, 2024
Tweet
Share
More Decks by hinako0123
See All by hinako0123
CVPR2024論文紹介:Sparse Training, Continual learning, Object detection
hinako0123
0
100
CVPR2024現地参加報告
hinako0123
0
78
Other Decks in Research
See All in Research
出生抑制策と少子化
morimasao16
0
390
SSII2024 [TS3] 画像認識におけるマルチモーダル基盤モデル ~基盤モデル、あなたのタスクに役立つかも?~
ssii
PRO
0
1.1k
【論文解説】KAN: Kolmogorov-Arnold Networks
tamoharu
1
160
Weekly AI Agents News! 6月号 論文のアーカイブ
masatoto
1
120
DiscordにおけるキャラクターIPを活用したUGCコンテンツ生成サービスの ラピッドプロトタイピング ~国際ハッカソンでの事例研究
o_ob
0
210
論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences
chemical_tree
1
220
Online Nonstationary and Nonlinear Bandits with Recursive Weighted Gaussian Process
monochromegane
0
170
JMED-LLM: 日本語医療LLM評価データセットの公開
fta98
4
910
#SRE論文紹介 Detection is Better Than Cure: A Cloud Incidents Perspective V. Ganatra et. al., ESEC/FSE’23
yuukit
3
1.2k
ミニ四駆AI用制御装置の事例紹介
aks3g
0
110
LLM based AI Agents Overview -What, Why, How-
masatoto
1
290
アジャイルコミュニティが、宗教ポイと云われるのは何故なのか?
fujiihideo
0
340
Featured
See All Featured
Designing for humans not robots
tammielis
248
25k
Building an army of robots
kneath
302
42k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
248
20k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.4k
How to name files
jennybc
75
97k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
Six Lessons from altMBA
skipperchong
26
3.3k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
22
3.9k
From Idea to $5000 a Month in 5 Months
shpigford
378
46k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
190
16k
Building Your Own Lightsaber
phodgson
101
5.9k
Raft: Consensus for Rubyists
vanstee
135
6.5k
Transcript
名古屋CV・PRML勉強会 名城大学 堀田研究室 M1 光岡日菜子 2024/7/20 1
自己紹介 名前:光岡日菜子 - 名城大学 理工学研究科 電気電子工学専攻 M1 - 堀田研究室所属 趣味:MT車/イラスト制作/SNS運営
研究:スタイル変換/Segmentation 2024/7/20 2
• CVPR2024論文紹介(segmentation系) ① Open-Set Domain Adaptation for Semantic Segmentation ②
Frequency-Adaptive Dilated Convolution for Semantic Segmentation 今日話すこと 2024/7/20 3
Open-Set Domain Adaptation for Semantic Segmentation Seun-An Choe, Ah-Hyung Shin,
Keon-Hee Park, Jinwoo Choi, Gyeong-Moon Park, Kyung Hee University, Yongin, Republic of Korea 2024/7/20 4
• 新たなシナリオ:OSDA-SSを提案 • Targetドメインに未知のクラスが出現する場合を想定 • 未知クラスに対応する手法:BUSを提案 どんな論文? 2024/7/20 5 白色:
Targetドメイ ンにのみ含ま れるクラス
Open-Set Domain Adaptation for Semantic Segmentation ・Unsupervised Domain Adaptationの一種 ラベル有Sourceで学習→ラベル無Targetで推論
・Targetドメインに未知のクラスが出現する OSDA-SS 2024/7/20 6 Source Target(白:未知クラス) 対応できない…
境界付近の確信度の低さ ・Targetのみに出現するクラスではより顕著 未知クラスの形状を正確に予測できない ・サイズに関係なく同じ物体では一貫した予測をしてほしい ・サイズでなく形状に注目させる機構が必要 従来法をOSDA-SSに適用した際の問題点 2024/7/20 7
BUS(Boundary and Unknown Shape-Aware) ①学習段階から未知クラス用のHeadを用意 ②DECON Loss ③OpenReMix 提案手法 2024/7/20
8
head-expansion baseline ①分類ヘッドを拡張しSourceドメインで学習 ℒ𝑠𝑒𝑔 𝑠 = − σ 𝑗=1 𝐻∙𝑊
σ𝑐=1 𝐶+1 𝑦𝑠 (𝑗,𝑐) log 𝑓𝜃 𝑥𝑠 (𝑗,𝑐) ②Targetドメイン用の疑似ラベル生成 ො 𝑦 𝑡𝑝 (𝑗) = ൝ 𝑐′, if (max 𝑐′ 𝑔𝜙 𝑥𝑡 (𝑗,𝑐) ≥ 𝜏𝑝 ) 𝐶 + 1, othetwise 𝑐′:既知クラス 𝜏𝑝 :信頼度閾値 学習の流れ 2024/7/20 9 1
③疑似ラベルの信頼度を用いたTargetドメインによる学習 ℒ𝑠𝑒𝑔 𝑡 = − σ 𝑗=1 𝐻∙𝑊 σ𝑐=1 𝐶+1
𝑞𝑡 ො 𝑦 𝑡𝑝 (𝑗,𝑐) log 𝑓𝜃 𝑥𝑡 (𝑗,𝑐) 𝑞𝑡 :疑似ラベルの信頼度 ④ 𝑔𝜙 をEMAにより更新 𝜙𝑡+1 = 𝛼𝜙𝑡 + 1 − 𝛼 𝜃𝑡 疑似ラベルの品質を担保 学習の流れ 2024/7/20 10 1
未知クラスの境界識別に特化 ①疑似ラベルから未知クラスのMaskを作る 𝑀𝑢 (𝑗) = ൝ 1, if ො 𝑦
𝑡𝑝 (𝑗) = 𝐶 + 1 0, othetwise ②膨張/侵食加工 𝑀𝑁 = ℎ𝑑𝑖𝑙𝑎𝑡𝑖𝑜𝑛 𝑀𝑢 ′ − 𝑀𝑢 ′ 𝑀𝑃 = ℎ𝑒𝑟𝑜𝑠𝑖𝑜𝑛 𝑀𝑢 ′ 𝑀𝑢 ′ = 𝑟(𝑀𝑢 ):random crop Dilation-Erosion-based Contrastive Loss(DECON) 2024/7/20 11 2
③Contrastive Loss 𝑧𝑖 = avg 𝑀𝑃 ⊙ 𝑓𝜃 𝑥𝑡 𝑧𝑗
= 𝑀𝑃 ⊙ 𝑓𝜃 𝑥𝑡 𝑧𝑘 = 𝑀𝑁 ⊙ 𝑓𝜃 𝑥𝑡 ℒ𝐷𝐸𝐶𝑂𝑁 = − log[σ 𝑝=1 𝑁𝑝 exp(𝑧𝑖 ∙ 𝑧 𝑗 𝑝/𝜏)/ σ 𝑛=1 𝑁𝑛 exp(𝑧𝑖 ∙ 𝑧𝑘 𝑛/𝜏)] 既知クラス/未知クラスの境界の明確化に寄与 Dilation-Erosion-based Contrastive Loss(DECON) 2024/7/20 12 2
サイズ不変の特徴学習 ①Resizing Object Sourceドメインからランダムに物体クラスを 選択→resizeしてTargetドメインに貼る ②Attaching Private Targetドメインから未知クラスと予測された 部分をSourceドメインに貼る OpenReMix
2024/7/20 13 3
事前準備 2024/7/20 14 Targetドメインにのみ存在するクラスの作成 ・「物体」クラスからいくつか選択しSourceドメインから削除 ・削除したクラスはignoreし学習しないようにする 評価指標:H-Score ・既知クラスと未知クラスのIoUの調和平均
実験結果 2024/7/20 15
実験結果 2024/7/20 16
実験結果 2024/7/20 17
実験結果 2024/7/20 18
Frequency-Adaptive Dilated Convolution for Semantic Segmentation Linwei Chen, Lin Gu,
Ying Fu, Beijing Institute of Technology, RIKEN, The University of Tokyo 2024/7/20 19
• FADC(Frequency-Adaptive Dilated Convolution)の提案 • Dilated Convの膨張率を動的に調整 • PIDNet-Mに導入:81.0mIoU+37.7fps(SOTA) •
Dilated Attention/Deformable Convにも適用可能 どんな論文? 2024/7/20 20 Patch1:高周波情報 →膨張率小 Patch2:低周波情報 →膨張率大
Dilated Convolution ・畳み込み+膨張率(固定値) 計算コストを抑えつつ受容野を拡大 問題点 ・膨張率を1からDに増加させると 帯域幅が1/Dに ・高周波成分の処理能力が制限 従来法及びその問題点 2024/7/20
21
FADC(Frequency-Adaptive Dilated Convolution) ①AdaDR ②AdaKern ③FreqSelect スペクトル解析の観点から従来法を強化 膨張率を動的に調整 提案手法 2024/7/20
22 3Moduleで構成
空間的に膨張率を調整 ・領域毎の周波数成分に基づき膨張率を調整 ①特徴マップを離散フーリエ変換(DFT) 𝑿𝐹 𝑢, 𝑣 = 1 𝐻𝑊
ℎ=0 𝐻−1 𝑤=0 𝑊−1 𝑿 ℎ, 𝑤 𝑒−2𝜋𝑗(𝑢ℎ+𝑣𝑤) 高周波成分が多い領域と少ない領域を識別 膨張率の最適化に使用 Adaptive Dilation Rate (AdaDR) 2024/7/20 23 1
②画素毎に異なる膨張率を適用 𝒀 𝑝 = σ 𝑖=1 𝐾×𝐾 𝑾𝑖 𝑿(𝑝 +
Δ𝑝𝑖 × 𝑫(𝑝)) 高周波多:膨張率小 高周波少:膨張率大 ・最適化関数 𝜃 = max 𝜃 𝑝∈𝐻𝑃− 𝑫(𝑝) − 𝑝∈𝐻𝑃+ 𝑫(𝑝) 𝐇𝐏 𝑝 :σ ℋ 𝑫(𝒑) + 𝑿 𝐹 𝑝,𝑠 𝑢, 𝑣 2 Adaptive Dilation Rate (AdaDR) 2024/7/20 24 1
Adaptive Kernel (AdaKern) 2024/7/20 25 畳み込み層の重みを操作 ・重みを動的に特徴マップの周波数成分に適応させる ①畳み込み層の重みを高周波/低周波成分に分割 𝑾 =
𝑾𝑙 + 𝑾ℎ 2
Adaptive Kernel (AdaKern) 2024/7/20 26 ②分解された重みに動的な重みを乗算 𝑾′ = 𝜆𝑙 𝑾𝑙
+ 𝜆ℎ 𝑾ℎ 高周波成分と低周波成分をバランスよく捕捉 2
Frequency Selection (FreqSelect) 2024/7/20 27 入力特徴量の高周波/低周波成分のバランス調整 ①異なる周波数帯に分解 𝑿𝑏 = ℱ−1
ℳ𝑏 𝑿𝐹 ℳ𝑏 :BPF(閾値毎にB+1分割) ②周波数帯域毎に重みづけ 𝑿 𝑖, 𝑗 = σ𝑏=0 𝐵−1 𝑨𝑏 𝑖, 𝑗 ∙ 𝑿𝑏 (𝑖, 𝑗) 3
実験結果 28 2024/7/20
実験結果 29 2024/7/20
実験結果 30 2024/7/20
実験結果 31 2024/7/20