Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Free-Form Image Inpainting with Gated Convolution
Search
Masanori YANO
September 13, 2019
Science
0
1k
Free-Form Image Inpainting with Gated Convolution
論文LT会で作成した「Free-Form Image Inpainting with Gated Convolution」の説明資料です。
Masanori YANO
September 13, 2019
Tweet
Share
More Decks by Masanori YANO
See All by Masanori YANO
Novelty Detection Via Blurring
msnr
0
520
Y-Net: Joint Segmentation and Classification for Diagnosis of Breast Biopsy Images
msnr
0
560
Pyramid-Based Fully Convolutional Networks for Cell Segmentation
msnr
0
560
Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection
msnr
0
680
Move Evaluation in Go Using Deep Convolutional Neural Networks
msnr
1
850
AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search
msnr
0
1.2k
Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning
msnr
0
500
SRCNN: Image Super Resolution Using CNN
msnr
0
710
One-Class Convolutional Neural Network
msnr
0
1.3k
Other Decks in Science
See All in Science
データマイニング - グラフ構造の諸指標
trycycle
PRO
0
150
Machine Learning for Materials (Challenge)
aronwalsh
0
310
コンピュータビジョンによるロボットの視覚と判断:宇宙空間での適応と課題
hf149
0
240
データベース14: B+木 & ハッシュ索引
trycycle
PRO
0
420
安心・効率的な医療現場の実現へ ~オンプレAI & ノーコードワークフローで進める業務改革~
siyoo
0
300
局所保存性・相似変換対称性を満たす機械学習モデルによる数値流体力学
yellowshippo
1
290
Trend Classification of InSAR Displacement Time Series Using SAE–CNN
satai
3
510
マウス肝炎ウイルス感染の遺伝子発現へのテンソル分解の適用によるSARS-CoV-2感染関連重要ヒト遺伝子と有効な薬剤の同定
tagtag
0
130
生成検索エンジン最適化に関する研究の紹介
ynakano
2
1.2k
機械学習 - ニューラルネットワーク入門
trycycle
PRO
0
830
データベース06: SQL (3/3) 副問い合わせ
trycycle
PRO
1
620
論文紹介 音源分離:SCNET SPARSE COMPRESSION NETWORK FOR MUSIC SOURCE SEPARATION
kenmatsu4
0
280
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
110
19k
Why Our Code Smells
bkeepers
PRO
337
57k
What's in a price? How to price your products and services
michaelherold
246
12k
Java REST API Framework Comparison - PWX 2021
mraible
32
8.8k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
332
22k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Raft: Consensus for Rubyists
vanstee
140
7k
Testing 201, or: Great Expectations
jmmastey
45
7.6k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
790
Transcript
画像処理&機械学習 論文LT会 #7 Free-Form Image Inpainting with Gated Convolution 2019年9月13日(金)
矢農 正紀 (Masanori YANO)
論文 2 標題: Free-Form Image Inpainting with Gated Convolution 論文のURL:
https://arxiv.org/abs/1806.03589 公式ページ: http://jiahuiyu.com/deepfill2/ ⇒ 画像のInpainting(修復)の手法に関する論文 著者の所属は、イリノイ大学及びAdobe Research 選んだ理由 ・画像を生成する観点で、Inpaintingの手法に関心あり ・ICCV 2019採択の論文で、本論文の手法が引用されていた ・NVIDIAのP-Convを長いこと理解できなかった ・本論文の説明と参考文献[4]で、ようやくP-Convを把握
Inpaintingとは 3 [入力] マスクを含む画像 [出力] マスクを除去した画像 ⇒ 本論文では、マスク(白塗り)は 任意の形状に対応し、加えて ユーザーのスケッチ(黒い線)も
ガイダンス的な情報として活用
Inpaintingのアプローチ 4 [1] GLCIC(Globally and Locally Consistent Image Completion) Dilated
Convolutionを含むCNN + GAN [2] P-Conv(Image Inpainting for Irregular Holes Using Partial Convolutions) Partial Convolutionを用いたU-Net構造のCNN [3] 本論文(Free-Form Image Inpainting with Gated Convolution) Gated ConvolutionのCNN(Dilatedも使用) + SN-PatchGAN ⇒ 「エンコーダ→デコーダ」のCNNで修復するところは共通 スキップ接続あり
P-Conv(Partial Convolution) 5 マスクを考慮して畳み込み、マスクは更新で縮める ・入力画像とは別に、マスクのチャネルを使用 1=マスクされていない、0=マスクされている ・入力画像は、マスクを考慮して畳み込み ・マスクは、定数のカーネルで畳み込んで 0以外は1に ⇒
次第に縮んでいく バイアス項は 簡単のため省略
Gated Convolution 6 二種類の重みを使って、マスクの畳み込みも学習 はReLUなどの活性化関数、はシグモイド関数 (活性化関数を通した結果と、0~1のシグモイド関数とのアダマール積) バイアス項は 簡単のため省略
本論文のネットワークアーキテクチャ 7 SN-PatchGANと呼称 ・Generatorは、Gated Convolutionを中心としたCNN ・Discriminatorは、CNNで畳み込まれた特徴量で個別判定 - カーネルサイズ5・ストライド2で畳み込み - Spectral
Normalizationを使用するSN-GANベース 学習のためのマスクやスケッチは、アルゴリズムで自動生成
まとめ 8 本論文はGated ConvolutionとSN-PatchGANを提案 ・任意の形状のマスクやスケッチに対応できた事例を提示 ・定量的な評価は、バリデーション画像のlossの平均を比較 ・50人のユーザーに、本物の画像と修復画像を見せて評価も - 修復画像の88.7%を「リアル」と判定(本物は94.3%) 所感
・Inpaintingの論文は、成功事例の画像がインパクト大 ・一方で、だめな事例については 後続の論文で初めて見ることも ・新しい手法やアーキテクチャは 違うタスクに適用できるかも
参考文献 9 [1] GLCIC(Globally and Locally Consistent Image Completion) http://iizuka.cs.tsukuba.ac.jp/projects/completion/
[2] P-Conv(Image Inpainting for Irregular Holes Using Partial Convolutions) https://arxiv.org/abs/1804.07723 [3] Onion-Peel Networks for Deep Video Completion https://arxiv.org/abs/1908.08718 ↑ Gated Convolutionを知るきっかけとなったICCV 2019論文(動画の修復) [4] DeepCreamPyで学ぶモザイク除去 https://note.mu/koshian2/n/naa60d5c9ebba ↑ P-ConvやU-Netの実装コードを含む、わかりやすい解説