Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Colorful image colorization
Search
tereka114
March 16, 2022
Programming
0
210
Colorful image colorization
tereka114
March 16, 2022
Tweet
Share
More Decks by tereka114
See All by tereka114
トラブルがあったコンペに学ぶデータ分析
tereka114
2
1.5k
Harnessing Large Language Models for Training-free Video Anomaly Detection
tereka114
1
1.5k
KDD2023学会参加報告
tereka114
2
560
Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering
tereka114
0
380
Mobile-Former: Bridging MobileNet and Transformer
tereka114
0
1.1k
DER: Dynamically Expandable Representation for Class Incremental Learning
tereka114
0
190
Jupyter Notebookを納品した話
tereka114
0
430
Multi Scale Recognition with DAG-CNNs
tereka114
0
130
How to use scikit-image for data augmentation
tereka114
0
240
Other Decks in Programming
See All in Programming
ローコードサービスの進化のためのモノレポ移行
taro28
1
340
php-fpm がリクエスト処理する仕組みを追う / Tracing-How-php-fpm-Handles-Requests
shin1x1
5
850
体得しよう!RSA暗号の原理と解読
laysakura
3
540
S3静的ホスティング+Next.js静的エクスポート で格安webアプリ構築
iharuoru
0
200
データベースエンジニアの仕事を楽にする。PgAssistantの紹介
nnaka2992
9
4.3k
RubyKaigiで手に入れた HHKB Studioのための HIDRawドライバ
iberianpig
0
1k
アーキテクトと美学 / Architecture and Aesthetics
nrslib
12
3.1k
Fluent UI Blazor 5 (alpha)の紹介
tomokusaba
0
150
신입 안드로이드 개발자의 AI 스타트업 생존기 (+ Native C++ Code를 Android에서 사용해보기)
dygames
0
510
安全に倒し切るリリースをするために:15年来レガシーシステムのフルリプレイス挑戦記
sakuraikotone
5
2.4k
生産性アップのためのAI個人活用
kunoyasu
0
660
CRE Meetup!ユーザー信頼性を支えるエンジニアリング実践例の発表資料です
tmnb
0
400
Featured
See All Featured
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.3k
Visualization
eitanlees
146
16k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Designing for humans not robots
tammielis
251
25k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
31
4.8k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
28
1.6k
Embracing the Ebb and Flow
colly
85
4.6k
How GitHub (no longer) Works
holman
314
140k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Designing for Performance
lara
606
69k
Faster Mobile Websites
deanohume
306
31k
Transcript
Colorful Image Colorization @tereka114
自己紹介 1. 山本 大輝 2. Acroquest Technology株式会社 3. Software Engineer
4. Twitter:@tereka114 5. Blog:のんびりしているエンジニアの日記 1. 「http://nonbiri-tereka.hatenablog.com/」
年末といえば・・・
そう
Advent Calendarですね
Advent Calendar
今日は何の日でしょう?
今日は何の日でしょう? Today!!
目次 1. はじめに 2. 論文概要 3. 論文の提案 4. 実験 5.
実験結果 6. まとめ
1Pでわかる論文概要 1. 白黒画像をDeep Learning(CNN)で彩色する論文 2. Lを入力とし、ab空間を求めて再構築。 3. Class Rebalanceを考慮した誤差関数を使う。
どんな論文か?
どんな論文か?
どんな論文か?
従来までのColorizationとの違い 1. 従来と異なるところ 1. シーケンシャルなモデル(Single Streamと表現) 1. Dilated convolutionを使った。 2.
誤差関数を改良した。 1. クラスリバランスな誤差関数を使った
論文の提案 1. 色推定部はクラス分類を実施した。 1. 従来手法は回帰式や通常の分類 2. レア度を考慮した式を構築 2. 頻出度合いに応じた重み付けを実施した。 1.
クラスリバランスな式を構築、検証
ネットワーク構成 L空間 ab空間 Conv + ReLU + BatchNorm
問題 1. ネットワークの入力と教師は次の通り 1. 入力画像はL Channelの画像 2. 教師はab空間の画像 2. L空間の画像を与えた時にab空間はどのようになっ
ているかを答えるネットワーク
CIE Lab空間 1. CIE Lab色空間は人間の視覚を近似するよう設計さ れている。 1. 人間の知覚に最も合う空間 2. L:明度、a,b:カラー軸
引用「http://www.adobe.com/jp/support/techguides/color/colormodels/cielab.html」 これを推定する。
誤差関数の発展 1. 連続値を使用した誤差関数 1. L2誤差関数 2. 多クラス分類を使った誤差関数 3. Class Rebalancingを利用した誤差関数(提案)
1. 2にClassRebalancing項を加えた。
L2 誤差関数 1. 色空間を連続値として扱い、誤差を計算した。 2. L2 誤差関数は曖昧さに 対して、ロバストではない。
クラス分類の誤差関数 1. 多クラス分類の誤差関数を使い計算を試みた。 1. Lab空間のグリッドをサイズ10ずつで分割した。 2. 分割結果はQ=313となり、この空間を推定する。 Qの分布
Why class rebalance 1. 自然画像はabの値が偏る。 1. 自然画像は壁や背景、塗装が多い。 1. 一色でカラーリングされている箇所が該当しそう。 2.
Pixelの出現頻度に応じて重みを付ける。 1. リバランスする為の重みをつける。
Class rebalancing 1. 提案手法であるClass reblancingは次式 通常のクラス分類と同様 クラスリバランシング これを求める。
Class rebalancing 通常のクラス分類と同様 クラスリバランシング L値によって分布が異なる。
Class rebalancing 1. 提案手法であるClass reblancingは次式 通常のクラス分類と同様 クラスリバランシング これを求める。
Rebalancing rebalancingで使うWeight 313 0.5
求めるべきYを推定 1. 分布(Z)を求めたので最後はYを推定する。 2. Tの変化により、分布が変化する。 1. T=1の場合:変化なし 2. T=0に近い場合:ピークが強調される。 3.
T=0の場合:1hotになる。 これをどうするか
Tの値による推移
Tの値による推移 大体このあたりが 違う。
彩色成功例 提案手法
彩色失敗例
実験内容 1. 実験データはImageNetを利用し、trainとvalidation はそのデータを使っている。 2. 評価手法はAMT、VGG top1、AuCのスコアを使い、 評価している。
評価手法 1. AMT(Amazon Mechanical Turk) 1. AMTを使って生成とGround Truth画像を2枚見せ、どちら がよりリアルかを判定する。 2.
VGG Top1 1. クラス分類の正答率を計算 3. AuC 1. ab空間のエラー閾値が一定以下かを計算する。
結果 最も良い
GTと生成手法で並べた
昔からある白黒画像を入力した
まとめ 1. グレー画像からカラー画像へ変換するタスクを解 いた。 2. クラスリバランスを行った。 3. よりリアルな彩色が可能となった。