Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[Journal club] Pix2seq: A Language Modeling Framework for Object Detection
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
November 17, 2022
Technology
0
220
[Journal club] Pix2seq: A Language Modeling Framework for Object Detection
Semantic Machine Intelligence Lab., Keio Univ.
PRO
November 17, 2022
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[Journal club] Parallel Vertex Diffusion for Unified Visual Grounding
keio_smilab
PRO
0
110
[NLP24] Polos: Multimodal Metric Learning from Human Feedback for Image Captioning
keio_smilab
PRO
1
190
[Journal club] Accelerating Toeplitz Neural Network with Constant-time Inference Complexity
keio_smilab
PRO
0
42
[Journal club] TIES-Merging: Resolving Interference When Merging Models
keio_smilab
PRO
0
140
[Journal Club]Interfacing Foundation Models’ Embeddings
keio_smilab
PRO
1
130
[Journal club] Toeplitz Neural Network for Sequence Modeling
keio_smilab
PRO
2
390
Visual Explanation Generation for Road Damage Classification by Using Layer-wise Relevance Propagation for Branch Networks
keio_smilab
PRO
0
140
Supervised Automatic Evaluation for Image Captioning Based on Multimodality
keio_smilab
PRO
0
160
[Journal Club] Hyperbolic Image-Text Representations
keio_smilab
PRO
0
300
Other Decks in Technology
See All in Technology
よく聞くけど使ったことないソフトウェアNo.1 KafkaとSnowflake
foursue
4
360
一生覚えておきたい「システム開発=コミュニケーション」〜初めての実務案件振り返りLT〜
maimyyym
0
140
元インフラエンジニアに成る / Human Resources to Human Relations
bobtani
4
910
開発生産性向上サービスを作るFindyが自分たちで開発生産性を爆上げした組織づくりの歩み / Findy's path to boosting its own development productivity 2024-04-17
ma3tk
3
650
現代CSSフレームワークの内部実装とその仕組み
poteboy
7
3.6k
検証を通して見えてきたTiDBの性能特性
lycorptech_jp
PRO
6
3.8k
サーバー間 GraphQL と webmock-graphql の話 / server-to-server graphql and webmock-graphql
qsona
2
190
反実仮想機械学習とは何か
usaito
PRO
11
4.6k
UIコンポーネント Vue3マイグレーション体験記
lycorptech_jp
PRO
0
110
Terraformあれやこれ/terraform-this-and-that
emiki
8
1.4k
生産性向上チームの紹介
cybozuinsideout
PRO
1
870
Azure犬駆動開発の記録/GlobalAzureFukuoka2024_20240420
nina01
1
210
Featured
See All Featured
Optimising Largest Contentful Paint
csswizardry
8
2.4k
Building Adaptive Systems
keathley
31
1.9k
How to train your dragon (web standard)
notwaldorf
73
5.2k
What the flash - Photography Introduction
edds
64
11k
Large-scale JavaScript Application Architecture
addyosmani
504
110k
Become a Pro
speakerdeck
PRO
11
4.5k
Side Projects
sachag
451
41k
Building an army of robots
kneath
300
41k
Ruby is Unlike a Banana
tanoku
96
10k
Building Effective Engineering Teams - LeadDev
addyosmani
28
1.8k
Why Our Code Smells
bkeepers
PRO
331
56k
For a Future-Friendly Web
brad_frost
172
9k
Transcript
Ting Chen1, Saurabh Saxena1, Lala Li1, David J. Fleet1, Geoffrey
Hinton1 1: Google Research, Brain Team 慶應義塾大学 杉浦孔明研究室 小槻誠太郎 T. Chen, S. Saxena, L. Li, D.J. Fleet, and G. Hinton, “Pix2seq: A language modeling framework for object detection,” ICLR, 2022.
概要 – Pix2Seq 既存の物体検出モデルはタスクに特化した設定が多く為されていた ➔複雑な学習 / 汎用性の低下 物体検出を 入力画像で条件付けしたLanguage Modelingのような形で定式化
物体検出に特化した構造やengineeringを使用せず DETR, Faster R-CNNに対してcompetitiveな性能を達成 2
背景 – 物体検出タスク 画像中の全ての物体を認識し、その位置とカテゴリを求める 物体:Bounding box + Class label で表現
様々なタスクに応用 3
背景 – 既存の物体検出モデルは “Task-Specific” 特殊な入力(Bounding box + Class labelの集合) を扱うため特別な構造を用意
Bounding boxの集合を扱うための 専用の損失関数や評価指標 ➔ 1. 学習が複雑になる ➔ 2. 汎用性を失う / 他のタスクへ応用 ➔ 2. するためにモデルの再設計が必要 4 e.g. Region proposals RoI pooling e.g. Box regression Set-based matching IoU
関連研究 – 既存の物体検出モデルは “Task-Specific” 5 Faster R-CNN [Ren+, NeurIPS15] •
標準的な物体検出手法 • Bounding boxの集合を予測するため大量のProposal • 人手で設定する要素(Anchorsなど)に依存 • 重複を削除するためによくNMSが用いられる DETR [Carion+, ECCV20] • Transformerを採用し、End-to-Endの物体検出 • 大量のProposalを出してNMSを行うことを避けた • 学習で獲得する”object query”が必要
提案 – Pix2Seq : “Task-Agnostic”なモデル + 学習方法 “深層学習モデルがどこにどんな物体があるかを理解しているのであれば、 それを取り出す表現方法を教えれば良いだろう” ➔
画像を与え、Bounding boxの座標(y min , x min , y max , x max )とカテゴリを ➔ Language Modeling (LM) に似た形式 で順に出力 6
提案 – Pix2Seq : “Task-Agnostic”なモデル + 学習方法 LMに似た形式で扱うために、Bounding boxを離散トークンとして表現 画像で条件付けしたLMに似た形式
→ Encoder-Decoder型の構造 LMで標準的に利用される対数尤度の最大化 7
Sequence construction – Bounding boxを離散トークンに Class labelはもともと離散トークンとして表現される(object idなど) 8 1.
Bounding boxの位置座標 2. 正規化した位置座標 → (54, 261, 439, 409) → (0.11, 0.41, 0.91, 0.64) → (55, 205, 454, 319) 画像のサイズに寄らず一定の 整数値から選ばれるようになる
Sequence construction – Bounding boxを離散トークンに Class labelはもともと離散トークンとして表現される(object idなど) Bounding boxも離散トークンに変換
一つの物体に対して最終的に得られるトークン列は [ , class] ➔ LMにおけるDecoderの入力(全ての物体の情報)は [SOS, 1 1 1 1, class1, classL, EOS] 9 → (54, 261, 439, 409) → (0.11, 0.41, 0.91, 0.64) → (55, 205, 454, 319) → [55, 205, 454, 319, 1764]
Sequence augmentation – 検出漏れ+誤検出の低減 LMにおけるDecoderの入力は [ 1 1 1 1,
class1, classL, EOS] EOSが { 早く出る→検出漏れが増加 / 遅く出る→誤検出, 重複が増加} EOSを遅く(たくさん検出)し, かつ ➔ ??? 10
Sequence augmentation – 検出漏れ+誤検出の低減 LMにおけるDecoderの入力は [ 1 1 1 1,
class1, classL, EOS] EOSが { 早く出る→検出漏れが増加 / 遅く出る→誤検出, 重複が増加} EOSを遅く(たくさん検出)し, かつ ➔ ➔ 11
LMにおけるDecoderの入力は [ 1 1 1 1, class1, classL, EOS] EOSが
{ 早く出る→検出漏れが増加 / 遅く出る→誤検出, 重複が増加} EOSを遅く(たくさん検出)し, かつ ➔ ➔ Sequence augmentation – 検出漏れ+誤検出の低減 12 後半に偽bounding boxを追加 偽bounding boxに対する座標の予測はback prop.しない (どこからが偽物かは学習時は分かるので狙ってdetach可能)
Architecture – シンプルなEncoder-Decoder型 Encoder : 画像をベクトル表現に埋め込めるモデル e.g. CNN / ViT
/ … Decoder : transformerのdecoderを利用 実験ではEncoderはDETRを踏襲↓ (CNNで得た特徴マップをflattenしてencoderに通す) 13
Objective / Loss function – Language Modelingと同様 LMで標準的に利用される対数尤度の最大化 maximize
𝑗 𝑤𝑗 log 𝑃 𝑦𝑗 𝑥, 𝑦1:𝑗−1 ) 𝑥 : 画像 𝑦 : トークン列のGround truth 𝑦 : 予測したトークン列 𝑤𝑗 : 著者らは1にしたが、class tokenへの重みづけを増やしたりできる 14
定性的結果 – 細かな物体も正確に予測 15
定量的結果 – Faster R-CNN, DETRに対しcompetitive Scratchで学習 (Dataset : COCO) 物体の大小について
性能のバランスが良い Pix2Seqに比べて (DETRは小物体に弱い) (Faster R-CNNは (大物体に弱い) 16
Backboneのサイズが大きいと性能が向上 Fine-tuningでの画像サイズ が大きいと性能が向上 定量的結果 – Pretrainingの効果が見られた 17 ↑From scratch on
MS-COCO ↓Objects365でpretraining → COCOでfine-tuning
まとめ – Pix2Seq 既存の物体検出モデルはタスクに特化した設定が多く為されていた ➔複雑な学習 / 汎用性の低下 物体検出を 入力画像で条件付けしたLanguage Modelingのような形で定式化
物体検出に特化した構造やengineeringを使用せず DETR, Faster R-CNNに対してcompetitiveな性能を達成 18
Appendix – Links • Paper (ICLR2022) • Discussion @OpenReview •
Official Implementation (TensorFlow) • Official Blog • Demo (Colab.) 19
Appendix – Ablation study: Sequence augmentation 20 を予測する時はAttentionが散らばっているが、 最初の座標を決めた後は即座にAttentionが対象物体に集中する 物体予測の順序
Appendix – Ablation study: 物体の順序 物体の並べ方は画像中の位置やclass順などにすることなく ランダムにした方が性能が良い. 画像中の位置などで並べてしまうと、一度検出漏れが発生した際に もう一度同じような箇所から取り出そうとしなくなってしまい 検出漏れが回復できなくなると推測
21
Appendix – Ablation study: Sequence augmentation 22 ↑From scratch on
MS-COCO ↑Objects365でpretraining / COCOでfine-tuning