Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[Journal club] Parallel Vertex Diffusion for Un...

[Journal club] Parallel Vertex Diffusion for Unified Visual Grounding

More Decks by Semantic Machine Intelligence Lab., Keio Univ.

Other Decks in Technology

Transcript

  1. Parallel Vertex Diffusion for Unified Visual Grounding 慶應義塾大学 杉浦孔明研究室 畑中駿平

    Cheng, Z. et al. "Parallel Vertex Diffusion for Unified Visual Grounding." AAAI, 2024. Zesen Cheng1 Kehan Li1 Peng Jin1 Xiangyang Ji3 Li Yuan1,2 Chang Liu3† Jie Chen1,2† 1 School of Electronic and Computer Engineering, Peking University 2 Peng Cheng Laboratoy 3 Tsinghua Universiy † Corresponding author AAAI2024
  2. ▸ Visual grounding:与えられた参照表現を画像に接地させること ▹ 画像とテキスト間の細かい対応を確立することが可能 [Li+, CVPR22] ▸ Visual groundingは2つのサブタスクに分類

    ▹ Referring Expression Comprehension (REC) [Hu+, CVPR16]:bboxで予測 ▹ Referring Expression Segmentation (RES) [Hu+, ECCV16]:マスクで予測 2 背景:Visual groundingはvision-language分野のタスクで 重要なタスクである [Hu+, CVPR16] [Hu+, ECCV16]
  3. ▸ RECとRESには高い共通点とそれぞれの利点がある ▹ → 2つのタスクを統合することは自然かつ有益 ▸ RECとRESを統合したモデル ▹ E.g. Mask-RCNN

    [He+, ICCV17], MAttNet [Yu+, CVPR18], MCN [Luo+, CVPR20], [Li+, NeurIPS21], SeqTR [Zhu+, ECCV22] 3 関連研究: RECとRESを統合したモデルが注目 MCN [Luo+, CVPR20], SeqTR [Zhu+, ECCV22]
  4. ▸ SeqTR [Zhu+, ECCV22]:自己回帰モデル (Pix2Seq [Chen+, ICLR21]) によってRECとRESを同時に自己回帰頂点生成問題としてモデル化 ▸ SeqTRの問題点

    ▹  頂点列の上流の精度が十分でない場合,誤差が増大する ▹  高次元になると生成のための反復回数が増加し推論に時間がかかる 4 既存手法の問題点:自己回帰モデルの逐次頂点生成は性能 の上限に制限がある テキスト:“center baseman”
  5. ▸ SeqTR [Zhu+, ECCV22]:自己回帰モデル (Pix2Seq [Chen+, ICLR21]) によってRECとRESを同時に自己回帰頂点生成問題としてモデル化 ▸ SeqTRの問題点

    ▹  頂点列の上流の精度が十分でない場合,誤差が増大する ▹  高次元になると生成のための反復回数が増加し推論に時間がかかる 5 既存手法の問題点:自己回帰モデルの逐次頂点生成は性能 の上限に制限がある テキスト:“center baseman”  最初の頂点が右側の野球選手に予測 するとその後のリカバリーが困難
  6. ▸ モデルの入力:画像とテキストのペア ▹ ℎ:画像の高さ,𝑤:画像の幅,𝑛:単語数 ▸ Encoder Image ▹ 出力: ▹

    Darknet-53 [Redmon+, 18],ResNet [He+, CVPR16] ,Swin Transformer [Liu+, ICCV21] をbackboneとして適用可能 ▸ Encoder Text:BERT [Devlin+, NAACL-HLT19] を適用 ▹ 出力: 7 Cross-modal Feature Extraction:特徴量抽出
  7. ▸ 𝑖層目の画像特徴量 と をSeqTRとMSDeformAttn [Zhu+, ICLR21] をベースに融合し を得る ▸ ▹

    MLP:全結合層 ▹ 𝜎:活性化関数 ▹ ⨀:アダマール積 8 Cross-modal Feature Extraction:特徴量抽出 SeqTRとおなじ形
  8. ▸ CAMの動機:中心点を基準に正規化することで座標回帰の難易度が 下がることが期待される [Tian+, ICCV19] ▸ Center Point Prediction:物体の中央点をヒートマップ で予測

    ▹ : 正解の中心点の座標(正規化済み) ▹ 𝜎:画像サイズに適した標準偏差 9 Center Anchor Mechanism (CAM) :物体の中心点を予測
  9. ▸ 拡散モデルは効果的なスケーラブルなモデルとして活用 ▹ E.g. 画像生成タスク [Ramesh+, 22],識別タスク [Chen+, ICCV23] ▹

    ☺ ノイズの次元を変更するだけで,高次元設定の拡張可能 ▸ 拡散モデルを用いて頂点生成をより高次元かつ並列に行う Parallel Vertex Diffusionの提案 ▹ ※ Pix2Seq-D [Chen+, ICCV23] に基づいて構築(以降Denoiserと称す) 11 Parallel Vertex Diffusion:拡散モデルを用いて頂点を洗練
  10. ▸ Step1:ノイズ状態𝑥𝑡 を生成 ▹ 𝜖:標準正規分布 ▹ 𝑡:一様分布 ▹ :単調減少関数 ▹

    𝑥0 :初期状態 12 Parallel Vertex Diffusion:拡散モデルを用いて頂点を洗練
  11. ▸ Step2:𝑥𝑡 を頂点ベクトル𝑉𝑡 に変換 ▸ Denoiserの頂点の正規化座標が [0, 1] のため[-1, 1]→[0,

    1]にスケールダウン ▸ 𝑉𝑡 の次元数は(4 + 2𝑁)である ▹ 𝑁:ポリゴンの頂点数 13 Parallel Vertex Diffusion:拡散モデルを用いて頂点を洗練
  12. ▸ Point Constraintの損失関数 [Chen+, ICLR23] ▹ :パラメータ化されたDenoiser ▹ 各ノイズ状態𝑥𝑡 は初期状態𝑥0

    に近づくこと が求められる 18 Parallel Vertex Diffusion:拡散モデルを用いて頂点を洗練
  13. ▸ 頂点生成の主な最適化関数: Point Constraint ▹ ☺ 予測された各頂点をGTに近づけるように修正 ▹  2つのポリゴン集合間の形状の違いを考慮できていない

    ▸ Geometry Constraintの導入 ▹ 今回はAngle Summation algorithm [Sutherland+, ACM74] を適用 19 Geometry Constraint:ポリゴン全体の形状を考慮
  14. ▸ Angle Summation Loss (ASL): Angle Summation algorithmを 各時刻𝑡において計算してGTとの差を計算する ▹

    :時刻𝑡における角度和マップ 21 Geometry Constraint:ポリゴン全体の形状を考慮
  15. ▸ REC・RESタスクの標準データセット ▹ RefCOCO [Yu+, ECCV16],RefCOCO+ [Yu+, ECCV16], RefCOCOg [Mao+,

    CVPR16] ▸ 評価尺度 ▹ REC:[email protected] ▹ RES:overall IoU ▸ 学習設定等 ▹ GPU:4つのNVIDIA V100 ▹ デフォルトの頂点数𝑁 = 36 ▹ バッチサイズ 64,エポック数 100 22 実験設定:3種類の標準データセットで実験
  16. ▸ Center anchor mechanism(CAM)およびangle summation loss (ASL)をそれぞれ削除 ▹ どちらも削除した場合はvanilla Parallel

    Vertex Diffusionとなる ▸ ☺ CAMおよびASLモジュールそれぞれが有効 26 Ablation study:提案モジュールの有効性を確認
  17. Strengths ▸ 要所で図や新規性のmotivationが明記されていて理解しやすい ▸ 拡散モデルの特徴を活かして,スケーラビリティおよび推論速度の向上を実現 ▸ 実験設定が適切かつ豊富で提案手法の有効性を確認している Weaknesses ▸ SeqTRよりも頂点数の増やしているが(最大で2倍の36点),オクルージョンには依然として対応

    できていない ▸ 表のキャプションが下側にある・typoが随所見られた(最新版は修正されているかもしれない) Others ▸ SeqTRによる後続研究が活発的である(e.g. PolyFormer [Liu+, CVPR23],Partial-RES [Qu+, CVPR23],PORTER [九曜+, NLP24]) ▸ ベースライン手法も含めて2020年以降のREC/RESモデルのbackboneにDarknet-53 [Redmon+, 18] を適用している手法が多い印象 28 所感