[Journal club] PHyCLIP: 𝒍𝟏-Product of Hyperbolic Factors Unifies Hierarchy and Compositionality in Vision-Language Representation Learning

Transcript

1. PHyCLIP: 𝒍𝟏 -Product of Hyperbolic Factors Unifies Hierarchy and Compositionality in Vision- Language Representation Learning ICLR26 慶應義塾大学 杉浦孔明研究室 高科明哲 Daiki Yoshikawa1, Takashi Matsubara1, 2 1Hokkaido University, 2CyberAgent Daiki Yoshikawa, et al. PHyCLIP: 𝒍𝟏 -Product of Hyperbolic Factors Unifies Hierarchy and Compositionality in Vision-Language Representation Learning. ICLR2026.
2. 2 PHyCLIP: 階層性と構成性を考慮した双曲空間への埋め込み ⚫ 背景 ⚫ VLM は 階層性 (hierarchy) と 構成性 (compositionality) の両方を扱う ⚫ CLIP [Radford+, ICML21] は単一ユークリッド空間への埋め込み → hierarchy と compositionality を同時に表現することが難しい ⚫ 双曲空間は hierarchy の表現に適する一方, compositionality を表現しにくい ⚫ 提案手法: PHyCLIP ⚫ 複数の hyperbolic factor の 𝑙1 -product 空間への埋め込み ⚫ 複数 factor の同時活性化により compositionality を表現 ⚫ 結果 ⚫ zero-shot の classification / retrieval で既存手法を上回る ⚫ hierarchy の表現や compositionality の理解が改善 概要 • • • •
3. 3 階層性と構成性を同時に表現することは難しい VLMが扱うべき2種類の意味構造 ⚫ 階層性 (hierarchy) ⚫ 言語概念は木構造的に分類できる (e.g., WordNet [Miller, 95]) ⚫ 例: dog ⪯ mammal ⪯ animal ⚫ 下位の概念ほど具体的 ⚫ 構成性 (compositionality) ⚫ 例: “a dog in a car” ⚫ 画像や文章は複数概念の共起 CLIP [Radford+, ICML21] は単一のユークリッド空間上の１つのベクトルとして表現  hierarchy と compositionality を同一空間で同時に表現できない 背景 (1/3) • • • •
4. 4 双曲空間は hierarchy を自然に表現できる Poincaré Embeddings [Nickel+, NeurIPS17] ⚫ 背景 ⚫ 単語・グラフには潜在的な hierarchy が存在 ⚫ 低次元のユークリッド空間では深い階層構造を 表せない (∵ ℝ𝑑: 多項式的 階層構造: 指数関数的) ⚫ 提案: ポアンカレモデルへの埋め込み ⚫ 双曲空間では空間が指数関数的に広がる → 連続的な木構造として階層構造を自然に表現 ⚫ ノルム 𝒙 が階層, 距離 𝑑 𝒖, 𝒗 が類似度を表す ⚫ 結果 ⚫ WordNet [Miller, 95] のような大規模分類体系の埋め込み ☺ 表現容量・汎化性能ともに従来手法を凌駕 ☺ 特に低次元でも高い精度を維持 背景 (2/3) • • • • WordNet の哺乳類 subtree を双曲空間 (𝑑 = 2) で訓練
5. 5 ⚫ 画像・文章は複数概念の共起として表せる ⚫ “a dog in a car” ≒ {dog, car} ⚫ “a cat and a bike” ≒ {cat, bike}  複数概念の共起を hierarchy を表す単一の双曲空間で表現できない ⚫ ブール代数としての解釈 ⚫ atomic concepts: 𝐶 = {𝑐1 , 𝑐2 , … , 𝑐𝑛 } ⚫ 複合概念: 𝑆 ⊆ 𝐶 ⚫ 各 atomic concept が含まれるかどうか bit で捉える → 複合概念 𝑆, 𝑇 の距離はハミング距離 𝒍𝟏 -product (各双曲空間の距離の和) Compositionality は Boolean-like な構造を持つ 背景 (3/3) • • • • 𝐶 = {dog, cat, car, bike} 𝑆 = {dog, car}, 𝑇 = {dog} 𝜒 𝑆 = 1,0,1,0 𝜒 𝑇 = 1,0,0,0 ハミング距離: 𝑑Ham 𝜒 𝑆 , 𝜒 𝑇 = 1 𝒍𝟏 -product: 𝑑1 𝑋, 𝑌 = ෍ 𝑖=1 𝑘 𝑑 ℍ𝑖 𝑑 𝑥 𝑖 , 𝑦 𝑖
6. 6 Vision-Language Representation Learning • • • • 手法 概要 特徴 CLIP [Radford+, ICML21] 画像・テキストを単一のユークリッ ド空間へ写像  hierarchy や compositionality を明示的に 扱わない MERU [Desai+, ICML23] CLIP の埋め込み空間を双曲空間へ 拡張 ☺ hierarchy の木構造を表現  compositionality は考慮していない HyCoCLIP [Pal+, ICLR25] bounding box supervision を導入 hyperbolic entailment cone を導入 ☺ object-level の hierarchy を明示的に学習  compositionality の扱いは限定的 関連研究 MERU HyCoCLIP
7. 7 PHyCLIP の全体像 ⚫ 複数の hyperbolic factor の空間へ埋め込む ⚫ 𝑘 個の 𝑑 次元双曲空間 ℍ𝑑 𝑘 → 全体で 𝑘𝑑 次元 提案手法 (1/3) • • • •
8. 8 画像・テキストを双曲空間へ埋め込む ⚫ 双曲空間への埋め込み ⚫ 𝑘𝑑 次元特徴量を 𝑘 個に分割 ⚫ 分割した 𝒗 𝑖 を双曲空間に写像 𝒗 𝑖 ∈ ℝ𝑑 → 𝒙 𝑖 ∈ ℍ𝑖 𝑑 ⚫ 距離の定義 (𝒍𝟏 -product metric) 𝑑1 𝑿, 𝒀 = ෍ 𝑖=1 𝑘 𝑑 ℍ𝑖 𝑑 𝒙(𝑖), 𝒚(𝑖) 𝑑avg 𝑿, 𝒀 = 1 𝑘 𝑑1 𝑿, 𝒀 ⚫ object-level にクロップした画像・テキストも使用 ⚫ 入力: 𝑰, 𝑻, 𝑰box, 𝑻box ⚫ image は text より具体的 ⚫ 元の image/text はクロップされたものより具体的 提案手法 (2/3) • • • • Entailment Relation 𝑰 ⪯ 𝑻 𝑰box ⪯ 𝑻box 𝑰 ⪯ 𝑰box 𝑻 ⪯ 𝑻box
9. 9 Loss function: 対応関係と階層関係を同時に学習 損失関数: ℒoverall = ℒcont + 𝛾ℒent 提案手法 (3/3) • • • • Contrastive Loss ⚫ 標準的な InfoNCE ℒcont {𝑿𝑏 }, {𝒀𝑏 } = − ෍ 𝑏∈𝐵 log exp −𝑑avg 𝑿𝑏 , 𝒀𝑏 /𝜏 σ 𝑎∈𝐵 exp −𝑑avg 𝑿𝑏 , 𝒀𝑎 /𝜏 ⚫ すべてのペアで平均 ℒcont = 1 4 ൬ ൰ ℒcont {𝑰𝑏 }, {𝑻𝑏 } + ℒcont {𝑻𝑏 }, {𝑰𝑏 } + ℒcont {𝑰𝑏 box}, {𝑻𝑏 box} + ℒcont {𝑻𝑏 box}, {𝑰𝑏 box} Entailment Loss ⚫ entailment cone で順序関係を表す 𝒙 𝑖 ∈ 𝐶 𝒚 𝑖 ⟺ 𝒙 𝑖 ⪯ 𝒚 𝑖 ⚫ entailment cone から外れたら罰則 ℒent, 𝑖 𝑿, 𝒀 = max 0, 𝜙 𝒙 𝑖 , 𝒚 𝑖 − 𝜂𝜔 𝒚 𝑖 ℒent 𝑿, 𝒀 = 1 𝑘 ෍ 𝑖=1 𝑘 ℒent, 𝑖 𝑿, 𝒀 𝜙 𝒙 𝑖 , 𝒚 𝑖 : y から x の角度 𝜔 𝒚 𝑖 : cone の半開口角 𝜂: マージン
10. 10 GRIT を用いた学習 ⚫ 訓練データセット ⚫ GRIT [Peng+, ICCV23]: 自動アノテーションされた image-text ペア + bbox ⚫ 14.0M image-text pairs / 26.6M box annotations ⚫ PHyCLIP の設定 ⚫ 𝑘 = 64, 𝑑 = 8 (合計: 512次元) ⚫ 𝛾 = 0.2 ⚫ optimizer: AdamW ⚫ 実験環境 ⚫ GPU: A100 ×4 ⚫ iterations: 500,000 ⚫ batch size: 768 実験設定 • • • •
11. 11 ⚫ Zero-shot Image Classification ☺ PHyCLIP は全体を通して既存手法を上回る (specialized は GRIT の分布外) ☺ 特に General で高いスコア → 複数の双曲空間による concept families の理解が有効 PHyCLIP は画像分類タスクで既存手法を上回る 定量的結果 (1/3) • • • •
12. 12 PHyCLIP は retrieval と階層分類で既存手法を上回る ⚫ Zero-shot Retrieval & Hierarchical Classification ☺ PHyCLIP はほとんどの retrieval 指標で既存手法を上回る ☺ Hierarchical Classification (予測ラベルと GT がどれだけ WordNet 上で近いか) の 全ての指標で既存手法を上回る 定量的結果 (2/3) • • • •
13. 13 PHyCLIP は compositionality の理解を改善 ⚫ Compositional Understanding ⚫ キャプションの一部を変更した hard negative から GT のキャプションを識別 ⚫ VL-CheckList-Object: キャプション中の物体を別の物体に置換 ⚫ SugarCrepe: object/attribute/relation に対して replace/swap/add ☺ VL-CheckList-Object では全てのサブセットで PHyCLIP が既存手法を上回る → 位置や大きさに頑健に物体の存在を表現  relation replacement や object swapping では性能が低下 → Boolean-like な設計により物体同士の関係性の理解に弱い 定量的結果 (3/3) • • • •
14. 14 ⚫ 画像のノルムはテキストのノルムより大きく狭い範囲に集中 (∵ 画像はテキストより具体的: 𝑰𝑏 ⪯ 𝑻𝑏 ) ⚫ 個々の factor 内ではそれぞれのノルムの分布が重なり広く分散 ☺ PHyCLIP は埋め込み空間の広い領域を活用 個々の factor で埋め込み空間を有効活用 定性的結果 (1/2) • • • •
15. 15 ⚫ dog は ℍ39 𝑑 , car は ℍ9 𝑑 で 活性化 ⚫ dog and car では同時に活 性化 ⚫ ℍ39 𝑑 では哺乳類, ℍ9 𝑑 では乗り物/日用品 の階層構造が現れる 各 hyperbolic factor は概念ごとの hierarchy を表す 定性的結果 (2/2) • • • •
16. 18 PHyCLIP: 階層性と構成性を考慮した双曲空間への埋め込み ⚫ 背景 ⚫ VLM は 階層性 (hierarchy) と 構成性 (compositionality) の両方を扱う ⚫ CLIP [Radford+, ICML21] は単一ユークリッド空間への埋め込み → hierarchy と compositionality を同時に表現することが難しい ⚫ 双曲空間は hierarchy の表現に適する一方, compositionality を表現しにくい ⚫ 提案手法: PHyCLIP ⚫ 複数の hyperbolic factor の 𝑙1 -product 空間への埋め込み ⚫ 複数 factor の同時活性化により compositionality を表現 ⚫ 結果 ⚫ zero-shot の classification / retrieval で既存手法を上回る ⚫ hierarchy の表現や compositionality の理解が改善 まとめ • • • •
17. 19 Poincaré Embeddings [Nickel+, NeurIPS17] の詳細 ⚫ Poincaré モデル ⚫ Riemannian metric tensor 𝑔𝑥 = 2 1− 𝒙 2 2 𝑔𝐸 (𝑔𝐸 : Euclidean metric tensor) ⚫ 点 𝑢, 𝑣 ∈ ℬ𝒹 間の距離 𝑑 𝒖, 𝒗 = arcosh 1 + 2 𝒖 − 𝒗 2 1 − 𝒖 2 1 − 𝒗 2 ⚫ Optimization 𝜽𝑡+1 ← 𝑝𝑟𝑜𝑗 𝜽𝑡 − 𝜂𝑡 1 − 𝜽𝑡 2 2 4 ∇𝐸 ⚫ Loss ℒ Θ = ෍ 𝑢,𝑣 ∈𝒟 log 𝑒−𝑑 𝒖,𝒗 σ 𝒗′∈𝒩 𝑢 𝑒−𝑑 𝒖,𝒗′ Appendix (1/4) • • • •
18. 20 PHyCLIP の実装詳細 Appendix (2/4) • • • • PHyCLIP は Lorents model [Nickel+, ICML18] で hyperbolic factor を実装 (曲率 −𝜶𝒊 は learnable) ⚫ Minkowski inner product: 時間方向のみ負の内積 ෝ 𝒙 = 𝑥0 , 𝑥1 , … , 𝑥𝑑 , 𝒙 = 𝑥1 , … , 𝑥𝑑 ∈ ℝ𝑑 ෝ 𝒙, ෝ 𝒚 ℝ𝑑,1 = −𝑥0 𝑦0 + 𝒙, 𝒚 ℝ𝑑 ⚫ 双曲空間を双曲面として表現 𝕃𝛼 𝑑 = ෝ 𝒙 ∈ ℝ𝑑,1 ෝ 𝒙, ෝ 𝒙 ℝ𝑑,1 = −𝛼−1, 𝑥0 > 0 ⚫ Lorentz distance 𝑑 𝕃𝛼 𝑑 ෝ 𝒙, ෝ 𝒚 = 𝛼−1/2 arccosh −𝛼 ෝ 𝒙, ෝ 𝒚 ℝ𝑑,1 ⚫ Exponential map: 𝒗 を双曲空間上の点へ写像 ෝ 𝒙 = expෝ 𝐨 𝛼 𝒗 = cosh 𝛼 𝒗 ෝ 𝒐 + sinh 𝛼 𝒗 𝛼 𝒗 𝒗 ⚫ Entailment Cones in the Lorents Model 𝜔 𝒚 = sin−1 min 1, 2𝐾 𝛼 𝒚 ℝ𝕕 𝜙 𝒙, 𝒚 = cos−1 𝑥0 + 𝛼 𝒙, 𝒚 ℍ𝛼 𝕕 𝑦0 𝒚 ℝ𝕕 𝛼 𝒙, 𝒚 ℍ𝛼 𝕕 2 − 1
19. 21 Ablation Study Appendix (3/4) • • • •
20. 22 Additional Visualizations Appendix (4/4) • • • •