Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文紹介: "Making Pre-trained Language Models End-t...

keyakkie
June 10, 2023

論文紹介: "Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning (WSDM 2023)"

IR Reading 2023 春にて紹介した "Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning (WSDM 2023)" の概要スライドです.従来の prompt-based learning ではタスクごとに適切な prompt (pattern, verbalizer) を作成する必要がありましたが,提案手法ではタスクごとに個別の verbalizer を設定する必要のない(verbalizer-free な)手法である Contrastive Prompt Tuning (CP-Tuning) を提案しています.また,サンプルの難易度を考慮した contrastive learning である Pair-wise Cost-sensitive Contrastive Loss (PCCL) も提案しています.不適切な記述などがあればご指摘頂ければ幸いです .

keyakkie

June 10, 2023
Tweet

More Decks by keyakkie

Other Decks in Research

Transcript

  1. 欅 惇志 ⼀橋⼤学 ソーシャル・データサイエンス学部 [email protected] Making Pre-trained Language Models End-to-end

    Few-shot Learners with Contrastive Prompt Tuning (WSDM 2023) *33FBEJOHय़ ※ 図表は論⽂中・Web からの引⽤
  2. 概要 • 紹介論⽂ o Making Pre-trained Language Models End-to- end

    Few-shot Learners with Contrastive Prompt Tuning (WDSM 2023) • Ziyun Xu (CMU), Chengyu Wang, Minghui Qiu, Fuli Luo (Alibaba), Runxin Xu (Peking), Songfang Huang, Jun Huang (Alibaba) • 要約 o Prompt-based learning は有効 • でもタスクごとに prompt (pattern, verbalizer) を作る のは⼤変 o Verbalizer-free な⼿法である CP-Tuning を提案 o サンプルの難易度を考慮した contrastive learning である PCCL も提案 o 提案⼿法は従来⼿法と⽐較して⾼い性能 2023.6.10 2 IRReading2023春
  3. Prompt [1] とは 2023.6.10 IRReading2023春 3 [1] Scao and RushHow:

    “Many Data Points is a Prompt Worth?”, NAACL 2021. Pattern (template) タスクに適切な prompt 作成
  4. Varbalizer-free prompt • 左 (a):従来の prompt-based learning • 右 (b):提案する

    CP-Tuning 2023.6.10 IRReading2023春 5 (実際はタスク共通の prompt が⼊る)
  5. Contrastive Prompt Tuning (CP-Tuning) 2023.6.10 IRReading2023春 9 Contrastive learning: 正例を近づける

    負例を遠ざける 各サンプルの 難易度を考慮 (簡単なサンプルに 過学習しない)