Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

Introduction_to_ZeroshotLearning

payanotty
September 08, 2022
290

 Introduction_to_ZeroshotLearning

payanotty

September 08, 2022
Tweet

Transcript

  1. 自己紹介
 • 名前
 ◦ 早野 康太
 • お仕事
 ◦ 自然言語モデルの改善


    • 趣味
 ◦ 猫、犬
 ▪ YouTube
 ◦ ゲーム
 ▪ 音ゲ、遊戯王MD
 ◦ アニメ
 ▪ リコリコやばくない?

  2. 自然言語におけるZeroshot学習
 吾輩は猫である。
 分類したい文章
 Hypothesis
 これは犬の文だ。
 Entailment Score
 +
 0.50
 吾輩は猫である。


    これは鳥の文だ。
 +
 0.12
 =
 =
 吾輩は猫である。
 これは猫の文だ。
 +
 0.61
 =
 これは{}の文だ。
 学習していないラベル: 猫
 Hypothesis Template

  3. • Bidirectional Encoder Representations from Transformers
 ◦ BERT: Pre-training of

    Deep Bidirectional Transformers for Language Understanding
 ◦ Transformerによる双方向のエンコード表現
 ▪ Transformerモデルの一部分を利用したモデル
 ◦ Googleが2018年に発表
 • 当時の自然言語処理タスクの最高記録を軒並み塗り替えた
 • fine-tuningにより 
 あらゆる自然言語処理タスクに応用可能な汎用性の高さ
 
 Zeroshot ✕ BERT

  4. TransformersでZeroshot
 • Transformers
 ◦ さまざまな自然言語の事前学習済みモデルを
 利用することができるライブラリ
 ◦ ZeroshotClassificationPipelineを使えば
 簡単にZeroshot分類を試すことができる
 ▪

    Pipelines — transformers 4.5.0.dev0 documentation
 ▪ が、日本語のPretrained ModelはModel Hubで全然公開されていない
 • 日本語でやる場合は自分でモデルを作る必要あり
 • 例えばこういうデータセットを使うなど
 ◦ 日本語SNLI(JSNLI)データセット - KUROHASHI-CHU-MURAWAKI LAB