Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[読み会] Words are All You Need? Language as an Ap...

mei28
November 22, 2023
28

[読み会] Words are All You Need? Language as an Approximation for Human Similality Judgements

読み会資料
Words are All You Need? Language as an Approximation for Human Similality Judgements (ICLR2023)

mei28

November 22, 2023
Tweet

More Decks by mei28

Transcript

  1. Words are All You Need? Language as an Approximation for

    Human Similality Judgements 楊明哲 2023/11/15@読み会
  2. 画像・音声・動画のマルチモダリティ 準備 • 画像: • 動物や家具、野菜などの画像 7,140枚 • 音声: •

    会話の音声1つに3つの感情。4950文 • 映像: • 200の行動ラベルが存在。5000本使う
  3. 大規模言語モデルから埋め込みを獲得 提案手法:LLMモデル Tag: • ConceptNet NumberBatchという単語埋め込みモデルを 使用 Captions: • HuggingFaceのdebertaやSimCSE,

    BERTScoreを利用 • 埋め込みは後ろから二番目の埋め込みを利用 画像: • (画像→キャプションモデルを利用したがいまいち)