Upgrade to Pro — share decks privately, control downloads, hide ads and more …

2023.09.02 認知言語学会発表資料

2023.09.02 認知言語学会発表資料

2023.09.02
認知言語学会ワークショップ ロボティクス・NLP ・ AI は認知言語学に何をもたらすか?
―大規模言語モデル時代の実証的な言語の研究手法を求めて―
「大規模言語モデル時代のVision and Language 研究におけるコミュニケーションの課題」

Seitaro Shinagawa

September 02, 2023
Tweet

More Decks by Seitaro Shinagawa

Other Decks in Technology

Transcript

  1. 品川 政太朗 奈 良 先 端 科 学 技 術

    大 学 院 大 学 先 端 科 学 技 術 研 究 科 [経歴] • 2015年 東北大学大学院情報科学研究科 修士課程修了 • 2015年 奈良先端科学技術大学院大学 博士後期課程入学 • 2020年 奈良先端科学技術大学院大学 博士(工学) • 2020年 奈良先端科学技術大学院大学 助教 [専門] • Vision and Language • 対話的な画像生成システム [書籍] • コンピュータビジョン最前線2021Winter ニュウモン Vision and Language(共立出版) • コンピュータビジョン最前線2023 Summer フカヨミCLIP(共立出版) • Vision Transformer入門 7章8章(技術評論社) Seita ro Shinagawa 1
  2. Vision and Language研究とは Vision and Language ≒視覚情報とテキスト情報を結び付ける方法論およびそれによる問題解決を扱う 画像から説明文を生成 テキストから画像を生成 画像についての質問に答える

    指示された物体を当てる 指示された経路を移動する REC “赤い帽子 の騎手” “二人の騎手と二体の 馬が競走している” IC VQA “右の騎手の 帽子は何色?” “赤” “二人の騎手と二体の 馬が競走している” T2I 2
  3. 画像編集モデル DCGANベースのマスク付き画像編集モデル [Shinagawa+, 2018] • アバター画像2枚とその差分を表現する指示文の3つ組データセットを作成して利用 「頭を禿げさせて」 マスク 生成器 生成器

    (DCGAN) マスクによって編集する位置をより明確に指定する • 〇編集指示文にない変化を抑制できて全体的な性能が向上 • △髪などの大きい領域の編集が苦手に • マスクはどの領域が編集すべき部分なのかの確信度だと解釈できる (確信度が低いともわっとする、確信度が高いとくっきりする) 特徴抽出器 (LSTM) 特徴抽出器 (CNN) 元画像 生成画像 マスク 9
  4. 人間のユーザとの対話実験 • 確認が必要ない場合は自動でマスクあり画像を選択してユーザに提示 • 髪の毛の編集は苦手なので、確認をしないとタスクが失敗する設定 • 18人の評価者を6つの確認戦略の設定で実験 • 各戦略について一つのサンプルは別々の3人の評価者によって評価 •

    6つの確認戦略: 閾値 𝛼 = 0.0, 0.25, 0.50, 0.75, 1.0 およびrandom ゴール:エージェントとの対話により、source画像をgoal画像にできるだけ近づける 21サンプルの髪の毛変化のサンプルを用意 • 髪の毛はマスクありモデルが苦手なので 「確認」の効果が見やすい • 生成画像とgoal画像との近さはSSIMと いう画像の類似度尺度を利用 • 𝛼 = 0.0: 毎回確認 • 𝛼 = 1.0: 確認なし 11
  5. 最近は大規模言語モデル時代に入って、大きな変化が訪れている • アプリケーションはプログラミング言語で実 行可能なものなら何でもOK(人間と同じ) • 対話エージェントとしての推論もプロンプト の工夫である程度できる Visual ChatGPT: Talking,

    Drawing and Editing with Visual Foundation Models [arXiv:2303.04671]より引用 Visual ChatGPT • 大規模言語モデル(ChatGPT)が他のツー ルや機械学習モデルを自然言語で利用し てタスクを解く流れが登場 ポイント 15
  6. 対話による画像生成の例(日本語は意訳) Q1: こんにちは、あなたは誰? A1: Visual ChatGPTです Q2: 絵が好きだが下手なのでリンゴを描いて欲しい A2: リンゴの画像を書きました(画像生成)

    Q3: この画像を描いて(リンゴとコップの線画を添付しながら) A3: 受け取りました、どういう操作が希望ですか? image/dcd3af54.pngの画像を使えます Q4: image/dcd3af54.pngは私のリンゴとコップの線画だね。 この線画を改善できる? A3: 線画から新しい画像を作成して保存しました 図は[arXiv:2303.04671]より引用 16
  7. 対話による画像生成の例(つづき) Q5: いいね。その画像を水彩画にできる? A5: Instruct Image Using Textというツールを使用して水彩画 にしました(画像を添付) Q6:

    わあ、きれい。背景は何色か答えられる? A6: 青です Q7: 正解。りんごを写真から消して、画像について説明して A7: image/2ca6_remove-something_0849_dcd3af54.png は今コップと青い背景になっています(画像を添付) Q8: 画像にはテーブルの上に影があるね。テーブルを黒のテーブ ルに置き換えられる? A8: 黒いテーブルに置換して保存しました(画像を添付) 図は[arXiv:2303.04671]より引用 17
  8. Visual ChatGPTの内部機構について システム方針: 𝒫 ツール集合: ℱ ユーザクエリ: 𝒬𝑖 対話履歴: ℋ<𝑖

    推論履歴: ℛ 𝑖 <𝑗 中間回答: 𝐴 𝑖 𝑗 クエリごと Noが出る まで推論を 繰り返す クエリあたりの推論過程の例 図は[arXiv:2303.04671]より引用 18
  9. 潜在的な可能性として、プロンプト作成もLLMに任せる時代? • ChatGPTなどのLLMは確実な制御が難しくても、うまくいくことがあるのが大きい • 人間と相互作用しながらデータを集めることでさらなる性能向上が見込める • LLMは長文生成も苦にしないので、プロンプト作成も任せる方が有望 • 効果的な対話データの収集方法は現状の分野全体の課題 ラウンド形状の鉄製のジンギスカン鍋の中には,新鮮な

    羊肉のスライスが豪快に焼かれています.肉は鍋の中心 に集中して配置され,周囲には色とりどりの野菜が並ん でいます.キャベツ,もやし,ニラなどが明るく色づき, 炙り出された香ばしい香りが広がります.鍋の下には炭 火が輝き,焼かれる食材を照らしています.手前には冷 えたビールのグラスが置かれ,背景には楽しそうに話す 人々のぼんやりとした姿が見えます. 「ジンギスカンを知っていますか」 GPT-4 「はい、ジンギスカンは~」 「いいですね、では短くまとめて」 20
  10. 大規模言語モデルを活用するマルチモーダル対話システム a) 学習なし戦略(LLM司令塔型) 大規模言語モデルに視覚のエンコーダを接続 して接続部分だけ微調整 ◦ より各タスクに柔軟に対応可能で高性能 ◦ 比較的低コストで学習可能 △

    マルチモーダル対話データが必要 ChatGPTやGPT-4でうまくデータを収集 b) 学習あり戦略(マルチモーダルLLM型) • 大規模言語モデルは司令塔 • 大規模言語モデルは言語を介して他のアプ リケーションを道具として使用 ◦ 様々なアプリケーションを利用可能 △ 性能上限はその道具の性能次第 △ プロンプト調整が重要 画像生成 画像QA 画像の説明 画像編集 大規模言語モデル 男性が大きなみかんを... Visual ChatGPT GPT-4 22
  11. マルチモーダルLLMの躍進と課題 ただし、正当に能力を評価するのが困難になってきている • Web上のあらゆるデータを学習データとして含んでいる • 正しく評価のためには毎回データセットを新しく収集する必要がある • 対処として上記の例のように、新しく投稿されたジョーク画像を利用する例もある Q. Can

    you explain this meme in detail? GPT-4 This meme is a joke that combines two unrelated things: pictures of the earth from space and chicken nuggets. The text of the meme suggests that the image below is a beautiful picture of the earth from space. However, the image is actually of chicken nuggets arranged to vaguely resemble a map of the world. The humor in this meme comes from the unexpected juxtaposition of the text and the image. The text sets up an expectation of a majestic image of the earth, but the image is actually something mundane and silly. マルチモーダルLLMは強力で、ありえないような画像にもそれっぽい答えを返せる ※お詫び:予稿の「Sometimes I just look at pictures of the earth from space and I marvel at how beautiful it all is」は別のモデル(LLaVA)のものでした GPT-4 [OpenAI 2023]より引用 23
  12. 公正な実験条件でマルチモーダルLLMを比較するのは難しい [arXiv:2306.13394] 留意点 • 画像は既存のCOCOデータセットから(テキストの質 問-正答は新しく用意) • yes/no回答を強制: “Please answer

    yes or no.” • モデル規模は少しまばら(6B~13B) 主要な知見 • 全体的にBLIP-2, InstructBLIPが強い • yes/no回答形式に強いというだけの説も • 画像テキストの翻訳、数字の計算能力が低い • OCR能力が落ちている?(CLIPとは異なる結果) 12のモデルを14のタスクで比較 • Perception(見た目の認識) • Cognition(認知:推論を伴う理解) Perception Cognition プロンプトが異なると評価の結果もがらりと変わ る余地があるので評価方法の確立は今後の挑戦的 な課題・・・ 24
  13. まとめ Vision and Languageモデルを対話システムへ • 目的:対話エージェントが人間の負荷を軽減する • 大規模言語モデルは司令塔の役割として様々な対話を実現できる可能性がある • マルチモーダルLLMではより柔軟に対応可能

    今後の課題 • 大規模言語モデルは実用上の挙動の安定性を担保しにくい • 制御のためのデータ収集方法やモデリングの研究が重要 • 大規模言語モデルの能力の評価方法も目下の課題 • 対話エージェントが自主的に対話を主導することは現状あまり重視されていない • どのような自主性を持たせるべきかはモデルの作り手の意向が重要 • 対象とする問題の解決のためにどのように大規模言語モデルを制御・制約できる かが鍵 25 認知言語学をはじめとする諸分野の知見が 必要になると期待しているポイント