SSII2024 [OS2] 大規模言語モデルと基盤モデルの射程

1. SSII2024
 大規模言語モデルと基盤モデルの射程
 2024.6.13
 大谷 まゆ（サイバーエージェント）
2. 2 GPT-4Vで画像認識は終わるのか SSII2024 サイバーエージェント　 AI Lab 大谷まゆ • コンピュータビジョン研究のための評価方法に興味 • デザイン制作支援、画像生成 • 経歴 ◦ 2018 – 現職 ◦ 2014 – 2018 修士・博士課程@NAIST
3. 3 GPT-4Vで画像認識は終わるのか SSII2024 コンピュータビジョンの一般的な研究スタイル 手法開発 性能比較 論文が出版されたり プロダクトに採用されたり
4. 4 GPT-4Vで画像認識は終わるのか SSII2024 評価方法はちゃんと役割を果たしている？ 性能比較
5. 5 GPT-4Vで画像認識は終わるのか SSII2024 映像要約のベンチマーク調査(CVPR’18) 要約の品質に関係なく評価値が決まるこ とを確認 ベンチマーク調査 ランダム化した要約 参照要約
6. 6 GPT-4Vで画像認識は終わるのか SSII2024 シーン検索のベンチマーク調査 (BMVC’20) データセットに潜む偏りが評価結果に及ぼす 影響を調査 ベンチマーク調査 学習&推論時に映像を使わず SOTAに迫る スコアが出ることを確認
7. 7 GPT-4Vで画像認識は終わるのか SSII2024 現状技術の限界（の感覚）と評価結果のギャップ ベンチマークの違和感はどこに生じるか データの限界 手法の限界 ドメインシフト、データ量、クラス偏り...etc. 使える教師信号、扱える特徴...etc. 性能の概算： 扱えそうな問題はベンチマークの△△ %ぐらい？ 成功率◯◯%
8. 8 GPT-4Vで画像認識は終わるのか SSII2024 視覚言語モデルの限界はどのあたりにあるのか？ Vision Encoder LLM Connection Model 『コンピュータを使 う猫』
9. 9 GPT-4Vで画像認識は終わるのか SSII2024 視覚言語モデルの限界はどのあたりにあるのか？ Vision Encoder LLM Connection Model 膨大なデータを学習することで強 力な特徴空間を獲得 言語モデルが多様な問題に有効 • 要約 • 翻訳 • 推論を伴う質問応答 • 雑談 • プログラミング • etc. 『a photo of siberian husky』 CLIPのzero-shot classifier https://openai.com/index/clip/
10. 10 GPT-4Vで画像認識は終わるのか SSII2024 視覚言語モデルの限界はどのあたりにあるのか？ Vision Encoder LLM Connection Model 膨大なデータを学習することで強 力な特徴空間を獲得 『a photo of siberian husky』 CLIPのzero-shot classifier GPT4 Technical Report 強力な特徴空間の上での様々な操作がで きる可能性 特徴空間が獲得できれば多様な CV課題 が視覚言語モデルの射程に入る？
11. 11 GPT-4Vで画像認識は終わるのか SSII2024 CVに残された課題は？ データを集めにくい領域は扱えない→集めれば解決？ 様々なモダリティへの対応→同様のアプローチが有効？ ImageBind: One Embedding Space To Bind Them All (CVPR’23)
12. 12 GPT-4Vで画像認識は終わるのか SSII2024 • 多くの画像認識課題がGPT-4V的アプローチの射程圏に入る • 従来のCV問題の本質が「工学的な手法の探索」から「実用的リソース配分」に なる • 多くの課題がCVを卒業し、政治、思想、芸術の領域へ接続してゆく GPT-4Vで画像認識は終わるのか？