日本ディープラーニング協会主催 NeurIPS 2021 技術報告会講演資料

1 Confidential © TDAI Lab All right reserved. NeurIPS 2021
技術報告会⽇本ディープラーニング協会主催 2021年2⽉4⽇株式会社TDAI Lab モデルの巨⼤化から考える2022年のAI研究トレンド

2 Confidential © TDAI Lab All right reserved. 自己紹介経歴
2016年株式会社TDAI Lab創業 (代表取締役社⻑) 2018年東京⼤学⼤学院⼯学系研究科修⼠課程修了 2021年東京⼤学⼤学院⼯学系研究科博⼠課程修了興味領域 Fairness, Unbiased Learning to Rank, Recommendation 特技︓競技ダンス 2014年東京⼤学総⻑賞受賞 2015年全⽇本学⽣競技ダンス選⼿権優勝 2020年芸能⼈格付けチェック出演 2022年全⽇本ランキング6位 ~2022年全⽇本準強化指定選⼿著書「世界⼀カンタンで実戦的な⽂系のための⼈⼯知能の教科書」福⾺智⽣ Tomoki Fukuma @fukuma_tomoki

3 Confidential © TDAI Lab All right reserved. 本資料の⽬的・留意事項【想定聴講者
】 1. 近年のAI研究トレンドのざっくりした傾向を掴みたい⽅ 2. 機械学習・深層学習にある程度の予備知識がある⽅ 3. 当カンファレンスについての⼀参加者の⾒解を、興味を持って聴講くださる⽅【留意事項】本発表資料はできる限り誤解のないように努めておりますが、著者⾃⾝の仮説や想定の誤りにより、内容の⼀部に正確でない表現を含むことがあるかもしれない点、ご容赦ください。

4 Confidential © TDAI Lab All right reserved. NeurIPS統計情報 •
1987年から35回⽬の開催 • オンライン開催 ◦ 12/6~7 (チュートリアル) ◦ 12/7~11 (本会議) ◦ 12/13~15 (ワークショップ) • 9122 submissions • 2344 accepted (26% acceptance)

5 Confidential © TDAI Lab All right reserved. 現在のAI研究をリードしているのは誰か︖ •
企業 Top7 ◦ Google (188) ◦ Microsoft(118) ◦ Facebook(86) ◦ Deepmind(82) ◦ IBM(56) ◦ Huawei(42) ◦ Amazon(40) • 学術機関 Top7 ◦ Stanford University(143) ◦ MIT(139) ◦ Carnegie Mellon University(120) ◦ University of California, Berkeley(119) ◦ Tsinghua university(108) ◦ Oxford(87) ◦ Peking university(71)

7 Confidential © TDAI Lab All right reserved. 本⽇の発表の流れ •
現在のAI研究開発の⼤きな潮流1 • これからのAI研究のトレンド1 ◦ トレンド1︓アーキテクチャの改善 ◦ トレンド2︓マルチモーダルモデル ◦ トレンド3︓Temporal Adaptation ◦ トレンド4︓Retrieval Augmentation • 現在のAI研究開発の⼤きな潮流2 • これからのAI研究のトレンド2 ◦ トレンド5 ~ 7

9 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点1】学習に⼤量の教師データや計算資源が必要
【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない⼈⼯知能学会セミナー講演資料︓ 「IJCAI2021から読み解く第4世代AIの研究開発」

10 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点1】学習に⼤量の教師データや計算資源が必要
OpenAI：Dota2で世界チャンピオンに勝てるようになるまでに、45,000年分学習 Allen AI研究所：「アリスト」は、8年生レベル(日本の中２) の多肢選択式の科学問題に答えるために、300ギガバイトの科学論文と知識グラフを利用 OpenAI : Transformerの性能には、計算時間・データサイズ・パラメータ数のべき乗則に支配される GPT3は学習にシングルGPUで355年間(推定コスト 12millionドル)、学習データに45TBのテキスト

12 Confidential © TDAI Lab All right reserved. 【潮流1】今のAI研究者は何を⽬指して研究している︖ 【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない
https://www.forbes.com/sites/robtoews/2020/07/19/gpt-3-is-amazingand- overhyped/?sh=338645581b1c

現在のAI研究開発の⼤きな潮流1 • これからのAI研究のトレンド1 ◦ トレンド1︓アーキテクチャの改善 ◦ トレンド2︓マルチモーダルモデル ◦ トレンド3︓Temporal Adaptation ◦ トレンド4︓Retrieval Augmentation • 現在のAI研究開発の⼤きな潮流2 • これからのAI研究のトレンド2 ◦ トレンド5 ~ 7

14 Confidential © TDAI Lab All right reserved. 背景知識︓⾔語モデル https://lena-voita.github.io/nlp_course/language_modeling.html
GPT2 Text Generation Demo 予測変換

15 Confidential © TDAI Lab All right reserved. 背景知識︓加速するモデルの巨⼤化アメリカ
• GPT-3(OpenAI):1750億 • Jurassic-1 (AI21):1780億 • Gopher(DeepMind):2800億 • Megatron-Turing(Microsoft・ NVIDIA):5300億 • GLaM(Google):1.2兆 • Switch -Transformers: 1.6兆中国 • PanGu(Huawei):2000億 • Yuan 1.0(Inspur):2450億 • PCL-BAIDU Wenxin(Peng Chang Laboratory):2800億 • Wu Dao 2.0(北京智源⼈⼯知能研究院):1.75兆韓国 • HyperCLOVA(NAVER):2040億 GLaM (1200billion) ・ Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the Worldʼs Largest and Most Powerful Generative Language Model に登壇者が追記

17 Confidential © TDAI Lab All right reserved. 背景︓モデルは100兆パラメータ時代へ •
⼤規模な⾔語モデルは、企業の技術⼒を⽰す威信あるプロジェクト化 • スケールアップすれば良い結果が得られるというデモンストレーションを繰り返す(だけ) • ⼀つのマイルストーンとして、⼈間の脳の100+兆のシナプス • 現に推薦モデルなどでは100兆のパラメータを持つモデルも存在 Persia: An Open, Hybrid System Scaling Deep Learning-based Recommenders up to 100 Trillion Parameters

18 Confidential © TDAI Lab All right reserved. NeurIPSで⾏われていた⾯⽩い試み https://training-transformers-
together.github.io/ • Yandex Research、Hugging Face、HSE University、University of Washingtonが共同で主宰したデモ • NeurIPS 2021の参加者について、オープンソース版のDALL-Eを分散学習 (参加者は、⾃分のPC や無料のクラウドインスタンスから参加) • 合計で20⼈以上の⼈が実験に参加し、トレーニング開始から10⽇間で147⽇以上の計算⽇数を提供 • 今後は、より広範な愛好家コミュニティを対象とした⼤規模なモデルのトレーニングも計画

19 Confidential © TDAI Lab All right reserved. トレンド1. アーキテクチャの改善
計算の効率化・Self-Attentionを⽤いないアーキテクチャ開発 • Googleの「Switch Transformer」や「GLaM」は⼀度学習させたパラメータの⼀部を使って予測を⾏し、計算資源を節約する • Luna: Linear Unified Nested Attention [Ma et al. NeurIPS 2021] ◦ 計算オーダーを時系列に対して線形に • MLP-Mixer: An all-MLP Architecture for Vision [Tolstikhin et al. NeurIPS 2021] ◦ GoogleのViTチーム、画像にフォーカス • gMLP: Pay Attention to MLPs [Liu et al. NeurIPS 2021] ◦ Googleの別チーム、NLPにフォーカス

20 Confidential © TDAI Lab All right reserved. 背景知識︓Prompting •
通常のファインチューニングと異なり、モデルのパラメータを⼀切変化させず、Few-shot学習が可能になる • 具体例を⾃然⽂の⼊⼒とし、モデル内の”知識”の取り出し⽅を教える • 翻訳や⽂書分類など様々なタスクに応⽤可能

21 Confidential © TDAI Lab All right reserved. トレンド2. マルチモーダル
Multimodal Few-Shot Learning with Frozen Language Models [Tsimpoukelliet al. NeurIPS 2021] • Promptingとして画像と⾃然⾔語を組み合わせる。 • 既存の⾔語モデルの重みは変化させず、マルチモーダルなFew-shot Learnerを学習

Multimodal Few-Shot Learning with Frozen Language Models [Tsimpoukelliet al. NeurIPS 2021] • Promptingとして画像と⾃然⾔語を組み合わせる。 • 既存の⾔語モデルの重みは変化させず、マルチモーダルなFew-shot Learnerを学習

23 Confidential © TDAI Lab All right reserved. 背景知識︓⾃⼰教師あり学習 •
データセットの量が重要性を増す中、ラベル付きデータセットには限界がある • そこでラベルなしデータセットから⼈間が擬似的なタスク(pretext task)を設定し学習 BERT [Devlin et al. NAACL 2019] SimCLR [Chen et al. ICML 2020]

巨⼤⾔語モデルで⾏われていた⾃⼰教師あり学習をマルチモーダルなデータについて⾏う研究が増加 • OpenAIによるCLIP[Radford et al., 2021]などの登場により、テキストと画像の類似度が測れるだけでなく、画像からテキストの⽣成によるZero-shot Learningも可能に • MetaによるData2vec [Baevski et al. 2022]は⾔語・⾳声・画像を同じ枠組みで学習させられる⾃⼰教師あり学習⼿法 CLIP: Connecting Text and Images [Radford et al., 2021] Data2vec: The first high-performance self-supervised algorithm that works for speech, vision, and text (Baevski et

VATT: Transformers for Multimodal Self-Supervised s from Raw Video, Audio and Text [Akabari et al. NeurIPS 2021] • 三種類のモダリティを持つデータに対する⾃⼰教師あり学習⼿法の提案 • Video Action Recognitionなどに応⽤

26 Confidential © TDAI Lab All right reserved. トレンド3. Temporal
Adaption Mind the Gap: Assessing Temporal Generalization in Neural Language Models [Lazaridou et al. NeurIPS 2021] • テストデータが新しくなるにつれて性能が低下 • adaptiveな⾔語モデルの開発が必要であることを提⾔

27 Confidential © TDAI Lab All right reserved. トレンド3. Temporal
Adaption Time-Aware Language Models as Temporal Knowledge Bases [Dhingra et al.2021] • タイムスタンプを同時に⾔語モデルの⼊⼒に⽤いることを提案

28 Confidential © TDAI Lab All right reserved. トレンド4. Retrieval
Augmentation • Masked Language Modeling(MLM)などを⾏う際、コーパスの中から該当箇所を抽出するRetrieverを同時に学習 • 抽出した参照⽂章と⼊⼒⽂を組み合わせてMLMを⾏う • メリット ◦ 解釈性が⾼い ◦ パラメータ効率がいい REALM: Retrieval-Augmented Language Model Pre-Training(Guu et al. ICML 2020)

Augmentation End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering [Sachan NeurIPS 2021] • マルチドキュメントOpenQAモデルをReaderとRetrieverを⽤いてEnd-to-Endで学習するための新しい学習アルゴリズムを提案 OpenQAの例 End-to-End Training of Neural Retrievers for Open-Domain Question Answering[Sachan et al. 2021 ACL]

Augmentation その他最近の事例 • PCL-Baidu Wenxinは、GPT-3スタイルのモデルとナレッジグラフを組み合わす • DeepMindのRETROは、わずか70億個のパラメータを持つ⾔語モデルでRetrieverと組み合わし25倍のサイズの他のモデルと同等のパフォーマンス • OpenAIのWebGPTは参照コーパスを動的にインターネットから検索して抽出

Augmentation 効率的に早くベクトルの近傍探索ができることは検索やRetrievalにおいて必要不可⽋ • NeurIPS 2021におけるCompetition • Billion-Scale Approximate Nearest Neighbor Search Challenge (ANNS) • 10億の参照データ参考:SPANN: Highly-efficient Billion-scale Approximate Nearest Neighborhood Search [Chen et al. NeurIPS 2021] https://ichi.pro/neurips-2021-no-happyo-10-oku-kibo-no-sai-kinbo-tansaku-charenji-125917963128681

32 Confidential © TDAI Lab All right reserved. 前半部分のまとめ現在のAI研究の潮流1から考えるトレンド
【問題点1】学習に⼤量の教師データや計算資源が必要 → アーキテクチャ⾃体の改善(トレンド1) → Retrieval Augmentation(トレンド4) 【問題点2】学習範囲外の状況に弱く、実世界状況への臨機応変な対応ができない → Multi Modal Model(トレンド2) → Temporal Adaptation(トレンド3) → Retrieval Augmentation(トレンド4) 【問題点3】パターン処理は強いが、意味理解・説明等の⾼次処理はできていない → Multi Modal Model(トレンド2) まだ発展途中だが着実に進歩している印象

現在のAI研究開発の⼤きな潮流1 • これからのAI研究のトレンド1 • 現在のAI研究開発の⼤きな潮流2 • これからのAI研究のトレンド2 ◦ トレンド5: ベンチマークの⾒直し ◦ トレンド6: データセットの⾒直し ◦ トレンド7: Human-Centered AI, MLOps

35 Confidential © TDAI Lab All right reserved. 【潮流2】今のAI研究者は何を⽬指して研究している︖ 【問題点1】AIのブラックボックス問題（説明責任）
【問題点2】AIのバイアス問題（公平性）【問題点3】AIの脆弱性問題（堅牢性）【問題点4】AIの品質保証問題（透明性）【問題点5】AIによるフェイク問題社会応⽤を進める上での信頼されるAIの構築

36 Confidential © TDAI Lab All right reserved. 【潮流2】今のAI研究者は何を⽬指して研究している︖ 【問題点1】AIのブラックボックス問題（説明責任）
【問題点2】AIのバイアス問題（公平性）【問題点3】AIの脆弱性問題（堅牢性）【問題点4】AIの品質保証問題（透明性）【問題点5】AIによるフェイク問題社会応⽤を進める上での信頼されるAIの構築

37 Confidential © TDAI Lab All right reserved. (再掲) 背景知識︓加速するモデルの巨⼤化
アメリカ • GPT-3(OpenAI):1750億 • Jurassic-1 (AI21):1780億 • Gopher(DeepMind):2800億 • Megatron-Turing(Microsoft・ NVIDIA):5300億 • GLaM(Google):1.2兆 • Switch -Transformers: 1.6兆中国 • PanGu(Huawei):2000億 • Yuan 1.0(Inspur):2450億 • PCL-BAIDU Wenxin(Peng Chang Laboratory):2800億 • Wu Dao 2.0(北京智源⼈⼯知能研究院):1.75兆韓国 • HyperCLOVA(NAVER):2040億 GLaM (1200billion) ・ Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the Worldʼs Largest and Most Powerful Generative Language Model に登壇者が追記

38 Confidential © TDAI Lab All right reserved. トレンド5. ベンチマークの⾒直し
• 2021年は多数のベンチマークの記録をまとめて⼤幅に更新する⾔語モデルは登場しなかった • モデルの進歩が⽌まったのではなく、既存のデータセットではモデルの評価が追いついていない可能性 • 2021年はどうモデルを評価すればいいのかについて議論が深まった年 • 機械翻訳分野におけるメタ評価によると、過去10年間に発表された769本ののうち、74.3%がBLEUのみを使⽤ Dynabench: Rethinking Benchmarking in NLP [Kiela et al. 2021 ACL] Human Performance Scientific Credibility of Machine Translation Research: A Meta- Evaluation of 769 Papers[Marie et al. 2021 ACL]

• MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers[Pillutla Neurips 2021] • Outstanding Paper6本のうちの⼀つ • KL距離に基づいてテキスト分布間のギャップを計算する新しい指標MAUVEを提案 • MAUVEは⼈間による評価との相関が⾼い

既存は転移学習の種類が少ない既存は現実世界のデータセットでの検証が不⾜既存は簡易的な報告 • FLEX: Unifying Evaluation for Few-Shot NLP [Bragg NeurIPS 2021] • Few-shot学習に関する評価⽤のベンチマーク/ツールを開発 • ベースラインなどと共にOSSで公開

41 Confidential © TDAI Lab All right reserved. トレンド6. データセットの⾒直し
• アルゴリズムを改善するだけではより優れたモデルを作ることができない問題 • NeurIPS 2021では、Datasets and Benchmarksという新しいトラックを導⼊ • Andrew Ng⽒が提案したData Centric AIのコンテストが象徴的 • モデルではなくデータをチューニングすることで精度を競う https://www.deeplearning.ai/wp-content/uploads/2021/06/MLOps- From-Model-centric-to-Data-centric-AI.pdf

• Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research [NeurIPS 2021 Outstanding Paper] • Machine Learning Research(MLR)で⽤いられるデータセットが徐々に極化している • 12の機関によるデータセットで全体の50%を占める

• モデルの良さを図る⽅法は研究されているが、データの良さを定量的に図る⽅法については未開拓 • 個⼈的今後の予測 ◦ ⾷品表⽰にようなデータの成分表⽰に関するラベルが作られる研究が出てくると予測 ◦ どのような栄養を持っていて、どのような害があるのかなど定量的に表現

TDAI Lab All right reserved. 45 【問題点1】AIのブラックボックス問題（説明責任） • Neural Additive Models: Interpretable Machine Learning with Neural Nets [Agarwal et al. NeurIPS 2021] • 共著にHiton先⽣ • 線形にDNNを組み合わすことで解釈性を⾼めた研究

50 Confidential © TDAI Lab All right reserved. 【問題点3】AIの脆弱性問題（堅牢性） •
Unadversarial Examples: Designing Objects for Robust Vision(NeurIPS 2021) • 外乱に対して強いスキンをAdversarial Attackと逆の要領で⽣成 • 今後社会応⽤が進む際、⾞などにスキンとして導⼊される可能性も • https://www.youtube.com/watch?v=saF-_SKGlKY

51 Confidential © TDAI Lab All right reserved. ここまでのまとめ •
2021年は着実な進歩を遂げた年であった ◦ トレンド1. アーキテクチャの改善 ◦ トレンド2. マルチモーダルな巨⼤事前学習モデル ◦ トレンド3. Temporal Adaption ◦ トレンド4. Retrieval Augmented • ⼀⽅で”信頼できるAI”を作るためにも以下が特に顕著 ◦ トレンド5. ベンチマークの⾒直し ◦ トレンド6. データセットの⾒直し

52 Confidential © TDAI Lab All right reserved. 質問︓信頼されるAIさえ出来れば問題ないのか︖ AIにこれら信頼性を持たすだけでは「課題解決」には不⼗分
1. ⼈とAIのインタラクションをデザインすることの重要性 2. 課題解決策にAIを⽤いることの悪い側⾯をケーススタディを通じて知る重要性 (信頼性を持った) AIを使いこなす上で⼆つの重要な視点

AIとは︖ • NeurIPS2021ではHCAIに関するWorkshopも開催 • NeurIPSでHCAIに関するWorkshopが開かれたのは初めて

AIにおける⼆次元的捉え⽅ • HCAIでは、⼈間のコントロール度と機械の⾃動化を別の軸として扱う • 右上にあるようなシステムを作ることを提唱 https://iui.acm.org/2021/images/HCAI-IUI-Part%201-Shneiderman-4-13-2021- v2.pdf

61 Confidential © TDAI Lab All right reserved. Guidelines for
Human-AI Interaction • 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか︖ • Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン • 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 • AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富

Human-AI Interaction

Human-AI Interaction • 国・国際レベルでのAI社会原則を満たすサービスを作っていくにはどうしたらいいか • Microsoftが作成したAIと⼈間が相互作⽤するAIシステムをデザインするための18個のガイドライン • 「利⽤初期」,「インタラクション中」,「AIが間違えた時」,「利⽤の経過につれて」の4つの段階 • AI研究者・エンジニア的な⽬線だけでは不⼗分な、UI・UX設計の観点からの指摘も豊富

すぐにAIの出⼒を無視できる仕組み例） • 不快なコンテンツが表⽰・レコメンドされた際、それをすぐに消せるようにする。 • アプリのトラッキング機能をオフにしにくいのは良くない

すぐに間違いを直させることのできる仕組み例） • 不快なコンテンツが表⽰・レコメンドされた際報告し、修正できる • ⾳声アシスタントが書き起こした指⽰をユーザーが確認・修正できる⾳声アシスタント⽤のユーザーインターフェースを提供する。

不確実性を考慮し、挙動に制約を例） • スパム判定を⾏う際、判断できる情報が明らかに⾜りないのに勝⼿に判断してしまうのは良くない • ⽂章の⾃動補完の場合、複数候補を出すなど • ⾳声認識でノイズが酷い場合、聞き直すなど

なぜそのように挙動したのかを説明 • レコメンドエンジンに「推奨理由」ボタンを設け、クリックするとシステムがその特定の製品を推奨した理由を説明 • 推薦の根拠となるパラメータを表⽰。例えば、⾳楽推薦では、似た曲や同じアーティストなど

70 Confidential © TDAI Lab All right reserved. 本講演まとめ 70
• 2021年は着実な進歩を遂げた年であった ◦ トレンド1. アーキテクチャの改善 ◦ トレンド2. マルチモーダルな巨⼤事前学習モデル ◦ トレンド3. Temporal Adaption ◦ トレンド4. Retrieval Augmented • ⼀⽅で”信頼できるAI”を作るためにも以下が特に顕著 ◦ トレンド5. ベンチマークの⾒直し ◦ トレンド6. データセットの⾒直し • しかし信頼できるAIを作った上でもそれらをどう育てていくかという点についてMLOps・Human-Centered AIの観点をAIシステム構築者・利⽤者は持たなければならない https://www.nytimes.com/2020/05/21/technol ogy/ben-shneiderman-automation-humans.html

72 Confidential © TDAI Lab All right reserved. 72 Company
Mission 大量のデータと最新のアルゴリズムの掛け合わせにより《今まで人間には分からなかったこと、データに眠る隠れた価値の発見》を行う Vision “Augment Intelligence”（拡張知能） : The combination of HumanExpertise & MachineLearning that goes far beyond just individuals & AI Empower Your Mind using Artificial Intelligence

日本ディープラーニング協会主催 NeurIPS 2021 技術報告会講演資料

日本ディープラーニング協会主催 NeurIPS 2021 技術報告会講演資料

More Decks by 株式会社TDAI Lab

Other Decks in Research

Featured

Transcript