Upgrade to Pro — share decks privately, control downloads, hide ads and more …

自然言語生成系AIの系譜

 自然言語生成系AIの系譜

丸山不二夫先生の「意味の分散理論の系譜」のとても短い解説

Shigeichiro Yamasaki

May 17, 2023
Tweet

Other Decks in Research

Transcript

  1. ⾃⼰紹介 最近の主な著書 ブロックチェーンの解説 2016年 岡⽥仁志、⾼橋郁夫、⼭崎重⼀郎 2015年 ブロックチェーン技術の 仕組みと可能性 2016,2017年 ⽇経FinTech

    2016-2023 (⽇経BP) ブロックチェーン技術 など ブロックチェーンプログラミング ⼭崎重⼀郎、安⼟茂亨、⽥中俊太郎 2017年 記事︓仮想通貨とブロックチェーン ⼭崎重⼀郎 2018年 ⼭崎重⼀郎、安⼟茂亨、⾦⼦雄介、⻑⽥繁幸 2021年 ケビン・ワーバック (著) ⼭崎 重⼀郎 (監修) 2021年 記事︓NFT ⼭崎重⼀郎 2022年4⽉ 記事︓暗号通貨の技術と課題 ⼭崎重⼀郎 2023年2⽉ ケビン・ワーバック (著) ⼭崎 重⼀郎 (監修) 2022年
  2. 話の流れとキーワード Word2Vec (次元の呪いと語のベクトル表現) Sementic Hash (意味ベクトルによる⽣成型AI) Seq2Seq (RNNの⽂法学習能⼒を利⽤したテキストの⽣成) Attention Mechanism

    (RNNの限界と意味の共通表現) Transformer (⾔語の意味の構成) BERT/GPT (⽂脈や推論を含む⾔語理解) DisCoCat (⾔語学の再登場と意味構造の数学形式の理論と量⼦⾃然⾔語処理) これから
  3. 単語を特徴ベクトルに変換する⽅法の例 基底ベクトル {w1 ,w2 ,...,wn } (context word) l ある固定したコーパス内の単語を基底として選んでよい

    𝒔𝒘𝒆𝒆𝒕 = 𝟏 𝟎 𝟎 𝒈𝒓𝒆𝒆𝒏 = 𝟎 𝟏 𝟎 𝒇𝒖𝒓𝒓𝒚 = 𝟎 𝟎 𝟏 そのコーパス内の単語 w のベクトル表現 l ci をコーパス内で w と wi の⽂の中の共起回数 𝒘 = # 𝒊"𝟏 𝒏 𝒄𝒊 𝒘𝒊 𝒃𝒂𝒏𝒂𝒏𝒂 = 𝟐𝟏 𝟗 𝟎 𝒑𝒖𝒑𝒑𝒚 = 𝟖 𝟏 𝟑𝟐 𝒇𝒓𝒖𝒊𝒕 = 𝟒𝟑 𝟏𝟗 𝟎
  4. Mikolov の Word2Vec による発⾒ 単語の意味を変換するベクトルは共通になる︖ l ベクトルの加法演算も可能 king + (woman

    – man ) = queen l 意味の近さを内積で表現できる 類似度(v,w) =|v||w|cosθ man woman O king queen man woman O king queen (woman – man) (woman – man)
  5. Autoencoder による次元削減 (Hinton 2006年) 画像ベクトルの深層学習による次元削減 l 2000ピクセル → 30ピクセル →

    2000ピクセル ⼊⼒層 出⼒層 低次元表現 ⼊⼒画像と 出⼒画像が 同じになるように 学習させる Encorder Decorder Geoffrey Hinton
  6. Seq2Seq (sequence to sequence) ⽂の意味ベクトルの発⾒ (Sutskever 2014年) l 2つのsequenceが同じ意味を持つ =

    semantic hash を共有する l RNN を使って同じ意味を持つ sequence (翻訳⽂)を⽣成できる Encoder (RNNで学習) Decoder (RNNで学習) 単語ベクトル列 英語 Ilya Sutskever Geoffrey Hintonの弟⼦ AlexNetの Alex Krizhevsky の指導役 OpenAI chatGPT作成者 エンコーダの最終出⼒ (Semantic Hash) ドイツ語 単語ベクトル列
  7. Attention Mechanism (Bahdanau 2015年) Attention (エンコーダ,デコーダとは独⽴した領域に情報を蓄積) l 状態空間のDB的データプール(確率密度⾏列) クエリ →

    (キー,値)の関係の記録 ⼊⼒の単語の重要度に応じた重み付け(attention)をする Dzmitry Bahdanau yt : t 番⽬の出⼒単語ベクトル Yoshua Bengioの弟⼦ OpenAI chatGPT作成者 xi : i 番⽬の⼊⼒単語ベクトル hi : i 番⽬の⼊⼒単語に対応する双⽅向RNNの隠れ層 st : t 番⽬の出⼒単語ベクトルに対応するRNNの隠れ層 Attention Mechanism αt, i : t 番⽬の出⼒単語ベクトルに対する i 番⽬の⼊⼒単語ベクトルの関連確率
  8. ゼロショット翻訳 (2016年) Googleニューラル多⾔語機械翻訳 l Attention mechanism を使うと訓練をしていない⾔語間でも良質な翻訳ができる インターリンガ l Attention

    mechanism は⾔語に依存しない「意味の共通表現」の学習ではないか︖ ポルトガル語 英語 英語 スペイン語 訓練 訓練 訓練していないのに 良質な翻訳ができた
  9. Transformer (2017年) ⾃然⾔語処理の⼤きなブレークスルー l GPT-n, BERT, T5 などのTは Transformer のT

    "Attention Is All You Need" l Attention があれば RNNもCNNもいらない︖ RNNは並列処理ができないので Attention で効率的に並列処理する 意味の数学的構造 (DisCoCat ?) ほとんど全員がもう今はGoogleにいない Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, Illia Polosukhin RNNは⾃動的に⽂法を学習してしまう(我々の外国語の学習のように) ⺟国語の学習は構造化されていないコーパスから直接意味の構造を学習する︖ Tai-Danae Bradley
  10. Transformerのアーキテクチャ Attention mechanism 中⼼の深層学習モデル l Encoder – Decorder をパイプラインにして多段に利⽤ l

    Attentionが3箇所もある Attention Attention Attention Decorder Encorder endorder endorder endorder dedorder endorder endorder dedorder dedorder dedorder dedorder dedorder endorder ⼊⼒ 出⼒ 出⼒のコンテクスト
  11. BERT (2018年) Transformer (⽂の意味の構成) から⽂脈や推論を含む⾔語理解へ l 質問の内容を⽂脈的に理解する ⾔語処理モデル(⾃然⾔語処理のタスクを⾏うAI) l Transformer

    のエンコーダに学習によって⾔語処理モデルを構築 l Pre-Training(事前学習) Masked Language Model (ラベル無し学習,⽂の中にに意図的にマスクトークンを含める) Next Sentence Prediction(次の⽂予想) IsNext(次の⽂)/ notNext(次の⽂ではない) l Fine-Tuning (応答,常識,感情などの適正化) GLUE (⾃然⾔語の意味理解のベンチマークデータ) SQuAD (QAのベンチマークデータ) SWAG (常識的推論のベンチマークデータ) Jacob Devlin
  12. GPT-2 (2019年) Generative Pre-trained Transformer l タスクに応じたテキスト⽣成 Zero-Shot (教師なし学習で,タスクに対応したテキストを⽣成) ⾃⼰回帰型⾔語モデル

    (それまでの単語から次の単語の出現確率を定義) ⼤規模データセットの利⽤ 「⾔語処理モデル」の精度のスケール則 l パラメータ数が⼤きくなると,タスク応答の誤差はべき乗測で減少する GPT-2 (15億) 2019年 GPT-3 (1750億) 2020年 GPT-3.5 (3550億) 2022年 GPT-4 (兆︖) 2023年3⽉ 論⽂⾮公開 GPT-4
  13. GPT-4 Technical Report (2023年3⽉27⽇) 無署名の論⽂ (本⽂ 12ページ,付属資料 80ページ) GPT-4 はどうすれば安全になるか

    l 危険な質問「殺⼈幇助,危険技術,マネロン,テロ,...」などへの回答の抑制 初期のGPT-4 は素直に回答していたが,すでに変わっている super-EGO (超⾃我)の実装(GPT-4 APIによるパイプライン) OpenAI レッド・チーム 専⾨家チームによる敵対的テスト(様々な視点からの悪⽤プロンプトの発⾒) l ハルシネーション(幻覚)問題(嘘を⽣成してしまう) 現在の⼤規模⾔語モデルの本質的問題 LLMはまだ本当の意味での⼈間のような知能を持っていない(現在の過⼤評価状態が危険) ⼈造⼈間キカイダー Gemini回路(良⼼回路) ⽯ノ森章太郎,東映 GPT-4 GPT-4 RBRM (良⼼回路)
  14. ⼈間の⾔語能⼒の秘密に接近する学問 = ⾔語学 チョムスキーの 普遍⽂法仮説 l ⼈間には⽣得的な⾔語能⼒があるという仮説 l ⽣成変形⽂法 →

    理論がどんどん変遷していった Lambek のカテゴリアル⽂法 l Pregroup Grammar (1998年) l 品詞を型として解釈 s: ⽂の型 n: 名詞の型 ← この2つの型だけですべての品詞を定義 意味論 l 論理学(アリストテレス以来の伝統)計算論 l モンタギュー意味論など Noam Chomsky Joachim Lambek
  15. String Diagramによる意味の表現(量⼦⾃然⾔語処理) f : 単語の意味ベクトルを⽂の意味ベクトルに変換する関数 Jhon does not like Mary

    Bob Coecke,Mehrnoosh Sadrzadeh,Stephen Clark. MathematicalFoundationsfora CompositionalDistributionalModelofMeaning 意味はエンタングル(量⼦もつれ)する QNLP ダイアグラム化した Semantic Hash (構成的表現)
  16. これからやってみたいこと(妄想) 意味のトークン化 l ⾃分の作品の semantic hash (= Self-Attention) をNFT化 類似度をsemantic

    hash 間の距離として判定,2次創作から意味的距離に基づいて著作権料を徴収 エンドユーザ・プログラミングによるサービスとフレームワーク l ⼀般⼈が,複雑なスマートコントラクトをコード化できる 様々な状況下での複雑な契約条件を,⼀般⼈が正確に確認する → コード化できる l ⼀般⼈が,複雑なスマートコントラクトのテストを実施できる テストコードの⾃動⽣成 テストデータの⾃動⽣成 意味的 hash