人間知能を目指す第4世代AIとは

生成AIと大規模言語モデルの発展について簡単にまとめました。
AIは人間知能を目指している・・・というちょっとドキドキするタイトルですが、最近のAI潮流の振り返り程度です。

Transcript

1. 人間知能を目指す第4世代AIとは 為安圭介
2. NECソリューションイノベータにて、ITサービスによる価値創造を軸に事業と組織のマネジメ ントを担う。 入社後は東京で官公庁向けのセキュリティシステムの構築を行い、その後札幌へ。大企業向けの システム開発のプロジェクトマネジメントをメインとし、＋αでXR、AI等のデジタル技術を活用 したサービス開発に携わるなど、両利きの経営を意識した活動を実施し、事業を拡大してきた。 現在は組織長として経営に携わる。活動拠点は北海道。 2018年より、G検定の取得をきっかけに、参加者5万人を超えるAIコミュニティ「CDLE」の運 営を開始。コミュニティの初期設計やイベント企画を手掛け、CDLE DAYやAI EXPO等に登壇。 コミュニティ規模拡大に伴い、運営強化のためのCDLE2.0プロジェクトを立ち上げ。コミュニ ティファウンダーの１人として活動を続ける。また、社内では組織力強化と事業成長を目指すコ ミュニティ「SHiFT」を仲間と共に発足。経営力向上に取り組んでいる。 最近は自宅を改装し、ゲストを招いてコーヒーとお喋りを楽しむだけのクローズドコミュニティ 「ALLEGUBATO CAFE」を開設。仲間が集い、共に成長し、楽しめる環境づくりが好き。 た め や す け い す け 為安 圭介 趣味・好きなもの いま取り組んでいること 参加コミュニティ ・良さげなカフェ巡り ・良さげな環境づくり ・十二国記 ・なかねかな ・サカナクション ・VTuber ・自組織での理念の実現 楽× 技× 価× 益 = 生きがい ・両利きの経営 ・スキルアップの文化づくり ・札幌の新コミュニティ設立 https://note.com/allegrubato/ https://www.linkedin.com/in/kei suke-tameyasu-4b0a62145/ https://twitter.com/miitame
3. AI技術に関わるこれまでの発展 人工知能研究の新潮流２（CRDS）より 2024年現在、AIの潮流は第４ 世代AIと信頼されるAIの２つの 流れへ。 この過程に「基盤モデル・生成 AI」が存在する。
4. 識別モデルと生成モデル 対話型生成AI（Generative AI）は、自然言語による指示文（プロ ンプト）を用いていることが大きな特徴。どのようなものを生成した いかについて、自然言語で指示や条件を与えることができる。 機械学習 識別モデル 生成モデル 2014年にGAN（Generative Adversarial Networks：敵対的 生成ネットワーク）が発表され、深層学習ベースの生成モデルが高い 精度・品質を示すようになり、画像の生成・変換などの応用を中心に 生成モデルの実用化が広がった。 データの属するクラスを同定する（そのデータがどのように生成され たかは考えない） 対話型生成AI
5. 対話型生成AIの仕組み Training 基盤モデル プロンプト 応答 対話型生成AI 対話型生成AIの原理と基盤モデル 対話型生成AIは、与えられた入力の続きを確率モデルに基づいて予測することで、応答を生成して いる。現在の確率モデル（基盤モデル）の主流はトランスフォーマー。 コンテキスト情報を参照しつつ、アテンション機構によって、予測のために注目すべき箇所を適切に 選択できるようになり、予測精度が大幅に向上した。
6. トランスフォーマーとは 文章について、どの部分に注目すれば意味が理解しやすいか？を採点 解析対象の文章 Attention Score 日本 の 首都 は 東京 です 0.21 0.01 0.31 0.01 0.45 0.01 Attention Scoreが高い＝文章の解釈において重要 Attentionネットワーク（単語とどこに注目すべきかのScoreで構成） Attention is All You Need.(2017 Google)
7. 基盤モデル（大規模言語モデル） トランスフォーマーの特徴・・・モデルを大規模化するほど精度が向上する 以前のモデルでは「モデルを大きくすると性能が頭打ちになる」「過学習が起きて未知のデータに対す る性能（汎化性能）が低下する」という問題があった。トランスフォーマーはその逆で、モデルが大きくな るほどに精度が向上する特徴が見られた。「Attention is All You Need.」の発表以降、モデルはど んどん大規模に。 基盤モデル名 開発組織 発表年 モデル規模 補足 BERT Google 2018 3.4億 トランスフォーマー、MLMを用いたLLM初期の代表的モデル GPT-2 OpenAI 2019 15億 自己回帰型トランスフォーマー GPT-3 OpenAI 2020 1750億 GPTを大幅に大規模化して性能向上、Few Shot学習を実現 T5 Google 2020 110億 テキストベースの多タスクに対応 HyperCLOVA LINE & NAVER 2021 820億 日本語LLM、最初のバーションは2020年発表 Chinchilla DeepMind 2022 700億 モデル規模拡大ではなく効率重視 PaLM Google 2022 5400億 Google作成 GLM 清華大学 2022 1300億 英語と中国語 GPT-4 OpenAI 2023 非公開 ChatGPTの最新版に搭載された PaLM2 Google 2023 非公開 対話型生成AIであるBardをはじめ25のGoogle製品に搭載 LLaMA Meta 2023 650億 研究向けに公開 StableLM Stability AI 2023 70億 オープンソースLLM DALL-E OpenAI 2021 120億 言語と画像を関係付けるモデルCLIPをベースとしている DALL-E2 OpenAI 2022 35億+15億 拡散モデルを利用 Imagen Google 2022 76億 拡散モデルを利用 Parti Google 2022 200億 自己回帰モデルを利用 代表モデルとパラメータ数 ・BERT（2018） 3.4億 ・GPT3(2020) 1,750億 ・Google PaLM（2022） 5,400億 ・GPT4(2023） 5,000億～1兆？ 人工知能研究の新潮流２（CRDS）より
8. 第4世代AI これまで言語処理とパターン処理を別々に扱ってきたAIから、これらを統合したアーキテクチャへ進化。（第4世代AI）。 データからボトムアップにルールやモデルを構築する帰納型の仕組みとトップダウンに知識やルールを与え、状況や文 脈（コンテキスト）に応じてそれらを組み合わせて解釈・推論するような演繹型の仕組みが融合。 これにより、教師データが大量になくとも演繹によって補うことでき、学習範囲外のケースに対しても演繹によって対 応可能になり、意味理解・説明も演繹面から強化される。 データからボトムアップにルールやモデルを構築 帰納 型 トップダウンに知識やルールを与え、状況や文脈 （コンテキスト）に応じてそれらを組み合わせて解 釈・推論 演繹 型 統合したアーキテクチャ （第4世代AI） これからのAIは帰納型と演繹型をこなす、人間の知能に近い形を目指す。
9. 補足
10. 「Attention is All You Need.(2017 Google)」 ①自己注意：文章中の単語のつながりを捉える 「日本の首都は東京です」の場合、「日本」ー「東京」や「首都」ー「東京」 の関係の強さは強い。この強さを重みとして数値付けする。 ②マルチヘッド自己注意：単語を様々な視点で捉える 「日本の首都は東京です」の場合、「日本」は国、東京は「都市」、関係性 は「所属」あるいは「分類」のように重みを多様な視点から解釈。 ③自己教師あり学習：教師データを自分で用意 インターネットなどから膨大なデータを使って教師データとして自己学 習に使う。 Attention is All You Need.(2017 Google)
11. LLMの推移 A Survey of Large Language Models (2023)より
12. 対話型生成AIの原理と基盤モデル 対話型生成AIは、与えられた入力の続きを確率モデルに基づいて予測することで、応答を生成している。確率モデ ルとしては、大量データからつながり関係を事前学習した深層ニューラルネット（Deep Neural Network）を用い ている。現在主流のトランスフォーマー型の深層ニューラルネットでは、幅広いコンテキスト情報を参照しつつ、アテ ンション機構によって、予測のために注目すべき箇所を適切に選択できるようになり、予測精度が大幅に向上した。 識別モデルの学習では教師あり学習（Supervised Learning）が主に用いられていたが、生成モデルの学習では 自己教師あり学習（Self-supervised Learning）が開発された。教師あり学習では、教師データとして入力と正 解出力のペアを大量に与えて、深層ニューラルネットのパラメーター（ニューロン間のリンクの重みなど）を決定する ため、人手による正解作成の負荷が大規模化（高精度化）のボトルネックになっていた。 しかし、自己教師あり学習では、その人手負荷がなくなり、超大規模学習が可能になった。例えば、自然言語の生成 モデルの学習に用いられるMLM（Masked Language Model）方式は、テキストの一部を隠して（マスクをかけ て）、隠された部分を推定する穴埋め問題型の自己教師あり学習法である。隠された部分の正解は分かっているの で、人手による正解ラベル付けをする必要がなく、教師あり学習と同等の学習を大量に実行することが可能になる。
13. 第4世代AI 人工知能研究の新潮流２（CRDS）より