Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIの仕組みを知る: 言語処理モデル・生成モデルとその可能性
Search
Preferred Networks
PRO
July 03, 2023
Technology
7
3.3k
AIの仕組みを知る: 言語処理モデル・生成モデルとその可能性
2023年6月14日に
みんなのコード
が開催した「第2回情報教育の未来を考える”若手”勉強会」でPreferred Networksの西澤勇輝が講演に使用した資料です。
Preferred Networks
PRO
July 03, 2023
Tweet
Share
More Decks by Preferred Networks
See All by Preferred Networks
PFN Company Deck
pfn
PRO
0
1.4k
EDRからERM: PFN-SIRTが関わるセキュリティとリスクへの取り組み
pfn
PRO
1
250
GPU NW BoF / JANOG 55
pfn
PRO
1
95
深層学習と3Dキャプチャ・3Dモデル生成(土木学会応用力学委員会 応用数理・AIセミナー)
pfn
PRO
0
590
KubeCon NA 2024 Recap: Distributed Cache Empowers AI/ML Workloads on Kubernetes Cluster / Kubernetes Meetup Tokyo #68
pfn
PRO
1
83
PLaMo-100B-Instruct 国産大規模言語モデル構築における事後学習の取り組み
pfn
PRO
4
700
新卒エンジニアが DEEP DIVE するMN-Core™
pfn
PRO
0
160
LinuxとMN-Coreコンパイラランタイムにおけるプログラムの起動プロセスとその比較
pfn
PRO
2
790
KubeCon NA 2024 Recap: Managing and Distributing AI Models Using OCI Standards and Harbor / Kubernetes Meetup Tokyo #68
pfn
PRO
0
330
Other Decks in Technology
See All in Technology
Go製のマイグレーションツールの git-schemalex の紹介と運用方法
shinnosuke_kishida
1
370
AWS のポリシー言語 Cedar を活用した高速かつスケーラブルな認可技術の探求 #phperkaigi / PHPerKaigi 2025
ytaka23
7
1.5k
DevinはクラウドエンジニアAIになれるのか!? 実践的なガードレール設計/devin-can-become-a-cloud-engineer-ai-practical-guardrail-design
tomoki10
3
1.3k
Dapr For Java Developers SouJava 25
salaboy
1
130
SSH公開鍵認証による接続 / Connecting with SSH Public Key Authentication
kaityo256
PRO
2
210
caching_sha2_passwordのはなし
boro1234
0
210
Amazon Q Developer 他⽣成AIと⽐較してみた
takano0131
1
120
Explainable Software Engineering in the Public Sector
avandeursen
0
350
スケールアップ企業のQA組織のバリューを最大限に引き出すための取り組み
tarappo
4
880
技術好きなエンジニアが _リーダーへの進化_ によって得たものと失ったもの / The Gains and Losses of a Tech-Enthusiast Engineer’s “Evolution into Leadership”
kaminashi
0
200
パスキー導入の課題と ベストプラクティス、今後の展望
ritou
7
1.2k
パスキーでのログインを 実装してみよう!
hibiki_cube
0
590
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Optimising Largest Contentful Paint
csswizardry
35
3.2k
Code Review Best Practice
trishagee
67
18k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.8k
Thoughts on Productivity
jonyablonski
69
4.5k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
12
1.4k
Building Adaptive Systems
keathley
41
2.5k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.6k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
Transcript
AIの仕組みを知る: 言語処理モデル・生成モデルとその可能性 株式会社Preferred Networks 西澤 勇輝 2023/06/14 @第2回 情報教育の未来を考える”若手”勉強会
2 • 自己紹介 • 機械学習(深層学習)ってなに? • 生成モデルってなに? • 自然言語処理モデルの大雑把な仕組みと特性 •
教育現場での活用 • 今後どうなるのか 非専門家向けに「技術の特性を理解する」ことに焦点を当てて説明します。 2023年6月現在の情報であり、今後大きく変化することが考えられます。 今後AIがどうなっていくのかに関しては、個人的な意見になります。 本日の内容 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
3 西澤 勇輝 株式会社Preferred Networks (PFN) コンシューマプロダクト担当GM -2016 NHK学生ロボコン参加(2016年優勝) -2019
東京大学大学院 情報理工学系研究科卒業(修士) 2019- Preferred Networks入社 PFN教育チームにてエンジニア・マネージャを担当。 • 文科省「未来の学びプロジェクト(みらプロ)」で 機械学習をテーマにした教材開発 • プログラミング教材「Playgram」開発・ 「プログラミング教育HALLO」展開 • タイピング教材「Playgram Typing」開発 • 社会人向け教材「ジクタス」開発 • プログラミング要素を取り込んだゲーム「Omega Crafter」開発 自己紹介 https://typing.playgram.jp/ https://playgram.jp https://store.steampowered.com/app/2262080/Omega_Crafter/
4 ≒「特徴量」を人間が手動で設計するのではなく、 大量のデータの傾向から推定し、それに従って判定などを行う 何に使われている? • 入出力は画像だったり、文字だったり、色々なものがある • 作れるものの例 ◦ 数字認識器
◦ イラストの自動生成 ◦ 顔の判別器 ◦ 会話bot ◦ …などなど 機械学習ってなに?(ざっくり) 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
5 学習: たくさんの例題(データセット)から、類似の問題が解ける「モデ ル」を獲得すること 深層学習: 機械学習の中で、何層もの「ニューラルネット」を使うことで、 より複雑なタスクを行うことができる手法 • ニューラルネット: 人間の脳の神経(ニューロン)の構造に似ている、網のような構
造で、網のワイヤーそれぞれに「重み=学習で得られるパラメータ」がある • (パラメータが非常に多く自由度が高いので、可能性を秘める反面、学習が困難) ポイント: たくさんのデータを使って、 たくさんのパラメータ(数字)を調整することで、 精度の高い出力(画像、文章、etc…)が得られる(完璧とは限らない) 機械学習ってなに? 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
6 • 認識をするもの → 識別モデル ◦ 数字認識器、顔の判別器 • 生成をするもの →
生成モデル ◦ イラストの自動生成、会話bot ◦ 必ずしも答えが一意とは限らない 最近、「生成モデル」の発展がすごい • Stable Diffusion: 非常に高クオリティの画像を生成する ◦ https://huggingface.co/spaces/stabilityai/stable-diffusion • ChatGPT: 非常に自然な会話を行う ◦ https://chat.openai.com/ 生成モデルってなに? パッと見ただけでは、もはや本物と区別できない 誰でも手軽に試すことができる環境 https://ja.stability.ai/stable-diffusion https://chat.openai.com/
7 ChatGPT: https://chat.openai.com/ 米国OpenAI社が開発した、AIとテキストで会話することが可能なサービス。 • 2022年11月に公開され、自然な会話ができることで話題になった。 • 2023年3月にはGPT-4が公開され、メディアなどでも非常に多く取り上げ られるようになった。 •
Webを参照して回答する機能の追加など、現在も継続的に改良が行われてい る。 GPT = Generative Pre-Trained Transformer / 事前学習生成トランスフォーマ • Transformerというのは、自然言語処理(=人間の言葉の解析)を行う有名 なモデルで、これの基礎自体は2017年から存在する • GPTをチャットに特化させたものがChatGPT ChatGPT
8 大雑把に言うと、「ある文章の次にどんな文章が来るのか?」を予測し続け ることで、自然な文章を出力する(穴埋めが得意) 例: 「あけまして」の次にどんな言葉が来るか? GPTなどが自然言語処理を行う仕組み 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
9 大雑把に言うと、「ある文章の次にどんな文章が来るのか?」を予測し続け ることで、自然な文章を出力する(穴埋めが得意) 例: 「あけまして」の次にどんな言葉が来るか? → 「おめでとう」の確率が高い GPTなどが自然言語処理を行う仕組み 2023/06/14 第2回
情報教育の未来を考える”若手”勉強会
10 大雑把に言うと、「ある文章の次にどんな文章が来るのか?」を予測し続け ることで、自然な文章を出力する(穴埋めが得意) 例: 「あけまして」の次にどんな言葉が来るか? → 「おめでとう」の確率が高い 「あけましておめでとう」の次にどんな言葉が来るか? GPTなどが自然言語処理を行う仕組み 2023/06/14
第2回 情報教育の未来を考える”若手”勉強会
11 大雑把に言うと、「ある文章の次にどんな文章が来るのか?」を予測し続け ることで、自然な文章を出力する(穴埋めが得意) 例: 「あけまして」の次にどんな言葉が来るか? → 「おめでとう」の確率が高い 「あけましておめでとう」の次にどんな言葉が来るか? → 「ございます。」「!今年もよろしく!」の順で確率が高い、など
これを予測し続ける GPTなどが自然言語処理を行う仕組み 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
12 これを会話に拡張する これは、ある生徒と先生の会話です。 あなた: 「最近悩んでるんです。」 先生: 「 ↑次の文章を予測させる GPTなどが自然言語処理を行う仕組み ChatGPTに入力された指示
2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
13 これを会話に拡張する これは、ある生徒と先生の会話です。 あなた: 「最近悩んでるんです。」 先生: 「何を悩んでいるんですか?」←出力結果 GPTなどが自然言語処理を行う仕組み ChatGPTに入力された指示 ChatGPTの予測結果
2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
14 これを会話に拡張する これは、ある生徒と先生の会話です。 あなた: 「最近悩んでるんです。」 先生: 「何を悩んでいるんですか?」 あなた:「成績が伸びなくて…」←人間が続ける GPTなどが自然言語処理を行う仕組み ChatGPTに入力された指示
ChatGPTの予測結果 人間の入力 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
15 これを会話に拡張する これは、ある生徒と先生の会話です。 あなた: 「最近悩んでるんです。」 先生: 「何を悩んでいるんですか?」 あなた:「成績が伸びなくて…」 先生: 「
←ここまでの会話全体を入力し、さらに次を予測させる GPTなどが自然言語処理を行う仕組み ChatGPTに入力された指示 ChatGPTの予測結果 人間の入力 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
16 これを会話に拡張する これは、ある生徒と先生の会話です。 あなた: 「最近悩んでるんです。」 先生: 「何を悩んでいるんですか?」 あなた:「成績が伸びなくて…」 先生: 「何の科目の成績が伸びないのですか?」←出力結果
GPTなどが自然言語処理を行う仕組み ChatGPTに入力された指示 ChatGPTの予測結果 人間の入力 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
17 これを会話に拡張する これは、ある生徒と先生の会話です。 あなた: 「最近悩んでるんです。」 先生: 「何を悩んでいるんですか?」 あなた:「成績が伸びなくて…」 先生: 「何の科目の成績が伸びないのですか?」
… これを繰り返すことにより、AIとの会話が成立する (それっぽい会話が完成) GPTなどが自然言語処理を行う仕組み ChatGPTに入力された指示 ChatGPTの予測結果 人間の入力 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
18 つまりどういうことか? GPTなどが自然言語処理を行う仕組み 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
19 つまりどういうことか? ChatGPTは「それっぽい次の言葉」を出力しているだけ、と考えるべき GPTなどが自然言語処理を行う仕組み 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
20 世界のルールを理解しているように見えるが、そう見えるだけ • 「そう見える」だけでもできる仕事はたくさんあるので、有用性は高い ◦ 例: 文章を校正したり提案してもらう、表にしてもらう、etc. ◦ プログラミングせずとも、日本語でコンピュータに指示を出せる •
結果的に論理的な出力が得られることがある一方で、 その出力を完全に信頼してはいけない ◦ 例: 実在しない人間について語り始める • 指示の出し方によりある程度のコントロールはできるが、 絶対に正確な情報を出力させる方法は現状存在しない ChatGPTはそれっぽい「次」を出力しているだけ 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
21 OpenAIが教育者向けの記事を提供している https://platform.openai.com/docs/chatgpt-education 利用方法の例 • 授業の効率化・ブレストのための起案 • 盗作などの不正行為の検出 • AIとの付き合い方を学んでいく
リスクと対策 • 先生のいる環境で使うことを強く推奨している • 正確ではないこと、情報が古い可能性を認識する必要がある • 使い方によっては、有害なコンテンツを生成する場合がある • ChatGPTを利用して生成されたコンテンツには引用を入れる ChatGPTの教育現場での活用 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
22 スピードが速すぎて「わからない」 ただ、今まで懐疑的だった人も警鐘を鳴らしている 現段階ではできないことも多いが、 今後さらに発展していくことは確実 これからの教育で重要だと思うこと • まず触ってみて、それをどう使いこなすか自ら考えられること • きちんと技術の特性を理解すること
• これから必要なもの、これからも必要なものが何かを理解すること 今後AIはどう発展していくのか? https://wired.jp/article/geoffrey-hinton-ai-chatgpt-dangers/ https://jp.reuters.com/article/elon-musk-ai-idJPKBN2VV0CW 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
23 自然言語処理の発展によってこれから必要になるものの例 • コンピュータへの新たな指示の出し方 ◦ コンピュータへの指示はプログラミングだけではなく、人間の言葉でで きるようになるかもしれない ◦ 指示をどう解釈するかも、モデル次第で変わる可能性がある (プロンプトエンジニアリング)
• 新しい仕事のやり方 ◦ 人間よりもAIのほうが優れている仕事は存在するし、今後AIの能力も変 わっていく ◦ 技術を使いこなす方法を常に考え、試してみる ▪ 「ずる」をする生徒もいるかもしれないが、算数プリントを電卓で 解くのと同じで、利用者に倫理観が必要 これから必要なもの、これからも必要なもの 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
24 これからも必要なものの例 • 算数、理科、情報科学の基礎 ◦ 数学・物理法則など不変なもの ◦ インターネットの仕組みなども、そう簡単に変わるものではない ◦ アルゴリズムなどを理解していないと解けない問題は存在する
◦ プログラミングには人間の言葉のような曖昧さが無いので、 手順が決まっている場合には人間の言葉よりも優れている • 国語力・コミュニケーション能力 ◦ 指示が自然言語になるなら、より重要になるかもしれない • なにをAIに委ねられるか/委ねてよいかの判断 ◦ そのためには、人間側に技術の理解と適切な倫理観が必要 これから必要なもの、これからも必要なもの 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
25 • ChatGPTを含む新技術は特性を理解して使うことが重要 ◦ 正しく使えば、強力な武器になる ◦ 嘘や攻撃的な内容を含むことはある ▪ 教育利用では、セーフティーとなる先生を立てるのが望ましい •
今後AIが発達していくのは不可避であり、その前提に立つことが必要 ◦ これから必要なものを理解し、常に新しいものを使いこなす意欲を持つ ◦ これからも必要な知識をきちんと学ぶ • 人間側に適切な倫理観が必要 ◦ AIに完璧さを求めず、また悪用については人間側にも教育が必要 ◦ 素晴らしいツールだからこそ、使い手のモラルが問われる まとめ 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会
26 PFN Confidential Appendix
27 LLM(大規模言語モデル)のパラメータ数・コスト GPT-3: 1750億パラメータ https://arxiv.org/abs/2005.14165 Palm2(Googleの開発する大規模言語モデル): 3400億パラメータ https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html GPT-3の訓練にかかる費用は2020時点のスペックで推定460万ドル(6億円 超)。実際にはもっと試行錯誤が行われていると想定される
https://lambdalabs.com/blog/demystifying-gpt-3 2023/06/14 第2回 情報教育の未来を考える”若手”勉強会