Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ChatGPTがエンジニアに与える影響2 / how ChatGPT affect for engineers2
Search
Naoki Kishida
April 22, 2023
Programming
0
580
ChatGPTがエンジニアに与える影響2 / how ChatGPT affect for engineers2
4/22のプレゼンテーションの資料です
Naoki Kishida
April 22, 2023
Tweet
Share
More Decks by Naoki Kishida
See All by Naoki Kishida
プログラムに組み込みたい人向けLLMの概要 / LLM for programmers
kishida
2
200
Javaの現状2024夏 / Java current status 2024 summer
kishida
4
1.4k
Java 22 Overview
kishida
1
260
Is Object-Oriented nessesary?
kishida
0
67
オブジェクト指向は必要なのか / Is object-oriented needed?
kishida
33
23k
AI時代を乗り切る実装力をつけよう / Get avility of implementation beyond AI era
kishida
2
5.2k
AI時代を生き抜くために処理をちゃんと書けるようになろう / write a executable process for AI era
kishida
24
14k
Javaは今どうなっているの? / how about java now
kishida
14
19k
動くコードを書こう / let's code a process
kishida
25
7.4k
Other Decks in Programming
See All in Programming
DDDを志して3年経ったら「DDDの皮を被ったクリーンアーキテクチャ」になった話【デブサミ2024夏】
texmeijin
1
620
【Go言語】ジェネリクス
tomo1227
0
170
feature環境をGitHub ActionsとCloudFormationでいい感じに管理する
nealle
2
310
コード生成を伴うLLMエージェント - 2024.07.18 Tokyo AI
smiyawaki0820
11
4.1k
はしめてのプログラミングとロボット制御
watawatavoltage
0
290
DMMプラットフォームにおけるTiDBの導入から運用まで
pospome
7
3k
From Spring Boot 2 to Spring Boot 3 with Java 22 and Jakarta EE
ivargrimstad
0
1.9k
社内 LT 会を発足し、アウトプット文化を醸成させるために考えたこと・やったこと / Starting internal LT meetings and fostering an output culture
mackey0225
3
120
みんなのオブザーバビリティプラットフォームを作ってるんだがパフォーマンスがやばい #mackerelio #srenext
ne_sachirou
0
370
最古の関数型言語「Lisp」ことはじめ / lisp_in_kamiyama
uhooi
1
190
CSC307 Lecture 09
javiergs
PRO
1
500
How to use Macrobenchmark
veronikapj
0
160
Featured
See All Featured
The Cult of Friendly URLs
andyhume
75
5.9k
How GitHub Uses GitHub to Build GitHub
holman
471
290k
Git: the NoSQL Database
bkeepers
PRO
423
64k
A Modern Web Designer's Workflow
chriscoyier
689
190k
What's new in Ruby 2.0
geeforr
338
31k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.9k
A Philosophy of Restraint
colly
200
16k
A Tale of Four Properties
chriscoyier
155
22k
10 Git Anti Patterns You Should be Aware of
lemiorhan
652
58k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
Learning to Love Humans: Emotional Interface Design
aarron
269
39k
Rails Girls Zürich Keynote
gr2m
93
13k
Transcript
04/22/2023 1 ChatGPTが エンジニアに与える影響 LINE Fukuoka きしだ なおき 2023/4/22 ITエンジニアのためのライトニングトーク
04/22/2023 2 ChatGPTとは • OpenAIが開発したチャットAI • GPT4、GPT3.5ベース • 2021年9月までのほぼすべてのWebテキストで学習 •
GPT4はかなり性能が高い • 入力の続きの単語を生成 • 繰り返すことで返答の文章を生成する ※ generated by Stable Diffusion
GPT • GPT = Generative Pre-trained Transformer • Transformerが大切 •
Transformer • アテンションに基づくエンコーダー&デコー ダー • 「アテンション」は文章のどこに注目するかを 決める仕組み
Java song!
微調整(Fine Tune)
ツールの使い方
コード生成
Webアクセスするコード
Javaに変換
コードの修正
コードの実行
実際の実行結果
OpenAI API • ChatGPTの機能をプログラムから利用可能 • Chat API • テキストに対してテキストを返す •
Embedding API • テキストの特徴をあらわす1500次元のベクトルを得る
例 1. ブログのエントリをEmbeddingでベクトルをとって保存 2. 質問からベクトルを得て近いベクトルのエントリを検索 3. 得られたエントリから質問の回答を生成
ChatGPTを信じてはいけない • 「もっともありそうな続き」を生成しているだけ • それでコードが生成できていることは驚きだけど、論理的に考えている わけではない • ChatGPTはそれが正しいかどうか気にしていない • 流れるようにウソをつく
もっと賢くなるんでは? • 学習データの限界 • いまのAIは学習データの量で性能の上限がきまる • ほぼすべてのWebテキストを使っているので、これ以上の学習データ がない • 計算機の限界
• GPT4を学習させた計算機クラスタより大きいものを作るのは困難 • いまでも運用に1億円/日かかっている • ウソが混ざりがちという性質は変わらない
まとめ • アイデアを得るのに強力なツールになる • とりかかりになるコードの生成に強い • GitHubのCode Copilotを使うと定型コードに時間をとられなくな る •
VS CodeにGPTを組み込む • 2つの条件が組み合わさると難しくなる • 実際のコードは複数の条件を満たすので人間が書く必要がある • セキュリティなどコンテキストをもった正しいコードは人間が注 意して確認する必要がある