Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ChatGPTを聞き手にしよう
Search
Tajima Itsuro
May 25, 2023
Technology
0
1.2k
ChatGPTを聞き手にしよう
At ChatGPT Meetup Tokyo #2
Tajima Itsuro
May 25, 2023
Tweet
Share
More Decks by Tajima Itsuro
See All by Tajima Itsuro
小説執筆における生成AIの利用
niryuu
0
340
研究・執筆支援ツールとしての生成AI
niryuu
0
300
大規模言語モデルに基づいた対話型AIによる研究支援に関する初歩的分析
niryuu
1
550
プログラミング活動の中の情報源としてのStack Overflow
niryuu
0
170
Stack Overflowにおける編集活動:知識の公開という観点から
niryuu
0
220
Stack Overflow研究の諸側面とワークの研究によるアプローチ
niryuu
0
120
AR勉強会5章
niryuu
0
910
Stack Overflowにおける「知識の総和の増加」への志向と達成
niryuu
0
240
小回りの効く WebViewの使い方
niryuu
2
1.8k
Other Decks in Technology
See All in Technology
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
プレーリーカードを活用しよう❗❗デジタル名刺交換からはじまるイベント会場交流のススメ
tsukaman
0
170
AWSでAgentic AIを開発するための前提知識の整理
nasuvitz
2
170
AWS Control Tower に学ぶ! IAM Identity Center 権限設計の第一歩 / IAM Identity Center with Control Tower
y___u
0
170
LLMアプリの地上戦開発計画と運用実践 / 2025.10.15 GPU UNITE 2025
smiyawaki0820
1
580
20251014_Pythonを実務で徹底的に使いこなした話
ippei0923
0
200
「改善」ってこれでいいんだっけ?
ukigmo_hiro
0
160
All About Sansan – for New Global Engineers
sansan33
PRO
1
1.2k
プロダクトのコードから見るGoによるデザインパターンの実践 #go_night_talk
bengo4com
1
2.6k
Performance Insights 廃止から Database Insights 利用へ/transition-from-performance-insights-to-database-insights
emiki
0
280
大規模サーバーレスAPIの堅牢性・信頼性設計 〜AWSのベストプラクティスから始まる現実的制約との向き合い方〜
maimyyym
10
4.9k
ニッポンの人に知ってもらいたいGISスポット
sakaik
0
150
Featured
See All Featured
Build your cross-platform service in a week with App Engine
jlugia
232
18k
Faster Mobile Websites
deanohume
310
31k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Visualization
eitanlees
149
16k
Docker and Python
trallard
46
3.6k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Balancing Empowerment & Direction
lara
4
690
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Scaling GitHub
holman
463
140k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.6k
Done Done
chrislema
185
16k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.5k
Transcript
ChatGPTを聞き手にしよう Itsuro Tajima <
[email protected]
>
自己紹介 • 38歳(5/25生まれ) • 仕事:地理空間情報の研究開発(Georepublic Japan) • 博士取りたい、知識マネジメントに関するコンピュータ支援共 同作業研究(Stack Overflowなどの社会学的分析)
• 3/28 情報処理学会ドキュメントコミュニケーション研究会「大 規模言語モデルに基づいた対話型AIによる研究支援に関す る初歩的分析」発表。論文化予定 ◦ Bing Chatが生成した質問の分析。本発表の元ネタ
私とAI • いろいろあって自然言語処理を学んだ • deeplearning.ai Natural Language Processing Specialization ◦
ロジスティック回帰分析からTransformerまで ◦ 難しいアルゴリズムは難しい ◦ GPT-4のトークン計算量周りに携わったŁukasz Kaiserな どが講師 • 一応中身は多少わかっているはず
AIに何をやらせたかったか • 生成AI→LLMに何かを書かせる、させる • 逆で、聞き手になって自分が書いたものや考えていることに ツッコミを入れてほしい ◦ 人と専門的なことを話すのはハードルが高い ◦ 助けて
• 書いた文章に質問をしてほしい ◦ 質問生成タスク:質問回答タスクよりはるかに難しい ◦ 特に学問だと答えがない質問なので難しい ◦ BERTあたりで作るか…
AIに質問をしてほしい • ちょうどその頃(2/16)… • Bing Chatのインビテーションが来た ◦ (備考:当時はGPT-4だと知らなかった) • 次にする質問をサジェスト→質問できるのでは?
AIは質問をできる • やってみた→あっさり質問してくれた • 「以下の文章に専門的で建設的で創造的な質問をしてくださ い。」 • 論文のアブストラクトっぽいものを入力(トークン制限)
AIは質問をできる • やってみた→あっさり質問してくれた • 鋭い。答えていると疲れる。頭を使わせる
AIは質問をできる • ChatGPT(GPT-4)でもやった→論文が1つ書けるくらいの質問 をしたあとネタ切れ • ChatGPT(GPT-3.5)ではすぐネタ切れ • 対話型AI自体が創造的な質問をすることはない(調査中) ◦ 学習データ以上には行かない
• できること(学術研究) ◦ 内容面の指摘(方法、根拠、今後の展望など) ◦ 文章構成の指摘(論文の書き方) ◦ 1つの話題の深掘り
この手法の良い点、悪い点 • 自分で書いたことをベースに質問してくれるので、 Hallucinationが起きにくい • 一方、間違いを指摘もしない。正しさはあくまで人間が検証す る必要 • ちゃんと書かないとだめ
応用できるのでは • ソフトウェア開発上で起こる面倒くさいことなどについて、考えを文 章化してフィードバックを試行中 • 他にもいろいろ、考えることや書くことを聞き手になって支援できる のでは • プロンプトに関しては色々実験中 ◦
「質問」ではなく「アドバイス」「指摘」など ◦ 点数を付けてもらったり ◦ few-shotもいいかもしれない • 一般的なフィードバックが多いが、それをくれるのは重要