Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
論文紹介:Language Model Inversion
Search
Toma Tanaka
December 18, 2023
Technology
360
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
論文紹介:Language Model Inversion
Toma Tanaka
December 18, 2023
Transcript
15 slides
田中 冬馬
株式会社ブレインパッド データサイエンティストとしてマーケティング分析,広告文の自動生成などの自然 言語処理の業務に従事 Autores 松尾研究室の研究の自動化プロジェクト その他の活動 LLM 関連で論文執筆 Inductive-bias Learning:
Generating Code Models with Large Language Model Data Science wiki データ分析手法,AI 関連の技術に関する民主化を目指しているサイトの作成 Qiita の執筆 LLM のプロンプト技術まとめ 自己紹介
LLM Input Output 論文紹介:Language Model Inversion 論文:https://arxiv.org/abs/2311.13647 LLM の出力から入力プロンプトを復元する技術 復元
LLM とは Large Language Model( 大規模言語モデル) のこと Transoformer というアーキテクチャが使われているディープラーニングのモデル であり,ChatGPT
のサービスで使われているGPT-4 やGPT-3.5-turbo などの総称
私 は AI で す LLM の入出力 LLM のベースは Transformer
decoder
私 は X1 x2 x3 p(x1 |私,は) = 猫 天才
だ で す AI し を ・ ・ ※厳密に条件付き確率を計算しているわけではなく 確率値を返すような関数を近似したものです の中身の合計は1 ( 確率なので) 0.001 0.0004 0.0...1 0.0...3 0.0...4 0.01 0.0...2 0.0...7 ・ ・ ← 最も高い はモデルが出力で きる全トークン数 のベクトル ※ トークン... 文章を分割する際の最小単位 (LLM を作成する際に決めている) ※GPT-4 は約50,000 のトークン数で表現 BPE という手法を使っている
私 は AI x2 x3 p(x2 |私,は,AI) = 猫 天才
だ で す AI し を ・ ・ 0.0...8 0.0...5 0.0001 0.003 0.0...4 0.0...1 0.0...2 0.0007 ・ ・ ← 最も高い
私 は AI で x3 p(x3 |私,は,AI ,で) = 猫
天才 だ で す AI し を ・ ・ 0.0...2 0.0...1 0.0...1 0.0...3 0.004 0.0...6 0.002 0.0..7 ・ ・ ← 最も高い
私 は AI で す LLM は確率分布を出力し 最も確率値が高い言葉( トークン) を選び続けて文章生成が行われる
→入力された文章の情報が確率分布に残されていれば復元できる ※ 温度パラメータが0 の場合 最も確率値が高いもの以外を選ぶ方法もある
機械学習を勉強するのが好き LLM 確率分布 です 機械学習を学ぶのが好き LLM 確率分布 です 検証 異なるか
文章の一部を類似している言葉に置き換えLLM に入力した時の確率分布を比較する
KL ダイバージェンス... 確率分布全体の形状はそこまで差がない 似ている文章を入力しているため当然 ハミング距離... 何単語後も正確に確率分布が一致しているわけではない 最初の入力の違いがずっと伝播している 確率分布のKL ダイバージェンスとハミング距離を比較 検証
確率値から文章を復元するモデルを学習 確率分布の数値から文章を再現するモデルを学習( 赤い部分) モデルのベースはT5 を使ったそうです
実験結果 元の入力した文章をある程度再現できている
まとめ 論文:Language Model Inversion LLM の出力の確率分布には今まで入力された文章の情報が含まれている 確率分布だけから元の入力を再現することができる 今回説明していないが論文で説明されていたこと 確率分布が分からなくても何度か出力が得られれば確率分布を再現できる. つまり,文章の出力しかなくても入力情報を再現できる
社会的な意義 LLM の出力だけから元の入力を再現できるため,セキュリティやプライバシーの 観点でも検討する必要がある
ご清聴ありがとうございました
More Decks by Toma Tanaka
See All by Toma Tanaka
2026年度 人工知能学会全国大会「AIおよび機械学習分野における継続運用のための 自動研究システムの開発」
fuyu_quant0
3
860
AI研究の自動化に向けたOSSの開発
fuyu_quant0
0
240
大規模言語モデルの論理構造の把握能力と予測モデルの生成
fuyu_quant0
0
260
Evolutionary Optimization of Model Merging Recipes
fuyu_quant0
4
3k
Inductive-bias Learning: 大規模言語モデルによる予測モデルの生成
fuyu_quant0
0
290
Solving olympiad geometry without human demonstrations
fuyu_quant0
4
820
量子コンピュータとデータサイエンティスト
fuyu_quant0
0
490
スライド用GPTを使った 「量子コンピュータ」の スライド作成
fuyu_quant0
0
35k
Other Decks in Technology
See All in Technology
Agent Routerで作るマルチテナント 推論基盤 #CNDW2026 / Building Multi-Tenant Inference Platform with Agent Router #CNDW2026
everpeace
3
330
市販IoT機器や自作IoT機器とHomeAssistantを駆使して家の電気代をできる限り見える化する方法の考案
harutiro
0
390
gradle-best-practices 使ってみた
mikanichinose
0
160
高品質と高スピードを支える品質のシフトレフトのアプローチ
goyoki
4
1.7k
認知負荷の減らし方 ~開発にも日常業務にも活かせるノウハウ~
minorun365
PRO
2
1.4k
re:Inventを楽しむために、 1日1つ「これが楽しみ」を決めよう
beli68
0
120
AI対話型分析を作成し、リリースするまでの話 / The Road to Release: Buiding AI Conversational Analytics
yappli_developers
0
170
【AWS reInvent 2026 関西組 事前勉強会】二度あることは三度ある~調子に乗りそうな3回目の私を戒めたいです~
ttelltte
0
110
[関西Kaggler会 20261113] 続・コミュニティコンペのススメ
nejumi
0
150
OWASP AI Agentic Top10に準拠するクラウドネイティブなガードレールの実践(CNDW 2026)
keitah
0
210
飯から始まるデータエンジニア
sansantech
PRO
0
110
Re:ゼロから始めるシェアハウスのペットな鯖
silmin_
0
250
Featured
See All Featured
SEOcharity - Dark patterns in SEO and UX: How to avoid them and build a more ethical web
sarafernandez
0
330
Why Mistakes Are the Best Teachers: Turning Failure into a Pathway for Growth
auna
0
360
State of Search Keynote: SEO is Dead Long Live SEO
ryanjones
0
350
What Being in a Rock Band Can Teach Us About Real World SEO
427marketing
0
1.1k
The browser strikes back
jonoalderson
0
2k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
141
35k
Context Engineering - Making Every Token Count
addyosmani
9
1.3k
Mozcon NYC 2025: Stop Losing SEO Traffic
samtorres
1
600
SEO Brein meetup: CTRL+C is not how to scale international SEO
lindahogenes
2
3k
What’s in a name? Adding method to the madness
productmarketing
PRO
24
4.2k
End of SEO as We Know It (SMX Advanced Version)
ipullrank
3
4.5k
Color Theory Basics | Prateek | Gurzu
gurzu
1
530