Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GPT-3.5 Turbo をファインチューニングして自分のクローンを作った話
Search
Yuto Takamune
November 28, 2023
Programming
0
250
GPT-3.5 Turbo をファインチューニングして自分のクローンを作った話
Yuto Takamune
November 28, 2023
Tweet
Share
More Decks by Yuto Takamune
See All by Yuto Takamune
RustのLINEBot SDKを自作した話
shinbunbun_
0
980
セキュリティキャンプ2023 Y3分散合意ゼミ 最終発表
shinbunbun_
0
2.8k
NixOSでもご自宅k8sがしたい!
shinbunbun_
2
2.6k
カーネルレベルでTwitterを禁止しよう
shinbunbun_
0
170
CRDTで始めるコンフリクトしないデータ同期
shinbunbun_
0
320
Haskell初心者がHaskellの楽しさについて語る
shinbunbun_
0
150
Rustで楕円曲線暗号の署名アルゴリズムをフルスクラッチ実装してみた話
shinbunbun_
0
880
IEEE802.1X認証を導入してみた
shinbunbun_
0
200
UBICの食材管理APIを作った話
shinbunbun_
0
180
Other Decks in Programming
See All in Programming
破壊せよ!データ破壊駆動で考えるドメインモデリング / data-destroy-driven
minodriven
16
4k
gopls を改造したら開発生産性が高まった
satorunooshie
8
240
AWS IaCの注目アップデート 2024年10月版
konokenj
3
3.1k
開発効率向上のためのリファクタリングの一歩目の選択肢 ~コード分割~ / JJUG CCC 2024 Fall
ryounasso
0
360
Realtime API 入門
riofujimon
0
110
約9000個の自動テストの 時間を50分->10分に短縮 Flakyテストを1%以下に抑えた話
hatsu38
23
11k
外部システム連携先が10を超えるシステムでのアーキテクチャ設計・実装事例
kiwasaki
1
220
推し活の ハイトラフィックに立ち向かう Railsとアーキテクチャ - Kaigi on Rails 2024
falcon8823
6
2.1k
Jakarta Concurrencyによる並行処理プログラミングの始め方 (JJUG CCC 2024 Fall)
tnagao7
1
230
Vitest Browser Mode への期待 / Vitest Browser Mode
odanado
PRO
2
1.7k
Kubernetes for Data Engineers: Building Scalable, Reliable Data Pipelines
sucitw
1
200
Snowflake x dbtで作るセキュアでアジャイルなデータ基盤
tsoshiro
2
430
Featured
See All Featured
Fireside Chat
paigeccino
32
3k
It's Worth the Effort
3n
183
27k
The Art of Programming - Codeland 2020
erikaheidi
51
13k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.7k
How GitHub (no longer) Works
holman
311
140k
Typedesign – Prime Four
hannesfritz
39
2.4k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
Done Done
chrislema
181
16k
Rails Girls Zürich Keynote
gr2m
93
13k
Ruby is Unlike a Banana
tanoku
96
11k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
32
1.8k
Transcript
GPT-3.5 Turbo をファインチューニングして 自分のクローンを作った話 TOGATTA SERVER LT Vol.5 しんぶんぶん
自己紹介 • 名前: しんぶんぶん • 所属: 会津大学学部3年 • Twitter: @shinbunbun_,
@4fa19623 • LINE API Expert / seccamp ’23 / Cybozu labyouth 13th ◦ セキュキャン: 分散合意ゼミ(Raft) ◦ ラボユース: CRDTを使ったP2P分散データベースの開発
突然ですがみなさん、自分のクローン作りたくないですか?
クローンを作るとこんなに良いことが! • 突然死んでも大丈夫!(諸説) • 自分自身と会話することでメタ認知が進む!(諸説)
ほな作るかー
レシピ • X(Twitter)のツイートアーカイブ少々 • Python少々 • “圧倒的財力”(嘘) ◦ 実験には100ドル以上かかった
で、作り方は??
全ての叡智がここに!! TOGATTA SERVER TECHBOOK VOL.1 1冊 1000円 https://techbookfest.org/product/rqa UJGEBP4Gkmexq8v0unS
ということで、作り方は解説しません(カス)
簡単に手法を解説 • まずTwitterのアーカイブをとってくる • アシスタント側の発話にツイートをぶち込んでファインチューニングする これだけ!簡単!!!
そして生まれた化け物がこちら
None
鍵垢のツイートも全部放り込んだらだいぶ思想強めになりました😇
感想 • 鍵垢の思想強めなツイートをたくさん放り込んだので、思想強めなことを返してくる ようになった • 支離滅裂な回答をすることが多いけど、たまにめちゃめちゃ面白いことを言ってくる のとても好き • 化け物を生み出してしまった...の気持ち
今後の展望 • 最近GPT4もファインチューニングできるようになったらしいので試したい • shinbunbunGPTを埋め込んだGPT墓石を作って突然の死に備えたい