Upgrade to Pro — share decks privately, control downloads, hide ads and more …

GPT-3.5 Turbo をファインチューニングして自分のクローンを作った話

Avatar for Yuto Takamune Yuto Takamune
November 28, 2023
Programming
0
320

GPT-3.5 Turbo をファインチューニングして自分のクローンを作った話

Avatar for Yuto Takamune

Yuto Takamune

November 28, 2023
Tweet

More Decks by Yuto Takamune

See All by Yuto Takamune
RustのLINEBot SDKを自作した話
Avatar for Yuto Takamune shinbunbun_
0
1.8k
セキュリティキャンプ2023 Y3分散合意ゼミ 最終発表
Avatar for Yuto Takamune shinbunbun_
0
3.9k
NixOSでもご自宅k8sがしたい！
Avatar for Yuto Takamune shinbunbun_
2
3.9k
カーネルレベルでTwitterを禁止しよう
Avatar for Yuto Takamune shinbunbun_
0
250
CRDTで始めるコンフリクトしないデータ同期
Avatar for Yuto Takamune shinbunbun_
0
510
Haskell初心者がHaskellの楽しさについて語る
Avatar for Yuto Takamune shinbunbun_
0
190
Rustで楕円曲線暗号の署名アルゴリズムをフルスクラッチ実装してみた話
Avatar for Yuto Takamune shinbunbun_
0
1.7k
IEEE802.1X認証を導入してみた
Avatar for Yuto Takamune shinbunbun_
0
270
UBICの食材管理APIを作った話
Avatar for Yuto Takamune shinbunbun_
0
220

Other Decks in Programming

See All in Programming
サイトを作ったらNFCタグキーホルダーを爆速で作れ！
Avatar for Yuuki Shimizu yuukis
0
500
Namespace and Its Future
Avatar for Satoshi Tagomori tagomoris
5
350
KessokuでDIでもgoroutineを活用する / Go Connect #6
Avatar for mazrean mazrean
0
120
『リコリス・リコイル』に学ぶ！！ 〜キャリア戦略における計画的偶発性理論と変わる勇気の重要性〜
Avatar for わんこ(Wanko_IT) wanko_it
1
600
TROCCO×dbtで実現する人にもAIにもやさしいデータ基盤
Avatar for Nealle nealle
0
330
あのころの iPod を どうにか再生させたい
Avatar for orumin orumin
2
2.5k
開発チーム・開発組織の設計改善スキルの向上
Avatar for 増田 亨 masuda220
PRO
15
8k
RDoc meets YARD
Avatar for Masafumi Okura okuramasafumi
2
130
あなたとJIT, 今すぐアセンブ ル
Avatar for monochrome sisshiki1969
1
730
CSC305 Summer Lecture 05
Avatar for Javier Gonzalez-Sanchez javiergs
PRO
0
110
Google I/O recap web編 大分Web祭り2025
Avatar for kponda kponda
0
2.9k
学習を成果に繋げるための個人開発の考え方 〜 「学習のための個人開発」のすすめ / personal project for leaning
Avatar for panda_program panda_program
1
110

Featured

See All Featured
Why Our Code Smells
Avatar for Brandon Keepers bkeepers
PRO
338
57k
Side Projects
Avatar for Sacha Greif sachag
455
43k
Code Reviewing Like a Champion
Avatar for maltzj maltzj
525
40k
Building Flexible Design Systems
Avatar for Yesenia Perez-Cruz yeseniaperezcruz
328
39k
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
16k
Put a Button on it: Removing Barriers to Going Fast.
Avatar for kastner kastner
60
4k
Performance Is Good for Brains [We Love Speed 2024]
Avatar for Tammy Everts tammyeverts
10
1k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
Avatar for Vitaly Friedman smashingmag
251
21k
The Language of Interfaces
Avatar for Des Traynor destraynor
160
25k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
Avatar for mongodb mongodb
48
9.6k
Facilitating Awesome Meetings
Avatar for Lara Hogan lara
55
6.5k
Build The Right Thing And Hit Your Dates
Avatar for Maggie C. maggiecrowley
37
2.8k

Transcript

  1. GPT-3.5 Turbo をファインチューニングして 自分のクローンを作った話 TOGATTA SERVER LT Vol.5 しんぶんぶん

  2. 自己紹介 • 名前: しんぶんぶん • 所属: 会津大学学部3年 • Twitter: @shinbunbun_,

    @4fa19623 • LINE API Expert / seccamp ’23 / Cybozu labyouth 13th ◦ セキュキャン: 分散合意ゼミ（Raft） ◦ ラボユース: CRDTを使ったP2P分散データベースの開発

  3. 突然ですがみなさん、自分のクローン作りたくないですか？

  4. クローンを作るとこんなに良いことが！ • 突然死んでも大丈夫！（諸説） • 自分自身と会話することでメタ認知が進む！（諸説）

  5. ほな作るかー

  6. レシピ • X（Twitter）のツイートアーカイブ少々 • Python少々 • “圧倒的財力”(嘘) ◦ 実験には100ドル以上かかった

  7. で、作り方は？？

  8. 全ての叡智がここに！！ TOGATTA SERVER TECHBOOK VOL.1 1冊 1000円 https://techbookfest.org/product/rqa UJGEBP4Gkmexq8v0unS

  9. ということで、作り方は解説しません（カス）

  10. 簡単に手法を解説 • まずTwitterのアーカイブをとってくる • アシスタント側の発話にツイートをぶち込んでファインチューニングする これだけ！簡単！！！

  11. そして生まれた化け物がこちら

  12. None

  13. 鍵垢のツイートも全部放り込んだらだいぶ思想強めになりました😇

  14. 感想 • 鍵垢の思想強めなツイートをたくさん放り込んだので、思想強めなことを返してくる ようになった • 支離滅裂な回答をすることが多いけど、たまにめちゃめちゃ面白いことを言ってくる のとても好き • 化け物を生み出してしまった...の気持ち

  15. 今後の展望 • 最近GPT4もファインチューニングできるようになったらしいので試したい • shinbunbunGPTを埋め込んだGPT墓石を作って突然の死に備えたい