Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
バカが取ったバイキングの皿を持ってきたよ!!
Search
Hayato Tsukagoshi
June 01, 2020
Programming
0
1.6k
バカが取ったバイキングの皿を持ってきたよ!!
This slide describe Twitter bot 'ujimaru', which says words like uzimaru.
Hayato Tsukagoshi
June 01, 2020
Tweet
Share
More Decks by Hayato Tsukagoshi
See All by Hayato Tsukagoshi
[輪講資料] One Embedder, Any Task: Instruction-Finetuned Text Embeddings
hpprc
1
570
WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
hpprc
3
570
Hyena Hierarchy: Towards Larger Convolutional Language Models
hpprc
4
1.7k
[輪講資料] LoRA: Low-Rank Adaptation of Large Language Models
hpprc
43
53k
資源として見る実験プログラム
hpprc
13
3.1k
[輪講資料] Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space
hpprc
0
1.3k
[輪講資料] Language-agnostic BERT Sentence Embedding
hpprc
6
1.9k
[輪講資料] SimCSE: Simple Contrastive Learning of Sentence Embeddings
hpprc
9
4.7k
p1ass-lt-hpp
hpprc
0
1.1k
Other Decks in Programming
See All in Programming
ServerAction で Progressive Enhancement はどこまで頑張れるか? / progressive-enhancement-with-server-action
takefumiyoshii
6
440
見た目から始める生産性向上
ikumatadokoro
10
1.4k
Ruby Function Composition
bkuhlmann
1
340
Netty Chicago Java User Group 2024-04-17
sullis
0
210
MicrosoftのPlatform Engineeringガイドを読んで実際になにかやってみた
ymd65536
1
510
デフォルトにして至高、RubyMineの大好きな所
ruzia
0
890
Node.js v22 で変わること
yosuke_furukawa
PRO
12
4k
初心者のためのRubyKaigi入門/RubyKaigi Introduction
a_matsuda
10
1.5k
Three ways to use AI on Android: The Good, the Bad and the Ugly
marxallski
0
110
Snowflakeで眠ったデータを起こそう!
estie
0
150
新宿ダンジョンを可視化してみた
satoshi7190
3
400
使ってみよう Azure AI Document Intelligence
kosmosebi
2
360
Featured
See All Featured
Optimizing for Happiness
mojombo
370
69k
GraphQLの誤解/rethinking-graphql
sonatard
56
9.3k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
21
1.9k
Fontdeck: Realign not Redesign
paulrobertlloyd
76
4.9k
Designing for Performance
lara
601
67k
Faster Mobile Websites
deanohume
300
30k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
21
1.6k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
A Philosophy of Restraint
colly
197
16k
Transcript
うじまる生誕LT会 バカが取ったバイキングの皿 を持って来たよ!! @hpp_ricecake
うじまる生誕LT会 hpp Twitter : @hpp_ricecake GitHub : hppRC
うじまる生誕LT会 作ったもの
うじまる生誕LT会 うぢまるくん
うじまる生誕LT会
うじまる生誕LT会
うじまる生誕LT会 実装内容
うじまる生誕LT会 - Ujimaru Reformer (不採用) - Ujimaru Markov Model
- Ujimaru Twitter Crawler - Ujimaru Twitter Client - Ujimaru API
うじまる生誕LT会 Ujimaru Reformer
うじまる生誕LT会 Ujimaru Reformer Reformer : NLP分野でSOTAな結果を出しまくったTransformerの高効率版 - うじまるくんのツイートを収集、8000文ほどを元データに(ごめん)
- Google Colaboratory で6時間ほど訓練 - 著者実装を参考にTPU(はやいやつ)で - 訓練したモデルから文生成をする(予定だった) - 生成結果は次のページ
うじまる生誕LT会 Ujimaru Reformer
うじまる生誕LT会 Ujimaru Reformer 反省点 - データが少なすぎる(最低でも100,000文くらいは欲しい...) 解決策 -
うじまるくんが1日4000ツイートくらいする - 日本語Wikiのデータを混ぜる(全然関係ないモデルに...) - データ数が少なくても大丈夫な言語モデルに変更する
うじまる生誕LT会 Ujimaru Markov Model
うじまる生誕LT会 Ujimaru Markov Model マルコフ連鎖 : 以前に出現した系列を元に次の出力を確率的に生成する -
うじまるくんの以前のツイートを元にモデルを作成 - ライブラリとして使えるように、JSONでモデルを出力 - 他の人のツイートも同じく収集して似た傾向の語彙を増強 - PyPIに登録したので`pip install ujimaru-markov-model`して `ujimaru`をするとうじまるくんが喋ります
うじまる生誕LT会 Ujimaru Markov Model
うじまる生誕LT会 Ujimaru Twitter Crawler
うじまる生誕LT会 Ujimaru Twitter Crawler 実装: GO - データ収集に利用 -
anacondaを使用(超便利) - Standard Search APIじゃ足りなかったので Premium Search API (無料枠)も使用 - anacondaにPremium APIを触るメソッドが生えてなかったのでforkして生や した
うじまる生誕LT会 Ujimaru Twitter Client
うじまる生誕LT会 Ujimaru Twitter Client 実装: Rust - ツイートの定期投稿に利用
- ツイートするテキストはAPIから取得 - Twitter API を叩くいい感じのライブラリがなかったので自作↓ - Kuonという名前のOSSとして公開しました(めっちゃWIP)
うじまる生誕LT会 Ujimaru API
うじまる生誕LT会 Ujimaru API 実装: Python (flask) - Cloud
Run でデプロイ (https://ujimaru-api-l3qfihnisq-an.a.run.app/tweet) - アクセスすると生成したテキストを返す - Docker imageをポイするだけなので超簡単
うじまる生誕LT会 Ujimaru API まとめ - ニューラルなモデルを使うときはデータ数に気を付ける - ソースコード
: https://github.com/hppRC/ujimaru - LTのスライドは内容を絞ろう
うじまる生誕LT会