アイドルに感情を委ねる

https://imas.connpass.com/event/70592/ の資料

Transcript

1. アイドルに感情を委ねる team: 体力持つのは1 時間 miyachik
2. 自己紹介 @_miyachik ウサミン サー バー 側の人: Ruby/JavaScript/Golang
3. 前回のハッカソン
4. デレ劇コマ割りするすごい奴
5. デレ劇コマ割りするすごい奴 公式のデレ劇を1 コマづつに分解して保存する 単体画像をリプライにつけてコミュニケー ション リプライにくっつけるための画像集はいっぱいできた ( ただ、 探すのがめんどくさい) 現在最新が1013 話(+1 話) なので合計5070 コマある
6. 課題 感情はあるが該当するコマはない 探しても良いが手間 俺達が求めてるのは :happy: => アイドルが嬉しそうな顔をしてるコ マがでることだ！！！ 感情分類だ！！！
7. 成果物 デレ劇コマ分類器: PickerPicker 1 コマずつ出てくるコマを喜怒哀楽でラベル付してくWebApp 気合で喜怒哀楽に分類していく デレ劇以外のN+1 コマ漫画にも対応 https://github.com/miyachik/PickerPicker
8. 実装的な話 Rails 5.2.0.beta2 ActiveStorage 使いたかった 感想: まぁ便利... くらい => 懇親会で 人間用の画像認識系のAPI (Google) VisonAPI (Azure) EmotionAPI (Amazon) Rekognitio 全て無のresponse が帰ってくる( 当たり前っちゃ当たり前)
9. [miyachi_kenta]% ruby vison.rb { "responses": [ {} ] }
10. デモ
11. 余談
12. 感情は難しい
13. いろいろ 喜怒哀楽の喜と楽の違いが微妙にわからない => 調べたら感情が乏し いと言われシュンとなる ラベル付けされたモデルができるので適当にDeepLearning に突っ込 めばいい感じになるかもしれない( なってほしい) デレ劇でなくアニメを元にやっても面白そう( 画像取ってくるのが大 変) 漫画には文章があるので、Google Cloud Natural Language API とか に投げればある程度自動分類できるかも? => 現状ポジネガぐらいな ので喜怒哀楽ぐらいは難しそう?