Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Convolutional Neural NetworkとRankNetを用いた画像の順序予測
Search
sz_dr
October 19, 2016
Technology
0
240
Convolutional Neural NetworkとRankNetを用いた画像の順序予測
TokyoTech LT (2016/10/19)で発表した資料です
sz_dr
October 19, 2016
Tweet
Share
More Decks by sz_dr
See All by sz_dr
Vespaを利用したテクいベクトル検索
szdr
3
580
ヤフーにおける機械学習検索ランキングの取り組み
szdr
11
16k
RecSys 2019 論文読み会 発表資料
szdr
1
1.2k
E-Commerce検索におけるランキング研究
szdr
1
840
ランク学習と偽負例化合物を用いたバーチャルスクリーニング
szdr
0
510
Other Decks in Technology
See All in Technology
robocopy の怖い話/scary-story-about-robocopy
emiki
0
410
株式会社島津製作所_研究開発(集団協業と知的生産)の現場を支える、OSS知識基盤システムの導入
akahane92
1
1.3k
P2P ではじめる WebRTC のつまづきどころ
tnoho
1
270
LLM開発を支えるエヌビディアの生成AIエコシステム
acceleratedmu3n
0
340
[MIRU25] NaiLIA: Multimodal Retrieval of Nail Designs Based on Dense Intent Descriptions
keio_smilab
PRO
1
130
Wasmで社内ツールを作って配布しよう
askua
0
150
隙間時間で爆速開発! Claude Code × Vibe Coding で作るマニュアル自動生成サービス
akitomonam
2
200
Tiptapで実現する堅牢で柔軟なエディター開発
kirik
1
160
自分がLinc’wellで提供しているプロダクトを理解するためにやったこと
murabayashi
1
170
【CEDEC2025】現場を理解して実現!ゲーム開発を効率化するWebサービスの開発と、利用促進のための継続的な改善
cygames
PRO
0
400
生成AIによる情報システムへのインパクト
taka_aki
1
200
モバイルゲームの開発を支える基盤の歩み ~再現性のある開発ラインを量産する秘訣~
qualiarts
0
640
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Balancing Empowerment & Direction
lara
1
510
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Producing Creativity
orderedlist
PRO
346
40k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Rails Girls Zürich Keynote
gr2m
95
14k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Art, The Web, and Tiny UX
lynnandtonic
301
21k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Transcript
東京工業大学 大学院情報理工学研究科 計算工学専攻 秋山研究室 鈴木 翔吾 Convolutional Neural Networkと RankNetを用いた画像の順序予測
TokyoTech LT 2016/10/19
お前誰よ? 2 鈴木翔吾 / Shogo D. Suzuki @sz_dr • 東京工業大学
大学院情報理工学研究科 計算工学専攻 秋山研究室 • ケモインフォマティクス・機械学習 • メインはPython,たまにC++
今日のお話 3 ♥ 研究でやってること A B C A ≻ B
≻ C A ≻ C ≻ B 化合物 タンパク質 機械学習で順序を予測
今日のお話 4 ♥ 研究でやってること A B C A ≻ B
≻ C A ≻ C ≻ B 化合物 タンパク質 機械学習で順序を予測 今日お話すること A B C 画像 ♥ @sz_dr A ≻ B ≻ C A ≻ C ≻ B 機械学習で順序を予測
アイデア 5 好み関数 0.9 画像 スコア これが求まると嬉しい 0.5 0.6 0.9
≺ ≺ スコアでソートした結果
好み関数のモデル化 6 好み関数 0.9 画像 スコア (RGB, W, H) =
(3, 80, 80) Convolutional Neural Network : ℝ1×2×3 → ℝ 画像認識の分野で広く用いられているモデル [LeCun+ 98] ※話すと長くなる部分なので, 知らない方は各自調べてみてください
好み関数の最適化 7 好み関数 : ℝ1×2×3 → ℝ @sz_drの好みを反映するように 好み関数のパラメータを学習する 訓練データ
: 9 : 8 ⋮ : 1 損失関数 を最小化するように学習 (Rank Net) ※ と を近づけていくイメージ 好み関数がAをBよりも高く ランク付けする確率 好み関数による画像A, Bの予測スコア Aの方が好きなとき1 Bの方が好きなとき0 同じくらい好きなとき0.5 [Burges+ 05]
学習の流れ 8 Lantisちゃんねるから『TVアニメ「ラブライブ!」先行発表PV』を取得 OpenCVを用いて 顔部分をクリッピング (277枚の顔画像を生成) 各画像にスコアを割り当て(つらい) 9 8 7
6 5 4 3 2 1 Chainer(Deep Learningフレームワーク)を用いて学習
訓練データの予測結果 9 好み関数を正しく学習できているか確認 9 8 7 6 5 4 3
2 1
訓練データの予測結果 10 好み関数を正しく学習できているか確認 9 8 7 6 5 4 3
2 1
テストデータの予測 11 訓練データ : 9 : 8 ⋮ : 1
テストデータ 『ラブライブ!』 『ラブライブ!サンシャイン!!』 ※訓練データにテストデータの画像は含まれていないことに注意
テストデータの予測 12 @sz_drによる好み順序 訓練 データ テスト データ
テストデータの予測 13 @sz_drによる好み順序 CNN+RankNetによる予測結果 訓練 データ テスト データ
テストデータの予測 14 CNN+RankNetによる予測結果 ☺ 似ている画像は同じような順位にきている ☹ 予測結果は正しい好み順序をあまり反映していない (訓練データとテストデータで順序傾向が異なるため?)
まとめ 15 やったこと Convolutional Neural NetworkとRankNetを用いた画像の順序予測 応用先は? 漫画の表紙買いとか…広告画像の最適化とか…?? できてないこと •
訓練データを集めるのが大変 (人手による評価が必要) • 評価値のバラエティの考慮 (9段階も必要…?Excellent・Good・Badくらいで良い??) • CNNでは見た目しか考慮できない (キャラクターの性格等をどうやって考慮する…??)