脳波を用いた嗜好マッチングシステム

第63回 コンピュータビジョン勉強会＠関東での発表資料です
https://kantocv.connpass.com/event/344139/

Transcript

1. 脳波を用いた 嗜好マッチングシステム
2. 脳波から消費者の好みを知りたい • 消費者にとって商品を選ぶのは大変 • 生体信号を使って自動的に選択・推薦したい 第63回 コンピュータビジョン勉強会＠関東 4 大量の商品から，服を選ぶのが大 変で困っています．自分の好みを 言語化できないし，どうやって探 せばいいのかわからない． ※画像はすべてGrok3で生成
3. システム概要 脳波 AI 第63回 コンピュータビジョン勉強会＠関東 6 脳波 服画像 検出器を学習 好みの服を推薦 おすすめの服
4. 好み検出器の学習方法 • 人が写った画像（ターゲット）に意識を向けさせる • 意識を向けた時，脳波には振幅変化が生じる • その振幅変化を検出器に学習させる 第63回 コンピュータビジョン勉強会＠関東 7 特定の画像で脳波には振幅変化が生じる 大量の画像を高速に逐次呈示 ターゲット画像
5. 好みの商品を検出 • 商品の画像を逐次呈示したときの脳波を入力 • 学習させた検出器を使用 • 好みの商品を検出 第63回 コンピュータビジョン勉強会＠関東 8 AI おすすめの服
6. 好みの商品や関連情報を提供 • 商品の検出結果を表示 • 選ばれた商品画像の関連情報を提供 • 好みの傾向 • おすすめのブランド • 関連商品など 第63回 コンピュータビジョン勉強会＠関東 9 おすすめの服 AI
7. システム概要 脳波 AI 第63回 コンピュータビジョン勉強会＠関東 10 脳波 服画像 検出器を学習 好みの服を推薦 おすすめの服
8. ここにCV技術を使用 脳波 AI 第63回 コンピュータビジョン勉強会＠関東 11 脳波 服画像 検出器を学習 好みの服を推薦 おすすめの服
9. VITONを用いた服画像データセット作成 • 呈示画像は自分のものにしたい • 着用モデルと自分の顔・体型は異なる • 相手の反応（恋人など）も調べたい • Virtual Try-On（VITON）技術を使って自分が着た画像を生成 第63回 コンピュータビジョン勉強会＠関東 12
10. 使用技術：Stable VITON 第63回 コンピュータビジョン勉強会＠関東 13 [Kim, CVPR, 2024]
11. こぼればなし これができたのはCV勉強会のおかげ 第63回 コンピュータビジョン勉強会＠関東 14 VITONという分野があって おすすめモデルはコレだよ 服の着せ替えをやってみた いんですけどどうすれば… 知らなかった！ やってみます！！
12. VLMを用いた関連情報のテキスト生成 • GPT-4oを用いて関連情報のテキスト生成 • 好みのジャンル • 好みの色 • 好みの素材 • おすすめのスタイル など • 事前に用意したパターンではなく結果にあった テキストを生成可能 第63回 コンピュータビジョン勉強会＠関東 15
13. 第63回 コンピュータビジョン勉強会＠関東 16
14. まとめ • 脳波を用いた服の推薦システムを構築 • CV技術を活用して最適な画像・テキストを生成 • 今後の目標は大量のデータ収集・検出モデルの精度向上 第63回 コンピュータビジョン勉強会＠関東 17