Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Generative AIと検索を組み合わせた新たな体験の模索
Search
shibuiwilliam
December 14, 2022
Technology
3
1.1k
Generative AIと検索を組み合わせた新たな体験の模索
https://mlops.connpass.com/event/265378/
shibuiwilliam
December 14, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
生成AIを作るエンジニアリングと使うエンジニアリング
shibuiwilliam
2
57
AI Agentのキャッシュ、再利用、Ops
shibuiwilliam
2
100
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
5
590
LLMで推論するライブラリを整理する
shibuiwilliam
6
1.6k
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
2
110
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
3
730
今日からRAGを 始めることを考える
shibuiwilliam
3
1.7k
2024年生成AI新年会登壇資料
shibuiwilliam
1
370
Creative as Software Engineering
shibuiwilliam
3
680
Other Decks in Technology
See All in Technology
Operating Operator
shhnjk
0
410
Yamla: Rustでつくるリアルタイム性を追求した機械学習基盤 / Yamla: A Rust-Based Machine Learning Platform Pursuing Real-Time Capabilities
lycorptech_jp
PRO
4
220
20250707-AI活用の個人差を埋めるチームづくり
shnjtk
3
3k
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
160
一体いつからSRE NEXTがSREだけのカンファレンスだと錯覚していた? / When did you ever get the idea that SRE NEXT was a conference just for SREs?
vtryo
1
140
Connect 100+を支える技術
kanyamaguc
0
180
無意味な開発生産性の議論から抜け出すための予兆検知とお金とAI
i35_267
3
11k
PHPでWebブラウザのレンダリングエンジンを実装する
dip_tech
PRO
0
220
AI導入の理想と現実~コストと浸透〜
oprstchn
0
180
あなたの声を届けよう! 女性エンジニア登壇の意義とアウトプット実践ガイド #wttjp / Call for Your Voice
kondoyuko
4
560
生成AI活用の組織格差を解消する 〜ビジネス職のCursor導入が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption
upamune
6
5k
LangSmith×Webhook連携で実現するプロンプトドリブンCI/CD
sergicalsix
1
200
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
It's Worth the Effort
3n
185
28k
How GitHub (no longer) Works
holman
314
140k
Designing Experiences People Love
moore
142
24k
Making Projects Easy
brettharned
116
6.3k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
Building Applications with DynamoDB
mza
95
6.5k
Transcript
Generative AIと検索を 組み合わせた新たな体験の模索 2022/12/14 しぶい
自己紹介 shibui yusuke • もともと文学部の大学院卒。 • いろいろ → Launchable(いまここ) •
MLOpsとかいろいろエンジニア • もともとクラウド基盤の開発、運用 • ここ6年くらいMLOpsとバックエンドとインフラとたまに データ分析とAndroidで仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • 最近の趣味:副業と自宅勤務改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
疑問 • AIで絵を描けるようになったけど、世の中の人はそんなにクリエイティブな作業をしてるだろうか? • たぶん一般的なスマホの利用時間は「生成<<<<<検索」というくらい、 検索(ほしいものを見つける)作業のほうが長い(根拠はない)。 • ほしいものを探してるけど、見つからなかったり存在しなかったりするから、 クリエイティビティが必要なのでは? •
ということで作って試してみる。
• テキストや属性を入力してコンテンツを検索する 検索 検索システム 茶色のバッグ • Elasticsearch • Solr •
Opensearch • …
類似画像検索 • 画像を入力にして画像を検索する ANN • SCaNN • NGT • Faiss
• …
Generative AI • テキストを入力にしてコンテンツを生成する Generative AI 茶色のバッグ • Stable Diffusion
• DALLE • Midjourney • …
もちろんこういうこともできる Stable Diffusion 茶色のバッグ ANN
実際に作ってみた
アーキテクチャ 類似画像検索Tensorflow Serving MobileNet v3 + SCaNN 画像生成API キュー兼 インデックスキャッシュ
Storage StableDiffusion 画像生成ジョブ
従来の検索 バッグ シック カジュアル ファンシー 男性もの 女性もの 茶色 子ども用 エンブレム
ハンドバッグ ビジネス 肩掛け 財布 大型 飾り 赤 黒 検索システム & キャッシュ スポーツ トランク • テキスト • 属性 • 閲覧履歴 • ・・・ 茶色い女性もののファンシーなバッグ
Generative AIと検索 バッグ シック カジュアル ファンシー 男性もの 女性もの 茶色 子ども用
エンブレム ハンドバッグ ビジネス 肩掛け 財布 大型 飾り 赤 黒 スポーツ トランク 茶色い女性もののファンシーなバッグ ユーザがデザインを生成しながら検索していく
Generative AIと検索 バッグ シック カジュアル ファンシー 男性もの 女性もの 茶色 子ども用
エンブレム ハンドバッグ ビジネス 肩掛け 財布 大型 飾り 赤 黒 スポーツ トランク 茶色い女性もののファンシーで 赤いアクセサリー付きの バッグ つまり、存在しないものはテキストとデザインを直接フィードバックできる このあたりにあるはずだけ ど存在しない
AI E-commerce 女性もののバッグがほしい 茶色でカジュアルなもの これでいかがでしょうか? 真ん中のにもうちょいアクセント 赤いアクセサリーとか これでいかがでしょうか? 右ので検索 AI
E-commerce 検索結果です
閲覧履歴からデザインできないか? 女性もの バッグ 茶色 おしゃれ シック 赤い追加 もしかして・・・ 閲覧履歴から重要な単語を集めて・・・
まとめ • ユーザ視点:ほしいものをデザインしながら探す体験 • EC視点:デザインとテキストのフィードバックを得ながら検索とプロダクトデザインのループ • Generative AIとANNはちゃんとチューニングしたらもっと精度高くなるはず • ECやファッションに限らず、旅行、地図、コンテンツ(本とか)、Web広告・・・と応用範囲は広い
• データは必要なので、検索と生成のデータが用意できる既存Webビジネスと相性が良さそう • UIは考えもの
• 2022年11月14日発売! • https://www.amazon.co.jp/dp/4798173401/ • https://github.com/shibuiwilliam/building-ml-system • 発売中! • https://www.amazon.co.jp/dp/4798169447/