Стильный код: натуральный поиск редких атрибутов по картинке. Юлия Антохина, Data Scientist, Lamoda Tech

Платье зебра, малиновые чиносы, джинсы клеш от колена — каждый день мы ищем товары по модным запросам, а fast fashion создает новые тренды быстрее, чем мы заполняем карточки товаров. Я расскажу про сетку, которая читает наши картинки в продакшне как глянцевый журнал — выбирает главное и помогает добавить в корзину.

• История модели с XVIII века до 2025: предпосылки и А/B-тесты
• Субъективная мода: собрать разметку не так-то просто
• Минимализм в проде: используем legacy-механизм для выкатки
• Группировка вещей по цветотипу обеспечит вам восхищенные взгляды
• Солнечное затмение: каким знакам зодиака не стоит катить код в прод в это время

Этот доклад будет полезен фанатам новых цветов Pantone и дубайского шоколада, а также серьезным инженерам, которые хотят поднять метрики поиска. Как свежий выпуск Vogue, только с кодом вместо глянца.

Transcript

1. Стильный код: натуральный поиск редких атрибутов по картинке Юлия Антохина Data Scientist AI Stylist
2. В Lamoda улучшала поиск, рекомендации и решала стильные задачи Работала в телекоме, банкинге, e-commerce 2 Обо мне 2 Рисую и могу применить знания о стиле в рабочих задачах Активно участвую в найме, 100+ собесов
3. 3 AI стилист 3
4. 4 Си 1 Модель FCLIP для поиска План доклада 2 3 Дообучение модели 4 Переиспользование модели в других доменах 4 Поиск и стиль в Lamoda
5. 5 Поиск по сайту
6. 6 Заполненные на сайте атрибуты
7. 7 Ожидание Реальность
8. 8 Поиск в Lamoda https://habr.com/ru/companies/lamoda/articles/557046/
9. 9 Реальность: пустой поиск
11. 11 CLIP архитектура
12. 12 CLIP и FLIP Мультимодальная нейросеть, состоящая из энкодера фото и энкодера текста, которая обучается максимизировать попарную близость эмбеддингов текстов и фото. FCLIP модель обученная на модных описаниях https://github.com/patrickjohncyh/fashion-clip CLIP
13. FCLIP результат “из коробки” 13 Малиновая одежда женская Зебра женская
14. 14 Модель первого уровня: нужно дообучение
15. 15 Модель первого уровня: нужно дообучение
16. 16 Модель первого уровня: нужно дообучение
17. 17 Модель первого уровня: нужно дообучение
18. 18 Критерии выбора промптов Много поисковых запросов Много пустых ответов Высокие клики Добавления в корзину высокие
19. 19 Атрибуты из пустых запросов запрос число
20. 20 Выбор промптов Число пустых ответов офисный == кол-во запросов, результатов 17500 в месяц сарафан летний женский офисный 10000 в месяц костюм офисный мужской 5000 в месяц рюкзак мужской офисный 2500 в месяц
21. 21 Атрибуты 400+ колорблок горчичный малиновый клепки джинсы бойфренды минимализм кофейный клеш от колена костюм с шортами обвес на сумку дутики с перьями салатовый кружевное матовый
22. 22 • Сколько брать товаров по каждому промту? Единый порог для скора модели • Что если не «хорошие» товары сильно перемешаны с «плохими»? • Как запустить модель на русском языке? Что за промт на фотографии?:)
23. 23 Джинсы бананы
24. 24 Точность перевода Что за материал на картинке? • Кордурой • Кевлар • Вельвет
25. Кевлар Velvet (бархат) 25 Точность перевода на примере Velvet suite Courduroi (вельвет)
26. 26 Разметочка
27. 27 Разметочка На этой картинке головной убор? Это официальный костюм?
28. 28 1 и 0 в разметке
29. 29 Что из этого сумка багет 1 2 3
30. 30 Модель второго уровня «платье в офисном стиле» Img Encoder FCLIP Text Encoder FCLIP «инфа 100%» (Скор от FCLIP)
31. 31 Узкий поиск Без теста 22 товара С тестом 668 товаров
32. 32 Пустой поиск Без теста 0 товаров С тестом 217 товаров
33. 33 Другие товары Без теста 55 нерелевантных товаров С тестом 67 товаров
34. 34 Результаты теста +0.4% Купленные товары -1.2% Пустой поиск -2.3% Клики в альтернативный поиск
35. 35 Результаты теста: редкие запросы
36. 36 Потенциал использования лук Барби в стиле Джека Воробья Японская уличная мода Похожесть
37. 37 Patoe в проде Pantone цвета в проде
38. 38 Модель цветотипов Весна Осень Лето Модель цветотипов Зима холодные цвета и приглушенные холодные цвета и контрастные теплые цвета и приглушенные теплые цвета и контрастные
39. 39 Выводы Нужно дообучение исходной модели: качество и язык модели Опенсорс берем из модного домена Бизнес результат можно получить даже с легковесной моделью
40. 40 Вопросы?
41. @Julia_Antokhina yuliya.antohina@lamoda.ru QR-код t.me/latech Спасибо! Юлия Антохина Data Scientist AI Stylist