Артём Панин – «Автоматическое управление рекламой в Ozon»

Transcript

1. Ozon Tech 2023 Как мы запустили автобиддер для управления рекламными кампаниями? Артем Панин, руководитель команды «Эффективность рекламы»
2. План доклада 2 • Поисковое продвижение в Ozon • Рекламный аукцион • Запуск рекламной кампании в Ozon • Описание задачи • Дизайн алгоритма • Архитектура системы • Метрики • Ближайшие планы
3. Поисковое продвижение в Ozon 3 Query Search Index Ads Index Ranking Auction
4. Рекламный аукцион 4 Товар с CPM типом оплаты: ставка за показ Ничего не скорим 1 рубль x 1 = 1 рубль Расчёт скора аукциона: Score = Ставка x Вероятность целевого действия ML оценка вероятности целевого действия Выбор ставки Ставка за показ: 1 рубль Аукцион: f(Score, Relevance) Товар с CPC типом оплаты: ставка за клик Вероятность клика: 10% 5 рублей x 10% = 0.5 рубля Ставка за показ: 5 рублей Товар с CPO типом оплаты: ставка за заказ Вероятность заказа: 1% 10 рублей x 1% = 0.1 рубля Ставка за показ: 10 рублей
5. Рекламный аукцион 5 1. Аукцион состоит только из товаров с оплатой за показ (CPM) 2. Формула аукциона зависит только от ставки Для упрощения давайте считать, что:
6. Запуск рекламной кампании в Ozon 6 Выбор списка товаров 1. Выбор дневного бюджета 2. Выбор ставки за показ 3.
7. Описание задачи Цель: максимизировать число показов товаров рекламной кампании с учётом ограничения на дневной бюджет Multiple-Choice Knapsack Problem В нашей постановке: • объём рюкзака — дневной бюджет рекламной кампании • предметы — рекламные ставки для участия в аукциона • класс предмета — пара «товар — запрос», по которой проводится аукцион • ценности предметов — ожидаемое количество показов • веса предметов — ожидаемые траты бюджета 7 Рассказ от команды Яндекса. Рассказ об автобиддере ВКонтакте Необходимо выбрать не более одной ставки для каждой пары «товар — запрос» таким образом, чтобы суммарное число показов было максимальным, а общие траты не превышали дневной бюджет.
8. Дизайн алгоритма 8 Товары: - пара чёрных кроссовок Adidas - мужская футболка с фотографией кота Дневной бюджет: 1000 рублей Алгоритм: 1. Построить таблицу с предсказаниями числа показов для различных ставок по парам «товар — запрос» 2. Отсортировать по размеру ставки 3. Собирать самые выгодные тройки «товар — запрос — ставка» до тех пор, пока не столкнёмся с ограничениями бюджета Рекламная кампания с оплатой за показы
9. Дизайн алгоритма 9 Данные для расчёта ставок == кандидаты для сбора рюкзака Итоговые ставки == собранный рюкзак
10. Факторы, влияющие на число показов рекламного товара в поиске Дизайн алгоритма Релевантность запросов 10 Объём поискового трафика Размер ставки за показ Ограничения участия
11. Построение набора кандидатов 11 Набор кандидатов Набор релевантных поисковых запросов Оценка числа показов товаров при различных ставках Оценка поискового трафика Доля участия в аукционе Вероятность показа товара в зависимости от ставки
12. Таргетинг: набор релевантных товарам кампании поисковых запросов Построение набора кандидатов 12 велосипед гравийный велосипед шоссейный велосипед шоссер циклокросс триатлон mongoose … Подходы • Эвристики • ANN в едином векторном пространстве товаров и запросов Устройство поисковых систем: базовый поиск и инвертированный индекс
13. Построение набора кандидатов 13 Оценка трафика на различные поисковые запросы • Эвристики • Линейные модели • Авторегрессионные модели Подходы: Предсказание доли участия товара в аукционе по релевантному запросу • Эвристики • Линейные модели • Бустинги Подходы: Ad Impression Forecasting for Sponsored Search
14. Построение набора кандидатов 14 Пример реального и предсказанного распределений вероятности показа от ставки в аукционе для запроса «детские плечики для одежды» Bid Landscape Forecasting: вероятность показа товара по запросу в зависимости от ставки в аукционе Bid landscape forecasting in online Ad exchange marketplace
15. Построение набора кандидатов 15 Итоговая оценка кандидатов для рюкзака: • Для каждого товара добавляются запросы из прогноза таргетинга • Для каждого запроса добавляются бины ожидаемых значений ставок • Ожидаемое число показов считается в разрезе тройки: eViews (sku, bid, query) = Traffic (query) * pRatio (sku, query) * pView (query, bid) • Берём список товаров рекламной кампании • Получаем все возможные тройки вида «товар — запрос — ставка»
16. Технические требования 16 1. Высокая нагрузка в рантайме Технические требования к системе: 2. Гибкость 3. Поддержка холодного старта 4. Эффективность 5. Регулярность обновления прогнозов 6. Высокая доступность
17. Архитектура системы 17
18. Результаты 18 График изменения долей автобиддерных и ручных кампаний в CPM формате оплаты
19. Результаты 19 График изменения долей автобиддерных и ручных кампаний в CPM выручке в поиске
20. Средняя утилизация бюджета на 30% выше Cредний ДРР кампаний на 36% ниже Средняя ставка кампаний на 27% выше Метрики автобиддера Утилизация бюджета Затраты на рекламу / Общий бюджет на рекламу Доля рекламных расходов Затраты на рекламу / Прибыль с рекламы Основные метрики продукта: Сравнение с кампаниями с ручными ставками: 20
21. Дальнейшие планы 21 • Отказ от реалтайм-сервиса в пользу Spark Structured Streaming подхода (почти переехали!) • Замена ML-моделями эвристик для оценки факторов построения набора кандидатов • Рост масштабируемости за счёт использования логов показов вместо полного лога аукционов • Развитие культуры А/Б экспериментов с различными версиями автобиддера
22. В следующих выпусках: • Рассказ о выкатке автобиддера CPC в прод • Как мы обучаем ML модели для предсказания вероятностей целевых действий в рекламе • Апдейты по развитию ML инфраструктуры команды Мы активно растем и ищем: ML-инженеров для улучшения релевантности рекламы и разработки автобиддеров Go-разработчиков для сервисов эффективности рекламы
23. Tg: @artem_panin Спасибо за внимание! Артем Панин, руководитель команды «Эффективность рекламы» Наша статья на Хабре на тему «Как мы запустили автобиддер для управления рекламными кампаниями в Ozon?»