Один кликстрим на все бэкенды. Дмитрий Хасанов (Авито)

Внедрение инструментария для отправки аналитических событий в php, go, python

Transcript

1. Один кликстрим на все бэкенды Внедрение инструментария для отправки аналитических событий в php, go, python Дмитрий Хасанов, Avito
2. Сервисная архитектура Avito облако CI/CD сервис демонок крончик 2
3. Общие задачи логи загрузка файлов метрики сервис демонок крончик 3
4. Кликстрим • клик • просмотр • оплата • сообщение в мессенджере • поисковый запрос • рекламный аукцион 4
5. Готовые решения • Google Analytics • Яндекс Метрика 5
6. Кликстрим Событие Хранилище Отчёт 6
7. Кликстрим Событие Хранилище Отчёт 7
8. Кликстрим Событие Хранилище Отчёт “clickstream_event”: { “event_id”: 100, “user”: { “id”: 413, “email”: “user@example.com” }, “geo”: { “latitude”: 20.220, “longitude”: -10.110 }, “user_agent”: “fluffy_browser”, “time”: “2018-04-11 22:37:05” } 8
9. Кликстрим Событие Хранилище Отчёт DWH 9
10. Простая реализация Проект A event = { ‘field_one’: ‘val_1’, ‘field_two’: ‘val_2’, ‘time’: unixtime() } transport.send(event) 10 Проект Б event = { ‘fieldOne’: ‘val_1’, ‘field.TWO’: ‘val_2’, ‘time’: date() } customTransport.send(event)
11. Простая реализация Плюсы: • быстро получаем отчёт • легко реализовать Минусы: • бардак • затраты ресурсов • трудно переиспользовать код 11
12. Источники событий Бэкенды: • монолит: php • сервисы: go, python, php • кроны, демоны: go, python, php, shell 12
13. Источники событий Бэкенды: • монолит: php • сервисы: go, python, php • кроны, демоны: go, python, php, shell Фронтенды: js 13
14. Источники событий Бэкенды: • монолит: php • сервисы: go, python, php • кроны, демоны: go, python, php, shell Фронтенды: js Мобильные приложения: swift, java 14
15. Источники событий Бэкенды: • монолит: php • сервисы: go, python, php • кроны, демоны: go, python, php, shell Фронтенды: js Мобильные приложения: swift, java Внешние проекты: c#, java 15
16. Путь события сервис демонок крончик DWH транспорт 16
17. Путь события фронтенд сайта внешний проект мобильное приложение DWH транспорт прокси 17
18. Реестр событий • окружения • события • поля • метаинформация 18
19. Кодогенерация • лангпак php, go, python • отправщик событий в DWH • автодокументация 19
20. Лангпак • геттеры, сеттеры • общая логика 20 class EventOne: def setFieldOne(string value): self.fields[“one”] = value def getFieldOne() -> string: return self.fields[“one”] def getTime() -> Timestamp: return time.now() def getData() -> EventData: return self.fields
21. Отправщик событий 21 сервис демонок крончик DWH транспорт
22. Пример лангпака package someproject type SomeEventV0 struct { *event } func NewSomeEventV0() *SomeEventV0 { e := &SomeEventV0{ event: new( 420, `user@example.org`, `lindows`, ), } e.required["user_id"] = struct{}{} e.required["email"] = struct{}{} e.required["os"] = struct{}{} return e } 22
23. Версионирование событий • нельзя ломать код на бою • нельзя удалять • новая версия события на каждое изменение 23
24. Версионирование лангпаков • нельзя ломать код на бою • новая версия на каждое изменение кода лангпака 24
25. Получение лангпака • php composer install reestr/langpack • go, python curl \ -d '{"environment":"bo"}' \ -H "Content-Type: application/json" \ http://reestr/langpack/go/0/ | tar x 25
26. Отправка событий • php $clickstreamSender->send($event); • go err := clickstreamSender.Send(event) • python clickstream_sender.send(event) 26
27. Протохитрости 27 фронтенд сайта внешний проект мобильное приложение DWH транспорт прокси
28. Протохитрости Мобильные приложения message MobileAppEvent { int32 eventId = 1; int32 version = 2; int32 timestamp = 3; map<string,string> params = 4; } 28 Сторонние проекты message ExternalProjectEvent { int32 someIntField = 1; string someStringField = 2; bool someBoolFied = 3; }
29. Объекты event = { ‘scalar_field’: ‘some_string’, ‘object_field’: { ‘inner_scalar’: 3.14, ‘inner_object’: { … } } } 29 Плюсы: • наборы объектов Комплексность: • лангпаки • админка реестра • валидация
30. Административности • идентификация владельцев событий • отслеживание девиаций: технических, логических • вывод из эксплуатации неиспользуемых событий • интеграция в работающие проекты 30
31. Настоящее • десятки источников • более тысячи версий событий • логируется около двух миллиардов событий в сутки 31
32. Будущее • ускорение создания событий • нативные пакеты с лангпаками для python и go • статус отправки события • доменная модель компонентов 32
33. Спасибо за внимание 33