[SnowOne 2025] Настя Лисицкая: "Алиса: засценарье. Сквозь сценарии и что там может найти разработчик"

Рассмотрим принцип работы умного ассистента и постепенно погрузимся в детали разработки. Разберемся, что такое сценарий в терминах Алисы и посмотрим, как все меняется с применением LLM для реализации смарт-функций.

Видео: https://youtu.be/fT83db4tN2E

Transcript

1. Алиса — засценарье Сквозь сценарии, и что там может найти разработчик Яндекс Настя Лисицкая
2. 2 • Больше 8 лет в Яндексе занимаюсь java разработкой • Сейчас тимлид в команде разработки продуктивности и международных сценариев в Алисе • Участник рабочей группы java-комьюнити в Яндексе Кто я
3. 3 Введение • Поверхности • Терминология • Инфраструктурные компоненты Эволюция архитектуры • Архитектура v1 • Архитектура v2 • Архитектура v3 Постконстракшен • Тестирование • Релизы • Проблемы Выводы 01 • 0 • 0 • 0 02 • 0 • 0 • 0 • 0 • 0 03 • 0 • 0 • 0 04
4. 4 01 Будет: • Обзор развития архитектуры Алисы 02 Не будет: • Про железки • Про джавовые кишки • ML О чём
5. 5 Введение Алиса — виртуальный ассистент, созданный в Яндексе
7. 7 Места обитания Устройства Яндекса • Станции • ТВ станции Поверхности партнеров • Девайсы с экраном • Операционная система YaOS Приложения • Дом с Алисой • Приложение Алисы • Браузер, приложения Яндекса и тд.
8. 8 «И вправду, план был замечательный — такой простой и ясный. Одно только плохо: Алиса не имела ни малейшего представления о том, как всё это сделать» — Льюис Кэрол История Запрос Ответ
9. 9 Терминология • Интент — задача, которую пользователь формулирует в конкретной реплике. • Сценарий — задача пользователя, которую он решает с помощью голосового помощника. Сценарии состоят из одного или нескольких интентов.
10. 10 Начинаем погружение
11. 11 Инфраструктурные компоненты
12. 12 ASR — Automatic Speech Recognition
13. 13 NLU — Natural Language Understanding
14. 14 NLG — Natural Language Generator
15. 15 TTS — Text To Speech
16. 16 Эволюция архитектуры
17. 17 2017 — Алиса в поисковом приложении 2018 — первая колонка
18. 18 Архитектура v1 Запрос VINS (Voice Interface Service) — диалоговый движок Алисы. BASS (Back End Assistant) — реализация бизнес-логики и работа с внешними источниками Ответ … weather music A S R T T S
19. 19 Монолитом веет
20. 20 Идея Разделение сценариев и классификации запросов
21. 21 Архитектура v2 Ответ Begemot (NLU) Запрос auth geo … музыка видео будильники календарь Алиса v1 music back kinopoisk calendar Сценарии
22. 22 Аппхост — это экосистема для создания сервисов на базе микросервисной инфраструктуры внутри Яндекса. Позволяет декларативно описать, как запрос в сервис должен быть обработан. Предоставляет: • масштабируемый сервис с трейсами, мониторингами • сервис дискавери • балансировку нагрузки и тп. Apphost Про apphost
23. 23 Граф MEGAMIND
24. 24 Граф MEGAMIND
25. 25 Граф MEGAMIND
26. 26 Граф MEGAMIND
27. 27 Графы сценариев • Запросы отправляются по gRPC в формате Binary Protobuf • Ответ каждой ручки должен укладываться в 300 мс.
28. 28 2019 — фреймворки для разработки сценариев
29. 29 1. Фреймворк на С++ 2. С базовым графогенератором 3. Релизный флоу — 2 раза в неделю Hollywood
30. 30 1. Фреймворк на Kotlin 2. С базовым графогенератором 3. Релизный флоу с ежедневными релизами Кronstadt
31. 31 Пройдемся по созданию сценария
32. 32 Name: "Calendar" Description: "Работа с календарём” DataSources: [{Type: AUTH_INFO}] Capabilities: [{Type: ViewCapabilityType}, {Type: OnOffCapabilityType}] AcceptedIntents: [ "alice.calendar.event_set", "alice.calendar.event_show", …] Enabled: True Конфиг сценария в Megamind
33. 33 1. Определение сцены по интенту 2. Формирование аргументов сцены 3. Обработка запроса сценой 4. Формирование ответа Для реализации сценария из одной сцены достаточно реализовать два соответствующих интерфейса Реализация сценария
34. 34 interface IScenario<State> { val scenarioMeta: ScenarioMeta val scenes: List<Scene<State, *>> val grpcHandlers: List<RpcHandler<*, *>> … val name: String get() = scenarioMeta.name fun doPrepareSelectScene(request: MegaMindRequest<State>, responseBuilder: ScenePrepareBuilder) fun doSelectScene(request: MegaMindRequest<State>): SelectedScene.Running<State, *>? fun prepareRun(request: MegaMindRequest<State>, responseBuilder: ApphostResponseBuilder, selectedScene: SelectedScene.Running<State, *>) … Scenario
35. 35 interface Scene<State, Args : Any> { val name: String @get:JsonIgnore val argsClass: KClass<Args> // process request for the given scene fun selectScene(request: MegaMindRequest<State>): SelectedScene.Running<State, *>? = null fun process(request: MegaMindRequest<State>, args: Args): BaseRunResponse<State>? } Scene
36. 36 @Component class CalendarInformerScene(private val nlg: CalendarNlg) : AbstractScene<CalendarState, CalendarInformerSceneArgs>(CALENDAR_INFORMER, CalendarInformerSceneArgs::class) { private val logger = LogManager.getLogger() override fun process(request: MegaMindRequest<CalendarState>, args: CalendarInformerSceneArgs): RelevantResponse<CalendarState> { logger.info("Process CalendarInformer") val phrase = when (args.kind) { CalendarInformerSceneArgs.InfoType.BIO_UNSUPPORTED -> nlg.bioUnsupported(request) CalendarInformerSceneArgs.InfoType.HOW_TO_SET_EVENT -> nlg.howToSetEvent(request) CalendarInformerSceneArgs.InfoType.ONBOARDING -> nlg.calendarOnboarding(request) CalendarInformerSceneArgs.InfoType.LOGIN_REQUIRED -> nlg.loginRequired(request) else -> nlg.calendarOnboarding(request) } return RunOnlyResponse( layout = CalendarNlg.prepareLayout(phrase), analyticsInfo = buildCommonAI( intent = CALENDAR_INFORMER ), ) }
37. 37 apphost граф
38. 38 { "vertical": "ALICE", "name": "calendar_run", "settings": { "node_deps": { ... "CALENDAR__GET_EVENT_API_PROXY": { "input_deps": [ "CALENDAR__SELECT_SCENE@!calendar_get_events_http_request- >http_request" ] }, … "RESPONSE": { "input_deps": [ "CALENDAR__COMMON_RUN_PROCESS@mm_scenario_response" ] } }, "input_deps": [ "DATASOURCES", "WALKER_RUN_STAGE0" ], "output_deps": [ "RESPONSE" ], "nodes": { "CALENDAR__PRE_SELECT_SCENE": { "backend_name": "KRONSTADT", "params": { "handler": "/kronstadt/scenario/calendar/run/pre_select", "timeout": "100ms", "soft_timeout": "30ms", "attempts": { "max_attempts": 2 } … "responsibles": {} }, "monitoring": { "alerts": [ { "operation": "perc", "warn": 0.09, "crit": 0.1, "prior": 10 } ] } } Конфиг графа сценария
39. 39 Флейм граф вызова сценария
40. 40 2024 — Смарт-функции Смарт-функции на Habr
41. 41 YaC 2024 YaC 2024 — Дом
42. 42 Включи третью серию Богатырей и выключись после неё Надо было бы написать сцену, которая в это матчится и делает действия из двух сценариев Идея v2 сцена_1 сцена_2 сцена_3 сцена_4 Сценарий Минимальная единица операции
43. 43 Сценарий, который состоял из интентов превращается в набор смарт-функций (Tool Calling или Function Calling) Идея v3 Смарт-функция Включи третью серию Богатырей и выключись после неё content_search + Включили контент и поставили таймер сна Минимальная единица операции play_content set_sleep_timer →
44. 44 Как работает Контекст Промпт с описанием смарт-функций Запрос YandexGPT Смарт-функция 1 … Смарт-функция N Ответ Финальный ответ
45. 45 В сценарии В смарт-функциях Сценарий знает весь запрос Запрос знает только модель У модели есть перечень функций с описаниями Классификатор определяет интент. Тэггер выделяет из запроса параметры LLM модель выбирает подходящие функции и заполняет аргументы Реализация логики интента Реализация логики функции Формируем в сценарии полный ответ Заполняем параметры ответа и ошибку, если что не так. Моделька формирует ответ Разница
46. 46 interface LlmFunction<Arg : Message, Result : Message> { val name: String … /** * Initial step of a function, needed to setup request to another node */ fun setup(request: LlmFunctionRequest<Arg>, responseBuilder: ScenePrepareBuilder) { // default noop implementation } /** * Main step of a function to create final response for llm and MegaMind response merger */ fun process(request: LlmFunctionRequest<Arg>): LlmFunctionResponse<Result> } Реализация в фреймворке
47. 47 1. Сбор запросов и генерация стейтов • Описание инструкций для толокеров/ассесоров • Генеративные запросы 2. Разметка редакторами на правильность и вызовы функций 3. Лерн модели на размеченных данных Про сбор данных для лерна
48. 48 Что даёт • Не надо писать под каждую комбинацию какой-то новый интент и для него обучать классификатор с тэггером • Можно научить вызывать последовательность функций • Учитывать контекст • Переиспользовать логику сценариев готовых
49. 49 Постконстракшен
50. 50 • Бот в телеграме — можно настроить любую поверхность, задать экспы, конфиги, переопределить урлы • Реальные устройства и приложения — куда можно запушить конфигурацию с переопределенными урлами и своим набором флагов и экспериментов Тестирование
51. 51 Отладка srcrwr (source rewrite) — позволяет переопределить любую ноду апхостового графа или вообще весь урл на свою локальную копию и запушить на колонку
53. 53 • Unit • It2 — имитируют запрос в сценарий и получают на выходе соответствующий ответ сценария • Evo — эмулируется работа разных поверхностей Алисы. Принимают запрос (текст, как строчку, или голос, как набор байтов) и возвращают предобработанный ответ от бэкенда Алисы. Тесты
54. 54 Релизный флоу • Разработка под флагами • Бета (на стаф) • А/Б на проценты • Фичетоглы • Запуск на 100%
55. 55 • Неоднозначность запросов пользователей • Много компонент — релизы • Сбор данных для приёмки новой фичи • Контроль качества Проблемы сложности
56. 56 • Мир не стоит на месте • Развитие продукта и окружающих технологий влияет на архитектуру • Нет предела совершенству • Алиса много говорит J Выводы
57. 57 На почитать/посмотреть: YaC 2024 - Дом Смарт-функции на Habr Про apphost
58. Спасибо! Яндекс Настя Лисицкая
59. 59 Картинки сгенерированы в Шедевруме shedevrum.ai