Вопрос-ответные системы в облаке Yandex Cloud на основе продвинутого RAG и многоагентности

Transcript

1. PiterPy 2024 м Дмитрий Сошников Доцент НИУ ВШЭ/МАИ, консультант Yandex Cloud, тех. руководитель AI Lab ШД НИУ ВШЭ Tg: @shwarsico Вопрос-ответные системы в облаке Yandex Cloud на основе продвинутого RAG и многоагентности ХАЛЯВА
2. PiterPy 2024 Специализированный чат-бот, который обладает предметными знаниями Типовая задача
3. PiterPy 2024 Специализированный чат-бот, который обладает предметными знаниями Типовая задача Употребление алкоголя вредит вашему здоровью…
4. PiterPy 2024 Откуда берутся знания у LLM 4
5. PiterPy 2024 Откуда берутся знания у LLM 5
6. PiterPy 2024 Full Fine-Tuning ▪ Много обучающих примеров ▪ Много ресурсов на обучение ▪ Изменяются веса исходной модели ▪ Получается новая языковая модель с большим числом параметров Как добавить знания в LLM? LoRA Fine-Tuning ▪ Вместо обучения всех параметров обучается «добавка» к весам, которая раскладывается на матрицы меньшей размерности ▪ Из-за меньшего количества параметров нужно меньше данных и меньше вычислительных ресурсов P-Tuning ▪ Параметры модели не меняются, но подбирается continuous prompt embedding, который помогает достичь нужных результатов ▪ Требует меньше всего вычислительных ресурсов и данных для обучения ▪ Хорошо работает на изменение формата ответа, но не знаний модели Дообучение модели 6
7. PiterPy 2024 RAG-Sequence: для генерации всей последовательности используются одни и те же документы RAG-Token: для генерации каждого токена могут использоваться разные документы Как добавить знания в LLM: RAG Lewis, Patrick, et al. «Retrieval-augmented generation for knowledge-intensive nlp tasks.» Advances in Neural Information Processing Systems 33 (2020): 9459-9474. Retrieval-Augmented Generation
8. PiterPy 2024 RAG на практике (Naïve RAG) 8 Prompt Engineering Embedding Векторная база данных E E E E Запрос пользователя YandexGPT API Ответ
9. PiterPy 2024 Гиперпараметры: ▪ Размер фрагмента текста ▪ Размер overlap ▪ Промпт ▪ Алгоритм поиска фрагментов ▪ Количество фрагментов в запросе ▪ Используемые эмбеддинги RAG на практике (Naïve RAG) 9 Prompt Engineering Embedding Векторная база данных E E E E Запрос пользователя YandexGPT API Ответ
10. PiterPy 2024 Демонстрация github.com/ yandex-datasphere/ advanced_rag
11. PiterPy 2024 11 Parent Retriever ▪ Разбиваем фрагменты документов на ещё более мелкие фрагменты ▪ Parent-Child Relationship ▪ Мелкие документы уточняют конкретные понятия, родительские — задают более крупный контекст ▪ Находим ребенка, вбрасываем в контекст родителя Продвинутые стратегии индексации Фрагмент Понятие 1 Понятие 2 11
12. PiterPy 2024 12 Гипотетические вопросы ▪ Из фрагментов документов извлекаются вопросы, на которые эти фрагменты отвечают ▪ Индексируются гипотетические вопросы, вбрасываются в контекст исходные документы Продвинутые стратегии индексации Фрагмент LLM Вопрос 1 Вопрос 2 … 12
13. PiterPy 2024 13 Суммаризация Индексируются суммаризованные фрагменты текста, вбрасываются в контекст исходные документы Продвинутые стратегии индексации Сумм Фрагмент Индекс 13
14. PiterPy 2024 14 Примечания
15. PiterPy 2024 Одна из проблем наивного RAG 15 Мерло Мерло хорошо сочетается с сыром Бри … Каберне Каберне хорошо сочетается с сыром Бри Сира Сыр Бри отлично подходит к вину сорта Сира Вопрос: Какие вина хорошо подходят к сыру Бри?
16. PiterPy 2024 1/ Передача Retrieval-Generator: ▪ Query-based ▪ Latent Representation ▪ Logit-based ▪ Speculative 2/ Улучшения 3/ Нетекстовый RAG Различные вариации RAG Zhao, Penghao, et al. «Retrieval-augmented generation for ai-generated content: A survey.» arXiv preprint arXiv:2402.19473 (2024). 16
17. PiterPy 2024 17 Различные подходы к улучшению RAG 17
18. PiterPy 2024 GraphRAG github.com/microsoft/graphrag 18 Edge, Darren, et al. «From local to global: A graph rag approach to query-focused summarization.» arXiv preprint arXiv:2404.16130 (2024) — Microsoft Research
19. PiterPy 2024 19 ▪ Allemang, Dean, and Juan Sequeda. «Increasing the LLM Accuracy for Question Answering: Ontologies to the Rescue!.» arXiv preprint arXiv:2405.11706 (2024) ▪ Martino, Ariana, Michael Iannelli, and Coleen Truong. «Knowledge injection to counter large language model (LLM) hallucination.» European Semantic Web Conference. Cham: Springer Nature Switzerland, 2023 На стыке явного представления знаний и ML! 19
20. PiterPy 2024 20 ▪ Allemang, Dean, and Juan Sequeda. «Increasing the LLM Accuracy for Question Answering: Ontologies to the Rescue!.» arXiv preprint arXiv:2405.11706 (2024) ▪ Martino, Ariana, Michael Iannelli, and Coleen Truong. «Knowledge injection to counter large language model (LLM) hallucination.» European Semantic Web Conference. Cham: Springer Nature Switzerland, 2023 На стыке явного представления знаний и ML! 20
21. PiterPy 2024 <owl:Class rdf:ID="PastaWithSpicyRedSauceCourse"> <owl:intersectionOf rdf:parseType="Collection"> <owl:Class rdf:about="#MealCourse" /> <owl:Restriction> <owl:onProperty rdf:resource="#hasFood" /> <owl:allValuesFrom rdf:resource="#PastaWithSpicyRedSauce" /> </owl:Restriction> </owl:intersectionOf> <rdfs:subClassOf> <owl:Restriction> <owl:onProperty rdf:resource="#hasDrink" /> <owl:allValuesFrom> <owl:Restriction> <owl:onProperty rdf:resource="&vin;hasColor" /> <owl:hasValue rdf:resource="#Red" /> </owl:Restriction> </owl:allValuesFrom> </owl:Restriction> </rdfs:subClassOf> <rdfs:subClassOf> <owl:Restriction> <owl:onProperty rdf:resource="#hasDrink" /> <owl:allValuesFrom> <owl:Restriction> <owl:onProperty rdf:resource="&vin;hasBody" /> <owl:hasValue rdf:resource="#Full" /> </owl:Restriction> </owl:allValuesFrom> </owl:Restriction> </rdfs:subClassOf> Food + Wine Ontology 21 <owl:Class rdf:ID="Merlot"> <rdfs:subClassOf> <owl:Restriction> <owl:onProperty rdf:resource="#hasColor" /> <owl:hasValue rdf:resource="#Red" /> </owl:Restriction> </rdfs:subClassOf> <rdfs:subClassOf> <owl:Restriction> <owl:onProperty rdf:resource="#hasSugar" /> <owl:hasValue rdf:resource="#Dry" /> </owl:Restriction> </rdfs:subClassOf> <rdfs:subClassOf> <owl:Restriction> <owl:onProperty rdf:resource="#hasFlavor" /> <owl:allValuesFrom> <owl:Class> <owl:oneOf rdf:parseType="Collection"> <owl:Thing rdf:about="#Moderate" /> <owl:Thing rdf:about="#Delicate" /> </owl:oneOf> </owl:Class> </owl:allValuesFrom> </owl:Restriction>
22. PiterPy 2024 ▪ Что подавать к Мерло? ▪ Сколько стоит литр Мерло? ▪ Из какого винограда делают Мерло? Многоагентные системы Маршрутизатор LLM Онтологические рассуждения RAG 22
23. PiterPy 2024 23 ▪ Промт для YandexGPT API ▪ Zero-shot Endpoint ▪ Few-shot Endpoint ▪ Дообучение классификатора Пример наполнения файла для обучения бинарной классификации: Классификаторы на базе YandexGPT API 23
24. PiterPy 2024 24 Sébastien Bubeck, Varun Chandrasekaran, et.al. Sparks of Artificial General Intelligence: Early experiments with GPT-4 arXiv:2303.12712 [cs.CL] Основная проблема — линейный характер модели предсказания слов, отсутствие возможности размышлять с возвратами, в стиле «генерация и проверка» Проблема с рассуждениями у LLM 24 LLM-генератор LLM-проверяльщик
25. PiterPy 2024 25 Многоагентные системы с верификацией 25 Маршрутизатор LLM Онтологические рассуждения RAG
26. PiterPy 2024 Архитектура 26
27. PiterPy 2024 Архитектура 27
28. PiterPy 2024 Что лучше есть с самым известным вином из Австралии? Function Calling Cписок возможных функций Функция LLM 28
29. PiterPy 2024 Два подхода к оркестрации MAC An LLM A1 29 M V A2 A1 An LLM-оркестрация (Function Calling) Ручная оркестрация …
30. PiterPy 2024 Learning to Reason and Use Tools ▪ Suprevision ▪ Reinforcement Learning Mialon G. et al. Augmented language models: a survey //arXiv preprint arXiv:2302.07842. — 2023 30 Reasoning [=Problem Decomposition] ▪ CoT ▪ Recursive Prompting Using Tools ▪ Information Retrieval ▪ Navigating the Web ▪ Symbolic Models and Code Interpreters ▪ Acting ▪ Calling Other Models Обзор разных подходов к аугментированию LLM 01/ 01/ 02/ 03/
31. PiterPy 2024 Принцип метасистемного перехода и эмерджентность Эволюционная кибернетика 31 Турчин, Валентин Федорович. «Феномен науки: Кибернетический подход к эволюции». (1993): 2000 г.
32. PiterPy 2024 Принцип метасистемного перехода и эмерджентность Эволюционная кибернетика 32 Турчин, Валентин Федорович. «Феномен науки: Кибернетический подход к эволюции». (1993): 2000 г.
33. PiterPy 2024 Принцип метасистемного перехода и эмерджентность Эволюционная кибернетика 33 Турчин, Валентин Федорович. «Феномен науки: Кибернетический подход к эволюции». (1993): 2000 г.
34. PiterPy 2024 LLM вдыхают новую жизнь в теорию мультиагентных систем. За счет синергетичес- кого эффекта МАС позволяют улучшать результаты LLM, хотя иногда за счет существенного увеличения стоимости 34 Различные подходы к обогащению LLM с помощью внешних знаний позволяют подобрать подход, оптимальный для решения конкретной задачи Graph RAG — это движение в сторону объединения неявного (LLM) и явного (графы, онтологии, семантические сети) представления знаний, в большей интерпретируемости Мораль 01/ 01/ 02/ 03/
35. PiterPy 2024 Спасибо за внимание! Дмитрий Сошников Доцент НИУ ВШЭ/МАИ, консультант Yandex Cloud, тех. руководитель лаборатории ГенИИ Школы дизайна НИУ ВШЭ t.me/shwarsico