GigaSearch или RAG в GigaChat

Конференция GIGA R&D DAY
Презентации на Google Drive: https://drive.google.com/drive/folders/1t1Y5sH4mGFAIzdcrrfXz8m65QEmghA7U
Выступления: https://www.youtube.com/playlist?list=PLJU_M19giWaHVbfs2ltF1kBxUrjAblCD1

Transcript

1. GigaSearch Our way of doing RAG powered by GigaChat Prokhor Gladkikh DS Team Lead в SberDevices
2. Что такое RAG? GigaSearch под капотом Что дальше? Метрики качества Вопросы вопросы длительность доклада 2 О чем этот доклад?
3. 1-ая проблема LLM: Галлюцинации
4. 1-ая проблема LLM: Галлюцинации 2-ая проблема LLM: Низкая интерпретируемость ответа
5. 3-ая проблема LLM: Устаревшая информация Источник: https://arxiv.org/pdf/2310.03214.pdf 5
6. Что такое RAG (Retrieval-Augmented Generation)? Image: https://www.datacamp.com/blog/what-is-retrieval-augmented-generation-rag 6
7. Развитие RAG Источник: https://arxiv.org/pdf/2312.10997.pdf 7
8. GigaSearch – наш способ сделать RAG на GigaChat Когда была обучена первая ML модель? 8
9. GigaSearch – наш способ сделать RAG на GigaChat Когда была обучена первая ML модель? PROMPT Ты - система генерации ответа на основе поисковой выдачи. Тебе дан вопрос и поисковая выдача. Создай краткий и информативный ответ. {{ПРЕДЫДУЩИЙ_ДИАЛОГ}} {{ВОПРОС_ПОЛЬЗОВАТЕЛЯ}} 9
10. GigaSearch – наш способ сделать RAG на GigaChat Поиск Получает топ-3 части из базы знаний Когда была обучена первая ML модель? PROMPT Ты - система генерации ответа на основе поисковой выдачи. Тебе дан вопрос и поисковая выдача. Создай краткий и информативный ответ. {{ПРЕДЫДУЩИЙ_ДИАЛОГ}} {{ВОПРОС_ПОЛЬЗОВАТЕЛЯ}} 10
11. GigaSearch – наш способ сделать RAG на GigaChat Поиск Получает топ-3 части из базы знаний Когда была обучена первая ML модель? Open Search + vectors PROMPT Ты - система генерации ответа на основе поисковой выдачи. Тебе дан вопрос и поисковая выдача. Создай краткий и информативный ответ. {{ПРЕДЫДУЩИЙ_ДИАЛОГ}} {{ВОПРОС_ПОЛЬЗОВАТЕЛЯ}} 11
12. GigaSearch – наш способ сделать RAG на GigaChat Поиск Получает топ-3 части из базы знаний Когда была обучена первая ML модель? Open Search + vectors топ-100 PROMPT Ты - система генерации ответа на основе поисковой выдачи. Тебе дан вопрос и поисковая выдача. Создай краткий и информативный ответ. {{ПРЕДЫДУЩИЙ_ДИАЛОГ}} {{ВОПРОС_ПОЛЬЗОВАТЕЛЯ}} 12
13. GigaSearch – наш способ сделать RAG на GigaChat Поиск Получает топ-3 части из базы знаний Когда была обучена первая ML модель? Open Search + vectors …самая ранняя модель машинного обучения была представлена в 1950-х годах, когда Артур Сэмюэл изобрел программу, которая вычисляла… Reranker топ-100 топ-3 PROMPT Ты - система генерации ответа на основе поисковой выдачи. Тебе дан вопрос и поисковая выдача. Создай краткий и информативный ответ. {{ПРЕДЫДУЩИЙ_ДИАЛОГ}} {{ВОПРОС_ПОЛЬЗОВАТЕЛЯ}} ======== {{ПОЛУЧЕННЫЕ_ЧАСТИ_ТЕКСТА}} ========= Ответ: ПОЛУЧЕННЫЕ_ЧАСТИ_ТЕКСТА {{ЧАСТЬ_ТЕКСТА}} {{ИНДЕКС_ЧАСТИ}} Где {{ЧАСТЬ_ТЕКСТА}} – часть документа И {{ИНДЕКС_ЧАСТИ}} – уникальный индекс этой части 13
14. GigaSearch – наш способ сделать RAG на GigaChat Поиск GigaChat Получает топ-3 части из базы знаний Генерирует ответ основываясь на найденных знаниях Когда была обучена первая ML модель? Open Search + vectors …самая ранняя модель машинного обучения была представлена в 1950- х годах, когда Артур Сэмюэл изобрел программу, которая вычисляла… Reranker топ-100 топ-3 PROMPT Ты - система генерации ответа на основе поисковой выдачи. Тебе дан вопрос и поисковая выдача. Создай краткий и информативный ответ. {{ПРЕДЫДУЩИЙ_ДИАЛОГ}} {{ВОПРОС_ПОЛЬЗОВАТЕЛЯ}} ======== {{ПОЛУЧЕННЫЕ_ЧАСТИ_ТЕКСТА}} ========= Ответ: ПОЛУЧЕННЫЕ_ЧАСТИ_ТЕКСТА {{ЧАСТЬ_ТЕКСТА}} {{ИНДЕКС_ЧАСТИ}} Где {{ЧАСТЬ_ТЕКСТА}} – часть документа И {{ИНДЕКС_ЧАСТИ}} – уникальный индекс этой части 14
15. Шаги по улучшению RAG Prompt Engineering 15
16. Шаги по улучшению RAG Classification Prompt Engineering 16
17. Шаги по улучшению RAG Classification Fine-tune Embeddings Prompt Engineering 17
18. Шаги по улучшению RAG Classification Fine-tune Embeddings LLM Fine-tune Prompt Engineering 18
19. Шаги по улучшению RAG Classification Fine-tune Embeddings LLM Fine-tune Reranking Prompt Engineering 19
20. Шаги по улучшению RAG Classification Fine-tune Embeddings LLM Fine-tune Reranking Additional Search Features Prompt Engineering 20
21. 21 Fine-tune Search Embeddings Картинки: https://habr.com/ru/companies/sberdevices/articles/527576/, Статья: https://arxiv.org/pdf/2004.04906.pdf Функция потерь: Encoder: XLM-Roberta-large (e5) anchor, positive, hard negative
22. 22 Fine-tune Reranker Запрос Ответ
23. 23 Fine-tune Reranker XLM-Roberta-large Запрос Ответ
24. 24 Fine-tune Reranker Score XLM-Roberta-large Запрос Ответ
25. 25 Fine-tune Reranker Score XLM-Roberta-large Запрос Ответ Loss: Binary Cross Entropy
26. 26 Fine-tune Reranker Score XLM-Roberta-large Запрос Ответ Loss: Binary Cross Entropy Спасибо команде RnD и iSearch ❤
27. Повышение метрик при включении GigaSearch 27
28. Повышение метрик при включении GigaSearch +23 Достоверность 52 75 28
29. Повышение метрик при включении GigaSearch +23 Достоверность 52 75 Стиль 29
30. Повышение метрик при включении GigaSearch +23 Достоверность 52 75 Стиль Лаконичность 30
31. Повышение метрик при включении GigaSearch +23 Достоверность 52 75 Стиль Лаконичность Ясность 31
32. Повышение метрик при включении GigaSearch +23 Достоверность 52 75 Стиль Лаконичность Ясность Уместность *Замер выполнен на фактологических запросах 32
33. Как GigaChat дает ссылки на источники? 33
34. Что дальше? 34
35. 35 Проблема последующих вопросов Когда родился Николай второй?
36. 36 Проблема последующих вопросов Когда родился Николай второй? 6 мая 1868 года
37. 37 Проблема последующих вопросов Когда родился Николай второй? 6 мая 1868 года А сколько у НЕГО было детей?
38. 38 Проблема последующих вопросов Когда родился Николай второй? 6 мая 1868 года А сколько у НЕГО было детей?
39. 39 Проблема последующих вопросов Когда родился Николай второй? 6 мая 1868 года А сколько у НЕГО было детей? Поиск А сколько у него было детей?
40. 40 Проблема последующих вопросов Когда родился Николай второй? 6 мая 1868 года А сколько у НЕГО было детей? Поиск А сколько у него было детей? ???
41. 41 Проблема multi-hop вопросов Какая река длинней Волга или Ока? Поиск Какая река длинней Волга или Ока? Статья про реку Волга? Статья про реку Ока?
42. Гига-функции! 42
43. 43 Гига-функция retrieval
44. 44 Проблема последующих вопросов [Решено] Когда родился Николай второй? 6 мая 1868 года А сколько у НЕГО было детей?
45. 45 Проблема последующих вопросов [Решено] Когда родился Николай второй? 6 мая 1868 года А сколько у НЕГО было детей?
46. 46 Проблема последующих вопросов [Решено] Когда родился Николай второй? 6 мая 1868 года А сколько у НЕГО было детей? Поиск Сколько детей было у Николая первого?
47. 47 Проблема последующих вопросов [Решено] Когда родился Николай второй? 6 мая 1868 года А сколько у НЕГО было детей? Поиск Сколько детей было у Николая первого?
48. 48 Проблема multi-hop вопросов [Решено] Какая река длинней Волга или Ока?
49. Проблема multi-hop вопросов [Решено] Какая река длинней Волга или Ока? 49
50. 50 Проблема multi-hop вопросов [Решено] Какая река длинней Волга или Ока? Поиск Какая длина у реки Волга? Поиск Какая длина у реки Ока?
51. 51 Проблема multi-hop вопросов [Решено] Какая река длинней Волга или Ока? Поиск Какая длина у реки Волга? Поиск Какая длина у реки Ока?
52. Прохор Гладких prohor33 prohorgladkikh prohorgladkikh prohor-gladkikh Ссылка на слайды prohorg Контакты Спасибо за внимание!