ИТ Митап-на-Дону | Мультиагентный ИИ как платформа | Аватар Машина

Мультиагентный ИИ: архитектура FractalAgents и подходы к построению систем на базе LLM с разделением ролей — от планирования и выборки моделей до выполнения и генерации ответов. Сравнение с AutoGPT, HuggingGPT, JARVIS и другими системами. Примеры использования: reasoning, автоматическая сборка агентов, приватный вывод, кооперация между агентами и минимизация ошибок при многошаговых рассуждениях.

Спикер: Носко Виктор | Генеральный Директор ООО «Аватар Машина»

Transcript

1. FractalAgents AI
4. • • • (tool for developers to build customized LLM orchestration flow & AI agents)
5. 120000 вариантов
6. Новая парадигма агентного поиска • • • • • • • • •
7. Manus. Китайский ИИ В тесте для ИИ-агентов GAIA, который проверяет их способность рассуждать, совершать действия на веб-страницах и просматривать медиафайлы, Manus превзошёл Deep research от OpenAI. Например, при запросе «найти квартиру в Сан-Франциско» Manus не просто даёт выжимки с сайтов из поиска, а учитывает статистику преступлений, стоимость аренды и погодные условия.
9. 1 Prompting group Chain-of-Thought, Tree of Thoughts, Program-of-Thoughts, AutoCoT, OPRO, Automatic Prompt Engineer, Zero-shot prompt (APE), Plan-and-Solve, CoT Self-Consistency, Least-to-Most Prompting, Act-React, Language Agent Tree Search, etc. Projects: AutoGPT, AgentGPT, babyAGI, MetaGPT 2 Tool use group GPT-4 + plugins(?), Fusion brain (Sber), TaskMatrix.AI, Gentopia 3 Planning, mutation group AutoGen, HuggingGPT, DSPy, Promptbreeder, LLM Programs 4 Multi-agent, Reasoning group FractalGPT, HuggingGPT (Jarvis), AgentLM ИИ конференция Ai Journey https://aij.ru/archive?albumId=2&videoId=293
10. A collaborative system that consists of an LLM as the controller and numerous expert models as collaborative executors (from HuggingFace Hub). The workflow of our system consists of four stages: Task Planning: Using ChatGPT to analyze the requests of users to understand their intention, and disassemble them into possible solvable tasks. Model Selection: To solve the planned tasks, ChatGPT selects expert models hosted on Hugging Face based on their descriptions. Task Execution: Invokes and executes each selected model, and return the results to ChatGPT. Response Generation: Finally, using ChatGPT to integrate the prediction of all models, and generate responses.
11. Generative Agents: Interactive Simulacra of Human Behavior В основе архитектуры агента три компонента: 1) Memory stream для хранения жизненного опыта (experiences) агента. 2) Reflection, синтезирующий воспоминания в более высокоуровневые выводы. 3) Planning, транслирующий умозаключения агента и состояние среды в верхнеуровневые планы и детальные поведения. Специальная retrieval-функция получает на вход текущую ситуацию агента и возвращает подмножество событий из памяти, чтобы передать в LLM. Скор каждого элемента зависит от трёх факторов: - Recency, экспоненциально затухающая свежесть, вычисляемая из времени последнего обращения к элементу. - Importance, получаемая из LLM по целочисленной шкале от 1 до 10, где 1 это что-то совсем бытовое и незначительное (чистил зубы), а 10 что-то очень важное (развод, поступление в колледж). - Relevance, которая считается через косинусную близость полученных через LLM эмбеддингов запроса и элемента памяти. https://arxiv.org/abs/2304.03442
13. 10 20 40 60 85 3 hop 1 hop 2 hop 4 hop 5 hop LLM с промтинг агентом, Вероятность ошибки% FractalGPT с агентом Стратегии, Вероятность ошибки % 5 12 15 18 23 3 hop 1 hop 2 hop 4 hop 5 hop После 3го шага вероятность галлюцинации часто более 50% Гладкий рост
14. https://ru.wikipedia.org/wiki/Многоагентная_система https://en.wikipedia.org/wiki/Multi-agent_system
17. Let’s talk about data
19. PickLLM: Context-Aware RL-Assisted Large Language Model Routing (12 dec 2024) https://arxiv.org/pdf/2412.12170v1
20. • • • •
21. https://www.youtube.com/watch?v=TXyoTnaL9Ko
23. Сравнение с другими подходами Фича FractalAgents MAS Конкуренты Фактология Да. Используется MASL. Нет галлюцинаций при генерации ответа Нет. Принципиальная невозможность использовать модель в критических отраслях Логический вывод (reasoning) Да. Работа с логикой и рассуждениями на уровне агентов Нет. Статистическая генерация, требуются гигантские модели для работы логики Оптимальная автосборка агентов Да. Собственное ядро экосистемы, ИИ Агенты как apps бизнеса, self-evolving с самообучением Нет. (OpenAi GPT-4, Anthropic) Подключение plugins в виде Wikipedia, Zapier и др. сервисов Мультимодальность, кооперация Да. Саморазвитие системы агентов за счет координации и кооперации в решении сложных задач Нет. Фундаментальная проблема катастрофического накопления ошибки (AutoGPT, Toolformer, HuggingGPT) Оптимизация по: цене, скорости, качеству Да. Есть динамическая реконфигурация графа workflow агентов Нет. Работает только tool-use с вызовом сторонних LLM Ключевые параметры продукта МАС