Autonome KI-Agenten: Die nächste Evolutionsstufe der künstlichen Intelligenz

Transcript

1. AUTONOME KI-AGENTEN Die nächste Evolutionsstufe der künstlichen Intelligenz Jörg Neumann
2. THEMEN  AI Development  Business App Development  Frontend Technologies  Development, Consulting, Coaching, Training KONTAKT  Mail: joerg.neumann@neogeeks.de  LinkedIn: www.linkedin.com/in/jörgneumann  X: @JoergNeumann  Web: www.neogeeks.de JÖRG NEUMANN Founder & CEO NeoGeeks GmbH Azure OpenAI Service, Azure Machine Learning Platform
3. https://tinyurl.com/vk2rksrb DEMOS
4. BOTS, ASSISTANTS & AGENTS Chatbot Allgemeine Fragen beantworten, sowie Texte und Bilder generieren RAG Fragen auf Basis einer fachlichen Grundierung beantworten Assistant Assistent der mit dem Benutzer zusammenarbeiten und Tools verwenden, um eine Aufgabe zu erledigen Agents Vollständig autonom agierende Agenten, die zusammen eine Aufgabe erledigen und nur sehr wenig Benutzerinteraktion erfordern
5. DATEN • Dokumente • Datenbankinhalte TOOLS • Functions • Code Interpreter • File Search WAS IST EIN AGENT? Ausgabe Eingabe ML Model • Speech, Vision • Regression • Klassifizierung Agent übernimmt Teilaufgaben LLM
6. LIBRARIES VON OPENAI Chat Completion API • Für einfache Chat- Kommunikation • Stateless Assistants API • Stateful • Tools Support • Deprecated Responses API • Stateful • Mehr Tools • Agents Agent SDK • Agent Workflows • Python Features • Guardrails • Tracing Package: openai Package: openai Package: openai Package: openai-agents
7. ENTWICKLUNG SEMANTIC KERNEL  Framework von Microsoft  Modell-unabhängig  Entwicklung mit C#, Python oder Java möglich API-MODELLE  Assistant API Agents: Wenn die OpenAI Assistant API verwendet wird • Microsoft.SemanticKernel.Agents.Abstraction  Chat Completion Agents: Wenn andere Modelle verwendet werden • Microsoft.SemanticKernel.Agents.Core
8. CODE INTERPRETER FUNKTIONSWEISE  Erzeugen und ausführen von Python-Scripts in einer Sandbox  Assistant Playground: No-Code-Umgebung zum Testen  OpenAI Playground
9. DEMO OpenAI Code Interpreter
10. FILE SEARCH FUNKTIONSWEISE  Bietet die Möglichkeit Dateien hochzuladen und zu analysieren  Bis zu 10K Dateien pro Assistent  Semantischer Suche mit Hilfe von Vector Stores
11. DEMO OpenAI File Search
12. OPENAI WEITERE TOOLS  Web Search: Fragen auf Grundlage von Web-Suchen beantworten  Computer Use: Lokalen Rechner fernsteuern, um Aufgaben zu erledigen
13. MULTI-AGENT ORCHESTRATION HINTERGRUND  Mehrere Agents erledigen gemeinsam eine Aufgabe  Bessere Resultate durch Cross-funktionale Teams  Organisator/Planner koordiniert die Arbeiten
14. AGENTS Agent 2 Agent 1 Agent 4 Agent 3 Plug-In 2 Plug-In 1 Tool 2 Tool 1 Group Chat User
15. DEMO Agent Teams mit Semantic Kernel entwickeln
16. WAS GIBT‘S SONST NOCH? PROCESS FRAMEWORK  Event-getriebenes Modell zur Automatisierung komplexer Workflows  Definiert einen Prozess mit mehreren Schritten und einem Ablaufmuster  Basiert auf .NET  Teil von Semantic Kernel (Microsoft.SemanticKernel.Process.*)
17. WAS GIBT‘S SONST NOCH? AUTOGEN  Open Source-Projekt von Microsoft Research  Unterstützt auch Human- und Multi-Agent-Workflows  Basiert auf Python  AutoGen Home
18. WAS GIBT‘S SONST NOCH? OPENAI AGENTS SDK  Vereinfacht die Orchestrierung von Multi-Agenten-Workflows  Nachfolger des Swarm-Frameworks von OpenAI  Verfügbar für Python und Node.js (demnächst) pip install openai-agents
19. FAZIT  Assistenten können Aufgaben erledigen und hierfür Tools verwenden  Dynamische Code-Generierung durch Code Interpreter  Agenten bilden autonome Teams, in denen sie miteinander interagieren und gemeinschaftlich Aufgaben erledigen  Mit Hilfe von Tools & Plug-Ins können die Systeme aktiv handeln
20. Q& A
21. RESSOURCEN  AI Agents for Beginners  Azure AI Agent Service  Semantic Kernel Agent Samples  OpenAI Responses API
22. RESSOURCEN SEMANTIC KERNEL: PROCESS FRAMEWORK  Integrating AI into Business Processes with the Process Framework  Process Framework learning content  .NET samples on GitHub
23. OPENAI ASSISTANTS – SUPPORTED FILE TYPES File format MIME Type Code Interpreter .c text/x-c .cpp text/x-c++ .csv application/csv .docx application/vnd.openxmlformats-officedocument.wordprocessingml.document .html text/html .java text/x-java .json application/json .md text/markdown .pdf application/pdf .php text/x-php .pptx application/vnd.openxmlformats-officedocument.presentationml.presentation .py text/x-python .py text/x-script.python .rb text/x-ruby .tex text/x-tex .txt text/plain .css text/css .jpeg image/jpeg .jpg image/jpeg .js text/javascript .gif image/gif .png image/png .tar application/x-tar .ts application/typescript .xlsx application/vnd.openxmlformats-officedocument.spreadsheetml.sheet .xml application/xml or "text/xml" .zip application/zip
24. "The electric light did not come from the continuous improvement of candles." Oren Harari, Wirtschaftsprofessor NeoGeeks AI Workshops Generative AI eröffnet viele neue Möglichkeiten in diversen Geschäftsbereichen. Ob als Chat im Kundensupport, als Unterstützung im Vertragsmanagement, dem Texten und Entwerfen von Logos im Marketing oder als Hilfe beim Onboarding neuer Mitarbeiter*innen – das Feld an Möglichkeiten ist vielfältig. Doch auch die Themen Datenschutz und IT-Sicherheit müssen hierbei berücksichtig werden. Wir möchten Euch helfen von den neuen Möglichkeiten zu profitieren! Dazu bieten wir Euch individuelle Workshop an, in denen wir zeigen, wie Ihr AI-Modelle in Eurem Unternehmen sicher betreiben und mit Eurem domänenspezifischen Wissen trainieren könnt. Wir unterstützen Euch beim Finden von sinnvollen Einsatzszenarien, dem Sammeln und Aufbereiten der erforderlichen Daten, bis hin zur Integration in Eure IT- Landschaft. Wir helfen Euer AI-Vorhaben zu realisieren. AI Ideation Workshop • Einordnung des Themas und der Möglichkeiten • Ideenfindung im Kontext des eigenen Geschäfts • Zielgruppe: Entscheider • Dauer: ½ Tag › Die Agenda kann individuell auf Eure Bedürfnisse angepasst werden. › Wir führen die Workshops je nach Bedarf bei Euch im Haus oder remote durch. › Im Anschluss erhaltet ihr neben dem Folienmaterial eine Dokumentation der diskutierten Themen, sowie eine Empfehlung für das weitere Vorgehen. › Die Workshops werden durch Jörg Neumann durchgeführt. Er ist Microsoft MVP für die Bereiche Azure OpenAI Service und Azure Machine Learning Platform und verfügt über langjährige Erfahrung im AI-Umfeld. Kontakt: joerg.neumann@neogeeks.de AI Exploration Workshop • Überblick der technischen Möglichkeiten • Entwurf eines Projekts oder PoC • Projektplanung und Setup • Zielgruppe: Architekten • Dauer: 1 Tag AI Developer Training • Technisches Training zu GenAI • Anpassen von Modellen • Entwickeln von AI-Lösungen • Zielgruppe: Entwickler • Dauer: 2 Tage Coaching und Mentoring • Beratung und Projekt- begleitendes Coaching Development Power • Unterstützung für Euer Team • Entwicklung Eurer Lösung