Upgrade to Pro — share decks privately, control downloads, hide ads and more …

In geheimer Mission: AI Agents mit .NET und Ope...

In geheimer Mission: AI Agents mit .NET und OpenAI entwickeln

Avatar for Jörg Neumann

Jörg Neumann

March 07, 2025
Tweet

More Decks by Jörg Neumann

Other Decks in Programming

Transcript

  1. THEMEN  AI Development  Business App Development  Frontend

    Technologies  Development, Consulting, Coaching, Training KONTAKT  Mail: [email protected]  LinkedIn: www.linkedin.com/in/jörgneumann  X: @JoergNeumann  Web: www.neogeeks.de JÖRG NEUMANN Founder & CEO NeoGeeks GmbH Azure OpenAI Service, Azure Machine Learning Platform
  2. BOTS, ASSISTANTS & AGENTS Chatbot Allgemeine Fragen beantworten, sowie Texte

    und Bilder generieren RAG Fragen auf Basis einer fachlichen Grundierung beantworten Assistant Assistent der mit dem Benutzer zusammenarbeiten und Tools verwenden, um eine Aufgabe zu erledigen Agents Vollständig autonom agierende Agenten, die zusammen eine Aufgabe erledigen und nur sehr wenig Benutzerinteraktion erfordern
  3. DATEN • Dokumente • Datenbankinhalte TOOLS • Functions • Code

    Interpreter • File Search WAS IST EIN AGENT? Ausgabe Eingabe ML Model • Speech, Vision • Regression • Klassifizierung Agent übernimmt Teilaufgaben LLM
  4. ASSISTANTS OPEN AI ASSISTANTS API  Bietet eine stateful API

    für die Entwicklung von Assistenten  Session / Thread Management  Bietet Tools: Code Interpreter, File Search, …  Wird zukünftig durch die Responses API abgelöst PACKAGES  Python: PyPi package  C#: Microsoft.SemanticKernel.Agents.OpenAI, Microsoft.SemanticKernel.Agents.Core  Quickstart, Tutorials, Semantic Kernel Samples
  5. ENTWICKLUNG SEMANTIC KERNEL  Framework von Microsoft  Modell-unabhängig 

    Entwicklung mit C#, Python oder Java möglich API-MODELLE  Assistant API Agents: Wenn die OpenAI Assistant API verwendet wird • Microsoft.SemanticKernel.Agents.Abstraction  Chat Completion Agents: Wenn andere Modelle verwendet werden • Microsoft.SemanticKernel.Agents.Core
  6. OPEN AI ASSISTANTS API CODE INTERPRETER  Erzeugen und ausführen

    von Python-Scripts in einer Sandbox  Assistant Playground: No-Code-Umgebung zum Testen  OpenAI Playground
  7. ASSISTANTS FILE SEARCH  Bietet die Möglichkeit Dateien hochzuladen und

    zu analysieren  Bis zu 10K Dateien pro Assistent  Semantischer Suche mit Hilfe von Vector Stores
  8. ZUKÜNFTIGE ENTWICKLUNG WEITERE TOOLS  Web Search: Fragen auf Grundlage

    von Web-Suchen beantworten  Computer Use: Lokalen Rechner fernsteuern, um Aufgaben zu erledigen
  9. MULTI-AGENT ORCHESTRATION HINTERGRUND  Mehrere Agents erledigen gemeinsam eine Aufgabe

     Bessere Resultate durch Cross-funktionale Teams  Organisator/Planner koordiniert die Arbeiten
  10. AGENTS Agent 2 Agent 1 Agent 4 Agent 3 Plug-In

    2 Plug-In 1 Tool 2 Tool 1 Group Chat User
  11. GROUP CHAT AUFGABE  Gemeinsame Chat History  Es wird

    eine feste Reihenfolge festgelegt  Die Kommunikation läuft im Kreis  Termination-Strategie dient zur Beendigung
  12. TERMINATION STRATEGIES KLASSEN  AggregatorTerminationStrategy Aggregiert ein Set von TerminationStrategy-Objekten.

     KernelFunctionTerminationStrategy Signalisiert die Beendigung basieren auf der Auswertung einer Kernel-Funktion.  RegexTerminationStrategy Signalisiert die Beendigung, wenn die neuste Nachricht mit der definierten RegEx für den angegebenen Agenten übereinstimmt.
  13. WAS GIBT‘S SONST NOCH? PROCESS FRAMEWORK  Event-getriebenes Modell zur

    Automatisierung komplexer Workflows  Definiert einen Prozess mit mehreren Schritten und einem Ablaufmuster  Basiert auf .NET  Teil von Semantic Kernel (Microsoft.SemanticKernel.Process.*)
  14. WAS GIBT‘S SONST NOCH? AUTOGEN  Open Source-Projekt von Microsoft

    Research  Unterstützt auch Human- und Multi-Agent-Workflows  Basiert auf Python  AutoGen Home
  15. WAS GIBT‘S SONST NOCH? OPENAI RESPONSES API  Neue API

    von OpenAI für Agent-Entwicklung  Kombiniert Chat API & Assistants API  Verfügbar für Python und JS  Teil des openai package pip install --upgrade openai
  16. WAS GIBT‘S SONST NOCH? OPENAI AGENTS SDK  Vereinfacht die

    Orchestrierung von Multi-Agenten-Workflows  Nachfolger des Swarm-Frameworks von OpenAI  Verfügbar für Python und Node.js (demnächst) pip install openai-agents
  17. FAZIT  Assistenten können Aufgaben erledigen und hierfür Tools verwenden

     Dynamische Code-Generierung durch Code Interpreter  Agenten bilden autonome Teams, in denen sie miteinander interagieren und gemeinschaftlich Aufgaben erledigen  Mit Hilfe von Tools & Plug-Ins können die Systeme aktiv handeln
  18. RESSOURCEN  AI Agents for Beginners  Azure AI Agent

    Service  Semantic Kernel Agent Samples  OpenAI Responses API
  19. RESSOURCEN SEMANTIC KERNEL: PROCESS FRAMEWORK  Integrating AI into Business

    Processes with the Process Framework  Process Framework learning content  .NET samples on GitHub
  20. OPENAI ASSISTANTS – SUPPORTED FILE TYPES File format MIME Type

    Code Interpreter .c text/x-c .cpp text/x-c++ .csv application/csv .docx application/vnd.openxmlformats-officedocument.wordprocessingml.document .html text/html .java text/x-java .json application/json .md text/markdown .pdf application/pdf .php text/x-php .pptx application/vnd.openxmlformats-officedocument.presentationml.presentation .py text/x-python .py text/x-script.python .rb text/x-ruby .tex text/x-tex .txt text/plain .css text/css .jpeg image/jpeg .jpg image/jpeg .js text/javascript .gif image/gif .png image/png .tar application/x-tar .ts application/typescript .xlsx application/vnd.openxmlformats-officedocument.spreadsheetml.sheet .xml application/xml or "text/xml" .zip application/zip
  21. "The electric light did not come from the continuous improvement

    of candles." Oren Harari, Wirtschaftsprofessor NeoGeeks AI Workshops Generative AI eröffnet viele neue Möglichkeiten in diversen Geschäftsbereichen. Ob als Chat im Kundensupport, als Unterstützung im Vertragsmanagement, dem Texten und Entwerfen von Logos im Marketing oder als Hilfe beim Onboarding neuer Mitarbeiter*innen – das Feld an Möglichkeiten ist vielfältig. Doch auch die Themen Datenschutz und IT-Sicherheit müssen hierbei berücksichtig werden. Wir möchten Euch helfen von den neuen Möglichkeiten zu profitieren! Dazu bieten wir Euch individuelle Workshop an, in denen wir zeigen, wie Ihr AI-Modelle in Eurem Unternehmen sicher betreiben und mit Eurem domänenspezifischen Wissen trainieren könnt. Wir unterstützen Euch beim Finden von sinnvollen Einsatzszenarien, dem Sammeln und Aufbereiten der erforderlichen Daten, bis hin zur Integration in Eure IT- Landschaft. Wir helfen Euer AI-Vorhaben zu realisieren. AI Ideation Workshop • Einordnung des Themas und der Möglichkeiten • Ideenfindung im Kontext des eigenen Geschäfts • Zielgruppe: Entscheider • Dauer: ½ Tag › Die Agenda kann individuell auf Eure Bedürfnisse angepasst werden. › Wir führen die Workshops je nach Bedarf bei Euch im Haus oder remote durch. › Im Anschluss erhaltet ihr neben dem Folienmaterial eine Dokumentation der diskutierten Themen, sowie eine Empfehlung für das weitere Vorgehen. › Die Workshops werden durch Jörg Neumann durchgeführt. Er ist Microsoft MVP für die Bereiche Azure OpenAI Service und Azure Machine Learning Platform und verfügt über langjährige Erfahrung im AI-Umfeld. Kontakt: [email protected] AI Exploration Workshop • Überblick der technischen Möglichkeiten • Entwurf eines Projekts oder PoC • Projektplanung und Setup • Zielgruppe: Architekten • Dauer: 1 Tag AI Developer Training • Technisches Training zu GenAI • Anpassen von Modellen • Entwickeln von AI-Lösungen • Zielgruppe: Entwickler • Dauer: 2 Tage Coaching und Mentoring • Beratung und Projekt- begleitendes Coaching Development Power • Unterstützung für Euer Team • Entwicklung Eurer Lösung