Keine Panik: KI-Modelle sind austauschbar - Kontext nicht

KI-Modelle sind mitterlerweile austauschbar („Commodity“), und deren wirklicher Wert und Nutzen entsteht erst durch spezifischen Kontext (z.B. eigene Daten, Prozesse, Fachsysteme). Während US-Tech-Konzerne den Eindruck vermitteln, unverzichtbar zu sein, ist die eigentliche Stärke mittlerweile die Standardisierung: Modelle wie GPT, Gemini oder Mixtral lassen sich flexibel austauschen, denn industrielle Entwicklungsstandards (z. B. OpenAI-API, Model Context Protocol, Agenten-Frameworks, Agenten-Kommunikationsprotokolle) ermöglichen Anbieterunabhängigkeit und Interoperabilität.

Für die praktische Implementierung sind dabei vier technische Kernbereiche wichtig:

- Einfach abrufbare Sprachmodelle (über offene APIs)
- Kontextbereitstellung (z. B. durch Retrieval Augmented Generation und Tool Nutzung)
- Mehrstufige KI-Abläufe und Agentensysteme (z. B. für Verwaltungsprozesse)
- Kommunikation zwischen KI-Agenten (über offene Protokolle wie A2A und ACP)

Im Sinne des Datenschutzes gibt es europäische Alternativen (und selbstgehostete Modelle). Standards und Kooperationen (bspw. Community Clouds an Hochschulen) ermöglichen neue Wege für vertrauenswürdige, kontextbasierte KI-Lösungen im öffentlichen Sektor. Dabei sollte weniger auf Technik-Hype, sondern mehr auf pragmatische, sichere Umsetzung und eigene Erfahrungen gesetzt werden – etwa bei Hackathons oder durch die Nutzung verfügbarer Ressourcen in Deutschland oder Europa.

Transcript

1. KEINE PANIK: KI-Modelle sind austauschbar • Kontext nicht Ihre Daten werden gebraucht! Denn Daten machen KI erst nützlich! Und OpenAI, Meta, Google, ... wissen das ganz genau - sprechen aber selten darüber. AI4Gov, Berlin, 23. Sept. 2025 Prof. Dr. Nane Kratzke Institut für interaktive Systeme
2. Oft übersehen: Achten Sie mal nicht auf größer werdende Sprachmodelle ... ... sondern auf die Zunahme der Punktdichte (Menge verfügbarer Modelle) im rechten Bereich Es gibt wesentlich mehr Modell-Auswahl als früher! Bildquellen: Spektrum der Wissenschaft und https://arxiv.org/pdf/2304.13712 AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 2
3. Die große "Stärke" des Silicon Valley Eine schwache Position als stark framen! Es heißt: Die großen US-Konzerne hätten die besten Sprachmodelle - "Resistance is futile." Was Sie allerdings NIE von OpenAI, Anthropic, Meta, Google, ... hören werden: Sprachmodelle sind Commodity GPT, Gemini, Claude, Mixtral, ... sind untereinander austauschbar D.h. BigTech ist der Getriebene in diesem Spiel, nicht die Anwender Die Branche ist daher erstaunlich standardisiert (im Vergleich zu anderen Bereichen wie bspw. dem Cloud Computing) Beweis folgt ... Modelle erzeugen ohne Kontext nur Text – keine Wahrheit Sprachmodelle an sich haben keinen Kontext, keinen Zugriff auf Prozesse, Daten und Fachinformationssysteme Relevante und korrekte Antworten ermöglicht nur konkreter Kontext Satzungstexte, Formulare, lokale Zuständigkeiten, interne Prozessregeln, Informationssysteme, Daten, Vorgänge, Entscheidungen, ... Und auf diesem Schatz sitzen bspw. Verwaltungen AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 3
4. Aber ohne Standards wird das nichts ... da brauchen wir doch gar nicht erst anfangen!!! Stimmt! Alle erforderlichen Standards gibt es aber schon. Beweisführung folgt ... 4
5. Jedes (konversationale) KI-System basiert letztlich auf vier gut standardisierten Problemen (1) Aufruf von Sprachmodellen Nicht jedes Sprachmodell individuell programmieren OpenAI API-Kompatibilität (2) Kontextbereitstellung Zusatzinformationen bereitstellen, um Halluzinationen in den Griff zu bekommen Tool Calling, Model Context Protocol (MCP) (3) Mehrstufige Abläufe Komplexere Abläufe als Frage-Antwort ermöglichen Agenten Frameworks (LangGraph, AutoGen, Dspy, ...) (4) Kommunikation zwischen KI-Agenten KI-Agenten miteinander kommunizieren lassen Agent Communication Protokolle (A2A, ACP) AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 5
6. (1) - Auswahl aktuell oft genutzter Generativer (Sprach-)modelle Modellfamilie Company Region Selbst hostbar Modellgröße (geschätzt) OpenAI API-kompatibel GPT OpenAI USA ~1,8 T (MoE, aktiv ~260 B) Claude Anthropic USA ~200 B–300 B Gemini Google USA ~1,5 T (MoE) Grok xAI USA ~300 B Phi Microsoft USA 3,8 B (bspw. mittels TGI oder vLLM) LLaMA Facebook USA 7 B–400 B (bspw. mittels TGI oder vLLM) Qwen Alibaba China 1,8 B–72 B (Alibaba Cloud ist OpenAI API kompatibel) (bspw. mittels TGI oder vLLM) Mistral/Mixtral Mistral EU Small 24 B Medium 48 B (Mistral ist OpenAI API kompatibel) (bspw. mittels TGI oder vLLM) Velvet Almawave EU 14 B (bspw. mittels TGI oder vLLM) Lösungen um frei verfügbare Modelle selber zu hosten (Datenschutz, Privacy, Compliance, etc.): TGI (Text Generation Interface - Huggingface, Apache 2.0 License) vLLM (vLLM is a fast and easy-to-use library for LLM inference and serving, Apache 2.0 License) AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 6
7. (1) - Das "Bleibende" von OpenAI sind keine KI-Modelle ... sondern der (vermutlich unbeabsichtigt) programmatisch standardisierte Zugang zu diesen. OpenAI Anwendung Anthropic xAI Azure vLLM (Llama 3) LLM as a Service Self-hosted LLM openai openai openai openai Ermöglicht einfache Providerwechsel und In-/Out-Sourcing Strategien openai AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 7
8. (1) - Das "Bleibende" von OpenAI sind keine KI-Modelle ... ... sondern der (vermutlich unbeabsichtigt) programmatisch standardisierte Zugang zu diesen. from openai import OpenAI client = OpenAI( api_key="GEMINI_API_KEY", # <= API_KEY des Providers base_url="https://generativelanguage.googleapis.com/v1beta/openai/" # <= Anpassen für anderen Provider ) response = client.chat.completions.create( model="gemini-2.5-flash", # <= Gewünschtes Modell des Providers messages=[ {"role": "system", "content": "You are a helpful assistant."}, { "role": "user", "content": "Explain to me how AI works" } ] ) Beispiel: Zugriff auf Gemini (und andere Provider) über OpenAI Schnittstelle. Damit ist man in der Anwendungsentwicklung in der stärkeren Position. AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 8
9. - (2) Die Fähigkeiten von Sprachmodellen sind endlich → RAG Sie enden bspw. am Ende-Stichtag ihres Trainingsdatensatzes Retrieval Augmented Generation Wie soll ein vor 6 Monaten trainiertes Sprachmodell das Wetter von heute in Berlin kennen? Halluzinationen vermeiden durch Retrieval Augmented Generation (RAG) Vor der Textgenerierung werden externe Informationen aus einer Wissensdatenbank oder einem Dokumentenspeicher abgerufen Dieser Kontext wird in den Prompt gegeben, um genauere und fundiertere Antworten vom Sprachmodell zu erhalten Dadurch können Informationen dem Sprachmodell bereitgestellt werden, die zum Zeitpunkt des Trainings noch nicht vorlagen der Geheimhaltung unterliegen dem Datenschutz unterliegen ... Kosten: Für RAG reichen oft kleinere/preiswertere Sprachmodelle! AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 9
10. - (2) Anthropic: Von RAG zum Model Context Protocol (MCP) Warum nur Dokumente abrufen? Wieso nicht beliebige Tools und APIs nutzen, um Kontext bereitzustellen? Das Model Context Protocol (MCP) wurde von Anthropic initiiert und im November 2024 als offener, quelloffener Standard veröffentlicht MCP ermöglicht es, große Sprachmodelle mit dynamischem Kontext aus unterschiedlichsten Quellen zu versorgen und mit Tools zu verknüpfen Tool Calling ist die Fähigkeit eines Sprachmodells, automatisch externe Werkzeuge oder Funktionen aufzurufen – wie z. B. Rechenmodule, Datenbanken, APIs oder Websuche – um komplexe Aufgaben zu lösen, die über reine Textgenerierung hinausgehen. Mit Tools können also Sprachmodelle nicht nur Texte generieren, sondern auch mit der Umwelt interagieren (zum Beispiel eine E-Mail schreiben und versenden). Damit werden Sprachmodelle zu Agenten, die u.a. mit beliebigen Fachinformationssystemen interagieren (ggf. auch nur lesend) können. Fachinfo ERP ... MCP MCP MCP Anwendung API Tool Calling AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 10
11. (3) Mehr Kontext → Mehr Komplexität → Mehrstufige KI-Systeme (Agenten) Stark vereinfachtes Beispiel eines Bauantrags: Human in the Loop Unterschiedliche Modelle für unterschiedliche Schritte entlang von Prozessen Ggf. unterschiedliche Modell- Anbieter Ggf. Feintunings von Modellen LLM as a Service oder Self-Hosted Nutzung von Kontext (Fachsystemen entlang der einzelnen Schritte) Von außen betrachtet: Ein Spezial- Agent für Baugenehmigungen Ein Agent ist ein System, das eigenständig Entscheidungen trifft und (teil-)autonom agiert. Open Source Frameworks: LangGraph, AutoGen, Dspy, ... IT Systeme Prozesse (Graphen) KI Modelle Human in the Loop Automatisiert KI-Unterstützt Geoinformation System CMS (Bauvorschriften) Mailing System MCP MCP MCP OpenAI (Dialoguntersttzung) Antragseingang (KI-unterstützt) Vollständigkeits- prüfung Antragsteller:in Baugebiet prüfen Spezial Landes-Geo KI (Finetuned) Sachbearbeiter:in Einhhaltung BV prüfen Gemini (Experten Konfig) OpenAI (Dialogunterstützung) Sonderprüfung Gemini (Experten Konfig) Sachbearbeiter:in Genehmigung Ablehnung Sachbearbeiter:in CMS (Vorgänge) MCP Automatisiert KI-Unterstützt KI-Unterstützt Manuell AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 11
12. - (4) Google (April 2025): Warum nur auf Fachsysteme zugreifen und nicht auch auf andere Agenten? Das Agent2Agent (A2A) Protokoll definiert eine offene Kommunikationsschnittstelle für KI-Agenten, sodass autonome Agenten verschiedener Hersteller und Plattformen unabhängig voneinander miteinander interagieren und kooperieren können. Bildquelle: Daily Dose of Data Sciene Build on existing standards: A2A verwendet HTTP, JSON-RPC und SSE, um eine einfache Interoperabilität mit bestehenden Technologie-Stacks zu gewährleisten. Secure by default: Sie folgt dem OpenAPI- Authentifizierungsverfahren und bietet Sicherheit auf Unternehmensniveau. Support for long-running tasks: A2A wurde entwickelt, um Hintergrundaufgaben, menschliche Genehmigungen und Streaming-Updates zu erledigen. Modality agnostic: Es verarbeitet Bilder, Audio, PDFs, HTML, JSON und andere strukturierte/unstrukturierte Formate. AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 12
13. - (4) Weitere Agenten Standards Also an Standards mangelt es nun wirklich nicht ... Aspekte MCP (Model Context Protocol) A2A (Agent to Agent Protocol) ACP (Agent Communication Protocol) Vorgeschlagen von Anthropic Google IBM Veröffentlichungsdatum November 2024 April 2025 März 2025 Architektur Client-Server Peer-to-Peer (zentral koordiniert) Vermittelte Client-Server Agenten-Discovery Manuell Agent Card via HTTP Registry-basiert Sitzungsunterstützung Zustandslos Session oder zustandslos Session mit Ablaufverfolgung Transportschicht HTTP, Stdio, SSE HTTP, optional SSE HTTP/REST (Streamable HTTP) Stärken Tool-Aufrufe Inter-Agenten-Verhandlung Tool-Modularität Einschränkungen Nur Tool-Aufrufe Agenten Adresse muss bekannt sein (BeeAI-)Plattform fokussiert AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 13
14. OK, Standards OpenAI kompatible API ✓ Tools/Context über MCP ✓ Mehrstufige Agenten (LangGraph, AutoGen, DSPy, ...) ✓ A2A / ACP ✓ Aber wie jetzt konkret? Es gibt doch nur US-Anbieter ... und der Datenschutz! 14
15. Ja, ja, der Datenschutz ... es gibt europäische Alternativen AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 15
16. Achtung: Werbeblock Die Förderinitiative „Innovative Hochschule“ ist ein Bund-Länder-Programm, das Hochschulen stärkt, um den Wissens- und Technologietransfer zu intensivieren, um u.a. gesellschaftliche Innovationen zu fördern. https://www.innovative-hochschule.de AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 16
17. Wer könnte eigentlich unsere Sprachmodelle betreiben? GPUs sind extrem teuer und energiehungrig (Strom+Kühlung). Der Anbieter (LLMaaS, Public Cloud)? Wie ist das mit dem Datenschutz? Ich selbst (bzw. mein Dienstleister, LLMaaS, Private Cloud/On-Premise)? Kommerzielle One-Stop LLMaaS-Gateways? (together.ai, openrouter.ai, bislang alle US, Gateway/Broker/Hybrid- Cloud) Kann man sich mit anderen Einrichtungen zusammen tun? Braucht jedes Bundesland sein eigenes LLM? (LLMaaS, Community Cloud) Wie machen das eigentlich Hochschulen? Beispiel: Niedersachsen ; Beispiel: NRW (RWTH Aachen) Der NHR-Supercomputer, der für die nördlichen Bundesländer des HLRN betrieben wird, bietet den Nutzer*innen 106 Rechenknoten mit einer Gesamtrechenleistung von 5,46 PetaFLOP/s. 144 Nvidia A100 40GB, 276 Nvidia A100 80GB, 12 Nvidia V100 32GB, 27,5 TiB GPU RAM AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 17
18. In eigener Sache: Oder Sie probieren einfach mal was aus ... https://hanse-innovation-campus.de/de/hackathon/hanseatic-hackathon-2025 We are proud to serve. AI4GOV: 23.09.2025 • Prof. Kratzke • Technische Hochschule Lübeck • Institut für interaktive Systeme 18
19. Kontakt Prof. Dr. Nane Kratzke Technische Hochschule Lübeck Institut für Interaktive Systeme (ISy) Mail: nane.kratzke@th-luebeck.de LinkedIn: https://www.linkedin.com/in/nanekratzke Alle Icons stammen von iconify.design • Bilder von Pixabay 19