Agentic RAG: das beste aus zwei (AI) Welten

Stell dir vor, du hast ein AI-basiertes System, das zur autonomen Umsetzung von Aufgaben nicht nur eigenständig denken und planen kann (Agentic AI), sondern darüber hinaus auch in der Lage ist, die für die Ausführung der Aufgaben notwendigen Informationen und Daten aus verschiedensten Quellen zielgerichtet abzufragen und aufzubereiten (Retrieval-augmented Generation). Willkommen in der Wunderwelt der Agentic RAG. Egal ob Customer Support, Healthcare, Education, Business Intelligence oder Scientific Research: die Anwendungsfälle scheinen unbegrenzt! Die Session gibt einen Einblick in den Aufbau und die Arbeitsweise von Agentic RAGs. Anhand von konkreten, praktischen Beispielen werden verschiedenste Anwendungsszenarien aufgezeigt und die Vorteile/Nachteile von Agentic RAG gegenüber traditioneller RAG diskutiert. Ein abschließender Praxischeck zeigt, welche Aspekte zusätzlich für den produktiven Einsatz geeignet sind.

Transcript

1. #WISSENTEILEN powered by Lars Röwekamp | open knowledge GmbH Agentic RAG Das Beste aus zwei (AI) Welten !?
2. (Architecture, Cloud, AI & ML) Lars Röwekamp LinkedIn: lars_roewekamp CIO New Technologies OPEN KNOWLEDGE
3. RAG-Systeme Was sind RAG-Systeme? Und warum brauchen wir sie überhaupt?
4. Liebe KI, ich habe da mal ne Frage: … ?
5. „Was ist das schönste Reiseziel der Welt?“ GEN AI MODEL USER PROMPT „Es gibt viele schöne Orte auf der Welt, … .“
6. „Was ist das schönste Reiseziel der Welt?“ GEN AI MODEL USER PROMPT SYSTEM PROMPT: „Du bist ein Reiseberater Assistent …“ + CONTEXT + „Das schönste Reiseziel für Dich ist … .“
7. Wie generiert das LLM die Antwort? Die Idee: Frage und Antwort liegen SEMANTISCH dicht beieinander.
8. Die Idee: Frage und Antwort liegen SEMANTISCH dicht beieinander. Die semantische Nähe wird MATHEMATISCH mit Hilfe von Vektoren abgebildet. Wie generiert das LLM die Antwort?
9. Hund Katze Tiger Maus Hamburg Berlin Madrid Amazonas Embedding Model 0.6 0.3 0.1 … 0.8 0.5 0.3 … 0.4 0.2 0.9 … Embeddings (semantische Vektoren)
10. Hund Katze Tiger Maus Hamburg Berlin Madrid Amazonas Embedding Model 0.6 0.3 0.1 … 0.8 0.5 0.3 … 0.4 0.2 0.9 … Embeddings (semantische Vektoren) Berlin: Stadt, Europa, Hauptstadt von Deutschland, …
11. Hund Katze Maus Tiger Hamburg Berlin Madrid Amazonas Embedding Model 0.6 0.3 0.1 … 0.8 0.5 0.3 … 0.4 0.2 0.9 … Hund Katze Tiger Maus Hamburg Berlin Madrid Amazonas Berlin: Stadt, Europa, Hauptstadt von Deutschland, …
12. Hund Katze Maus Tiger Hamburg Berlin Madrid Amazonas Embedding Model 0.6 0.3 0.1 … 0.8 0.5 0.3 … 0.4 0.2 0.9 … Hund Katze Tiger Maus Hamburg Berlin Madrid Amazonas
13. Hund Katze Maus Tiger Hamburg Berlin Madrid Amazonas „Kannst du mir ein paar europäische Hauptstädte nennen?“ Embedding Model 0.8 0.5 0.4 … „Kannst du mir …“: Stadt, Europa, Hauptstadt, … FRAGE:
14. Hund Katze Maus Tiger Hamburg Berlin Madrid Amazonas Embedding Model 0.8 0.5 0.4 … „Kannst du mir …“: Stadt, Europa, Hauptstadt, … „Kannst du mir ein paar europäische Hauptstädte nennen?“ FRAGE:
15. Hund Katze Maus Tiger Hamburg Berlin Madrid Amazonas Embedding Model 0.8 0.5 0.4 … „Kannst du mir …“: Stadt, Europa, Hauptstadt, … Unser Ziel? „Kannst du mir ein paar europäische Hauptstädte nennen?“ FRAGE:
16. Hamburg Berlin Madrid Amazonas Unser Ziel? Alles dafür tun, dass „Frage“ und „Antwort“ möglichst dicht beieinander liegen!
17. Source: http://vectors.nlpl.eu/explore/embeddings/en/MOD_enwiki_upos_skipgram_300_2_2021/cat_NOUN/
18. man woman king queen Ok, aber was ist jetzt das Tolle daran?
19. man woman king queen queen – woman + man = king Ok, aber was ist jetzt das Tolle daran? Wir können damit rechnen und „verstehen“.
20. man woman king queen Ok, aber was ist jetzt das Tolle daran? Wir können damit rechnen und „verstehen“. doctor – man + woman = ?
21. man woman king queen Ok, aber was ist jetzt das Tolle daran? Wir können damit rechnen und „verstehen“. doctor – man + woman = nurse
22. „Was ist das schönste Reiseziel der Welt?“ GEN AI MODEL USER PROMPT SYSTEM PROMPT: „Du bist ein Reiseberater Assistent …“ + CONTEXT „Das schönste Reiseziel der Welt ist … !“ +
23. GEN AI MODEL USER PROMPT + CONTEXT SYSTEM PROMPT + Und das funktioniert wirklich auch für REAL LIFE PROBLEME?
24. GEN AI MODEL USER PROMPT + CONTEXT SYSTEM PROMPT + Ja, wenn du deine HAUSAUFGABEN machst!
25. GEN AI MODEL USER PROMPT Welches Model? Welche Parameter? Welche Infrastruktur? Welche Lizenz? Welches Preismodell? Welche Governance? 2 1 Parts of a Prompt System vs User Prompt Principles of Prompting Patterns of Prompting Context Window Query vs Chat + CONTEXT SYSTEM PROMPT + Deine HAUSAUFGABEN
26. GEN AI MODEL USER PROMPT „Was ist das schönste Reiseziel der Welt?“ „Du bist ein Human Resources Assistent …“ +
27. GEN AI MODEL USER PROMPT „Wie beantrage ich Urlaub bei open knowledge?“ „Das wüsste ich auch gerne… !“ „Du bist ein Human Resources Assistent …“ +
28. GEN AI MODEL USER PROMPT „Wie beantrage ich Urlaub bei open knowledge?“ „Du musst das Formular A123 ausfüllen.“ + „Du bist ein Human Resources Assistent …“
29. GEN AI MODEL USER PROMPT „Wie beantrage ich Urlaub bei open knowledge?“ „ok HR-Assistent via https://... aufrufen und …“ + Urlaubsregelung von open knowledge + „Du bist ein Human Resources Assistent …“
30. GEN AI MODEL USER PROMPT „Wie aktiviere ich die Alarmanlage bei open knowledge?“ Urlaubsregelung von open knowledge + + „Du bist ein Human Resources Assistent …“
31. GEN AI MODEL USER PROMPT „Wie aktiviere ich die Alarmanlage bei open knowledge?“ Urlaubsregelung & Alarmanlage von open knowledge + + „Du bist ein Human Resources Assistent …“
32. GEN AI MODEL USER PROMPT „Wie mache ich was auch immer bei open knowledge?“ Alles „Wissen“ von open knowledge + + „Du bist ein Human Resources Assistent …“
33. GEN AI MODEL USER PROMPT „Wie mache ich was auch immer bei open knowledge?“ Alles „Wissen“ von open knowledge + ERROR: Token-Limit Exception Context Window
34. GEN AI MODEL USER PROMPT „Wie mache ich was auch immer bei open knowledge?“ Alles „Wissen“ von open knowledge + ERROR: Out-of-Budget Exception Context Window
35. GEN AI MODEL USER PROMPT „Wie mache ich was auch immer bei open knowledge?“ Alles „Wissen“ von open knowledge + WARNING: Lost-in-the-Middle Context Window
36. GEN AI MODEL USER PROMPT „Wie mache ich was auch immer bei open knowledge?“ Alles „Wissen“ von open knowledge + WARNING: Self-fulfilling Prophecy Small Context Window
37. GEN AI MODEL USER PROMPT „Wie mache ich was auch immer bei open knowledge?“ Alles „Wissen“ von open knowledge Hmm, was jetzt?
38. GEN AI MODEL USER PROMPT „Wie mache ich was auch immer bei open knowledge?“ Alles „Wissen“ von open knowledge Alles „Wissen“ von open knowledge What if … ?
39. OK GEN AI MODEL USER PROMPT „Wie mache ich was auch immer bei open knowledge?“ Alles „Wissen“ von open knowledge Option 1: Eigenes Modell von Grund auf bauen ERROR: Way-to-complex ERROR: Way-to-expensive
40. OK GEN AI MODEL USER PROMPT „Wie mache ich was auch immer bei open knowledge?“ Alles „Wissen“ von open knowledge WARNING: kind-of-complex WARNING: out-of-sync Option 2: Bestehendes Modell fine-tunen
41. OK GEN AI MODEL USER PROMPT „Wie mache ich was auch immer bei open knowledge?“ Model Enrichment Prompt Enrichment Hmm, was jetzt v2?
42. USER PROMPT GEN AI MODEL „Wie mache ich was auch immer bei open knowledge?“ SOME MAGIC Some „Magic“ in the Middle
43. USER PROMPT GEN AI MODEL „Wie mache ich was auch immer bei open knowledge?“ SOME MAGIC Generation R etrieval A ugmented
44. Retrieval … … suche die Textfragmente aus der Wissensbasis heraus, die für die Beantwortung der Ausgangsfrage hilfreich sein könnten. Augmented … … ergänze ein vorgegebenes Prompt-Template um den originären User Prompt und die gefundenen Textfragmente. Generation … … generiere mit Hilfe eines LLMs aus dem angereicherten Prompt-Template die passende Antwort auf die originäre Anfrage.
45. RAG-Systeme II Wie funktionieren RAG-Systeme unter der Haube?
46. USER PROMPT GEN AI MODEL „Wie mach ich XYZ bei open knowledge?“ SOME MAGIC Generation R etrieval A ugmented
47. RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) LLM USER QUERY RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) INGESTING PIPELINE (verantwortlich dafür, dass etwa gefunden werden kann)
48. RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) LLM USER QUERY RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) INGESTING PIPELINE (verantwortlich dafür, dass etwa gefunden werden kann) Database (Vector + Meta Data)
49. Chunking Embedding via Chunking Strategy (fixed, semantic, paragraph) via Embedding Model (Text -> Vector) INGESTING PIPELINE LLM 1 2 3 RETRIEVAL PIPELINE
50. RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) RETRIEVAL PIPELINE Top-k Fetching Result Reranking Query Embedding Prompt Augmenting LLM 1 2 3 4 5 Chunking Embedding via Chunking Strategy (fixed, semantic, paragraph) via Embedding Model (Text -> Vector) INGESTING PIPELINE
51. RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) RETRIEVAL PIPELINE Top-k Fetching Result Reranking Query Embedding Prompt Augmenting Chunking Embedding via Chunking Strategy (fixed, semantic, paragraph) via Embedding Model (Text -> Vector) INGESTING PIPELINE „Oha, das sieht aber kompliziert aus - und das ist es leider auch!“* *außer im ‚Hello World‘ Beispiel aus dem Internet.
52. RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) RETRIEVAL PIPELINE Top-k Fetching Result Reranking Query Embedding Prompt Augmenting Chunking Embedding via Chunking Strategy (fixed, semantic, paragraph) via Embedding Model (Text -> Vector) INGESTING PIPELINE 1 Missing Data 1
53. RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) RETRIEVAL PIPELINE Top-k Fetching Result Reranking Query Embedding Prompt Augmenting Chunking Embedding via Chunking Strategy (fixed, semantic, paragraph) via Embedding Model (Text -> Vector) INGESTING PIPELINE 1 Missing Data 2 Unsuitable Strategy 1 2
54. RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) RETRIEVAL PIPELINE Top-k Fetching Result Reranking Query Embedding Prompt Augmenting Chunking Embedding via Chunking Strategy (fixed, semantic, paragraph) via Embedding Model (Text -> Vector) INGESTING PIPELINE 1 Missing Data 2 Unsuitable Strategy 3 Inappropriate Model 1 2 3 3
55. RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) RETRIEVAL PIPELINE Top-k Fetching Result Reranking Query Embedding Prompt Augmenting Chunking Embedding via Chunking Strategy (fixed, semantic, paragraph) via Embedding Model (Text -> Vector) INGESTING PIPELINE 1 Missing Data 2 Unsuitable Strategy 3 Inappropriate Model 4 Chunk(s) not found 1 2 3 4 3
56. RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) RETRIEVAL PIPELINE Top-k Fetching Result Reranking Query Embedding Prompt Augmenting Chunking Embedding via Chunking Strategy (fixed, semantic, paragraph) via Embedding Model (Text -> Vector) INGESTING PIPELINE 1 Missing Data 2 Unsuitable Strategy 3 Inappropriate Model 4 Chunk(s) not found 5 Unprofitable Ranking 1 2 3 4 5 3
57. RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) RETRIEVAL PIPELINE Top-k Fetching Result Reranking Query Embedding Prompt Augmenting LLM Chunking Embedding via Chunking Strategy (fixed, semantic, paragraph) via Embedding Model (Text -> Vector) INGESTING PIPELINE 6 6 6 Chunk(s) not relevant 1 Missing Data 2 Unsuitable Strategy 3 Inappropriate Model 4 Chunk(s) not found 5 Unprofitable Ranking 1 2 3 3 4 5
58. RETRIEVAL PIPELINE (verantwortlich dafür, dass etwa gefunden wird) RETRIEVAL PIPELINE Top-k Fetching Result Reranking Query Embedding Prompt Augmenting LLM Chunking Embedding via Chunking Strategy (fixed, semantic, paragraph) via Embedding Model (Text -> Vector) INGESTING PIPELINE 6 6 1 2 3 3 4 5 … und ACTION! 7 „Sorry, aber ich kann leider nur Fragen beantworten!“
59. Zwischenfazit: RAG Pros & Cons: Gut Lösung zur Abfrage „interner“ Daten aller Art. Herausforderung bei großer, heterogener Datenbasis. Ausschließlich für Content Retrieval nutzbar.
60. Zwischenfazit: RAG Pros & Cons: Gut Lösung zur Abfrage „interner“ Daten aller Art. Herausforderung bei großer, heterogener Datenbasis. Ausschließlich für Content Retrieval nutzbar. Idee: Dedizierte Ingestors / Retriever je Datenpool. Zusätzlich Aktionen via Function Calling anstoßen. ! !
61. Zwischenfazit: RAG Pros & Cons: Gut Lösung zur Abfrage „interner“ Daten aller Art. Herausforderung bei großer, heterogener Datenbasis. Ausschließlich für Content Retrieval nutzbar. Idee: Dedizierte Ingestors / Retriever je Datenpool. Zusätzlich Aktionen via Function Calling anstoßen. ! ! ?
62. Zwischenfazit: RAG Lösung: Datenpool wird auf optimierte Retriever verteilt. RAG-System wird um AI Agent(en) erweitert. Agenten übernehmen die Workflow-Steuerung. > > Idee: Dedizierte Ingestors / Retriever je Datenpool. Zusätzlich Aktionen via Function Calling anstoßen. ! ! > ?
63. Zwischenfazit: RAG Lösung: Datenpool wird auf optimierte Retriever verteilt. RAG-System wird um AI Agent(en) erweitert. Agenten übernehmen die Workflow-Steuerung. > > Idee: Dedizierte Ingestors / Retriever je Datenpool. Zusätzlich Aktionen via Function Calling anstoßen. ! ! > -> Agentic RAG ?
64. AGENTIC AI Was sind Agenten und wozu sind sie gut?
65. Agentic AI von GenAI zu Agentic AI APPLICATION MODEL LLM System + User Prompt Model Response User
66. APPLICATION Agentic AI von GenAI zu Agentic AI MODEL LLM System + User Prompt Model Response User SERVICES Content Data Devices Code Services Human ?
67. AGENT SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Agentic AI unter der Haube MODEL Function Calling LLM
68. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube „Wie beantrage ich Urlaub bei open knowlege?“
69. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube 1 1 Planing: „Du bist ein HR-Assistent für Mitarbeiter von ok. Führe folgende Schritte durch, um die Aufgabe […] zu erfüllen: […].“ „Wie beantrage ich Urlaub bei open knowlege?“
70. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube 2 Reasoning: „Ich sollte zunächst schauen, ob und wo ich weitere Informationen zum Thema Urlaubsantrag abfragen kann.“ 2 3 3 „Wie beantrage ich Urlaub bei open knowlege?“
71. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube Act: „Ich nutze das HR-Retriever Tool, um Informationen zu Urlaubsanträgen aus dem internen HR RAG (Vector DB) des Unternehmens abzufragen.“ 4 4 5 5 „Wie beantrage ich Urlaub bei open knowlege?“
72. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube Mission Completed? „Ist die Aufgabe erledigt? Wenn nicht drehe ich einfach noch eine Runde. D.h. ich schaue, welches Tool mich weiter Richtung Ziel bringt.“ „Wie beantrage ich Urlaub bei open knowlege?“
73. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube „Wie beantrage ich Urlaub bei open knowlege?“ „Bitte einfach den ok HR-Assistent via [LINK] aufrufen und …“ Mission Completed!
74. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube „Beantrage bitte vom … bis zum … Urlaub für mich, danke.“ Waiting for Mission …
75. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube 1 1 Planing: „Du bist ein HR-Assistent für Mitarbeiter von ok. Führe folgende Schritte durch, um die Aufgabe […] zu erfüllen: […].“ „Beantrage bitte vom … bis zum … Urlaub für mich, danke.“
76. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube „Beantrage bitte vom … bis zum … Urlaub für mich, danke.“ „Um Urlaub zu beantragen, rufe ich am besten die open knowledge HR API mit den Parametern [from_date]und [to_date] auf.“ 2 2 3 3 Reasoning:
77. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube „Beantrage bitte vom … bis zum … Urlaub für mich, danke.“ „Ich nutze Function Calling und rufe die open knowledge HR API mit den Parametern ma_id=…, from_date= … und to_date= ... auf.“ Act: 4 4 5 5
78. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube Mission Completed? „Ist die Aufgabe erledigt? Wenn nicht drehe ich einfach noch eine Runde. D.h. ich schaue, welches Tool mich weiter Richtung Ziel bringt.“ „Beantrage bitte vom … bis zum … Urlaub für mich, danke.“
79. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube „Dein Urlaub ist beantragt. Dein Rest- urlaub beträgt X Tage…“ Mission Completed! „Beantrage bitte vom … bis zum … Urlaub für mich, danke.“
80. AGENT MODEL SERVICES Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube
81. AGENT MODEL SERVICES Long-Term Memory Vector Datastore Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube
82. AGENT MODEL SERVICES Long-Term Memory Vector Datastore Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube FLIGHTWHEEL
83. AGENT MODEL SERVICES Long-Term Memory Vector Datastore Execution Loop in out Plan Action Memory [ST] Tools Content Data Devices Code Services Human APPLICATION Function Calling LLM Agentic AI unter der Haube A #2 A #n . . . FLIGHTWHEEL
84. Zwischenfazit: Agentic AI AI Agenten können … Tools verwenden zwischen Optionen „entscheiden“ Ergebnisse von Aktionen bewerten aus Aktion und Ergebnis lernen im Team zusammenarbeiten > > > > >
85. AGENTIC RAG Wie spielen RAG-Systeme und Agenten zusammen?
86. Vanilla RAG … Frage? LLM (Vector) DB Vector Query Engine … Antwort! Retrieval Tools Result Handling: Re-Ranking Augmenting …
87. … Frage? LLM … Antwort! Retrieval Tools (Vector) DB A (Vector) DB B Vector Query Engine A Vector Query Engine B ? Agentic RAG
88. … Frage? Retrieval Agent LLM (Vector) DB B Vector Query Engine A Vector Query Engine B … Antwort! Retrieval Tools Result Handling: Re-Ranking Augmenting … Agentic RAG (Vector) DB A
89. … Frage? Retrieval Agent LLM (Vector) DB B Vector Query Engine A Vector Query Engine B eMail Search Web Search … Antwort! Retrieval Tools Result Handling: Re-Ranking Augmenting … Agentic RAG (Vector) DB A
90. … Frage? Retrieval Agent LLM HR V-DB Controlling V-DB Human Resources Query Engine Controlling Data Query Engine eMail Search Web Search … Antwort! Retrieval Tools Agentic RAG Result Handling: Re-Ranking Augmenting …
91. Controlling Data Query Engine Human Resources Query Engine Retrieval Agent 1
92. Controlling Data Query Engine Human Resources Query Engine Retrieval Agent 2 1
93. Controlling Data Query Engine Human Resources Query Engine Retrieval Agent 1 3 2
94. Controlling Data Query Engine Human Resources Query Engine Retrieval Agent 1 3 4 2
95. Controlling Data Query Engine Human Resources Query Engine Retrieval Agent „How to apply for holiday leave?“
96. Controlling Data Query Engine Human Resources Query Engine Retrieval Agent „How to apply for holiday leave?“
97. Controlling Data Query Engine Human Resources Query Engine Retrieval Agent „What was the turnover in 2024?“
98. Controlling Data Query Engine Human Resources Query Engine Retrieval Agent „What was the turnover in 2024?“
99. … Frage? Retrieval Agent LLM HR V-DB Controlling V-DB Human Resources Query Engine Controlling Data Query Engine eMail Search Web Search … Antwort! Retrieval Tools Agentic RAG Result Handling: Re-Ranking Augmenting …
100. … Frage? Retrieval Agent LLM HR V-DB Human Resources Summary Engine Human Resources Retrieval Engine eMail Search Web Search … Antwort! Retrieval Tools Agentic RAG Result Handling: Re-Ranking Augmenting …
101. Human Resources Retrieval Engine Human Resources Summary Engine Retrieval Agent 1
102. Human Resources Retrieval Engine Human Resources Summary Engine Retrieval Agent 1 2
103. Human Resources Retrieval Engine Human Resources Summary Engine Retrieval Agent 1 3 2
104. Human Resources Retrieval Engine Human Resources Summary Engine Retrieval Agent 1 3 4 2
105. Human Resources Retrieval Engine Human Resources Summary Engine Retrieval Agent „What is the hr guide about?“
106. Human Resources Retrieval Engine Human Resources Summary Engine Retrieval Agent „What is the hr guide about?“
107. Human Resources Retrieval Engine Human Resources Summary Engine Retrieval Agent „How to apply for holiday leave?“
108. Human Resources Retrieval Engine Human Resources Summary Engine Retrieval Agent „How to apply for holiday leave?“
109. … Frage? Retrieval Agent LLM HR V-DB Human Resources Summary Engine Human Resources Retrieval Engine eMail Search Web Search … Antwort! Retrieval Tools Agentic RAG Result Handling: Re-Ranking Augmenting …
110. … Aktion! Manager Agent LLM HR V-DB Human Resources Summary Engine Human Resources Retrieval Engine Human Resource Platform Engine Web Search … Resultat. Agentic Tools Agentic RAG Result Handling: Re-Ranking Augmenting … HR APP
111. Human Resources Retrieval Engine Human Resources Summary Engine Manager Agent Human Resources Platform Engine 1
112. Human Resources Retrieval Engine Human Resources Summary Engine Manager Agent Human Resources Platform Engine 1
113. Human Resources Retrieval Engine Human Resources Summary Engine Manager Agent Human Resources Platform Engine 1 2
114. Human Resources Retrieval Engine Human Resources Summary Engine Manager Agent Human Resources Platform Engine 1 2
115. Human Resources Retrieval Engine Human Resources Summary Engine Manager Agent Human Resources Platform Engine 1 2 3
116. Human Resources Retrieval Engine Human Resources Summary Engine Manager Agent „Dear agent, I‘ve a question.“ Human Resources Platform Engine
117. Human Resources Retrieval Engine Human Resources Summary Engine Manager Agent „How to apply for holiday?“ Human Resources Platform Engine
118. Human Resources Retrieval Engine Human Resources Summary Engine Manager Agent „Apply for holiday from … to … !“ Human Resources Platform Engine
119. Human Resources Retrieval Engine Human Resources Summary Engine Manager Agent „Get info about employee Lars!“ Human Resources Platform Engine
120. Financial Report Retrieval Engine Financial Report Summary Engine Manager Agent „Summarize the financial report.“ Human Resources Platform Engine
121. Financial Report Retrieval Engine Financial Report Summary Engine Manager Agent „What was the turnover in 2024?“ Human Resources Platform Engine
122. … Aktion! Manager Agent LLM HR V-DB Human Resources Query Engine Human Resources Query Engine Human Resource Platform Engine Web Search … Resultat. Agentic RAG Result Handling: Re-Ranking Augmenting … HR APP Agentic Tools
123. … Aktion! Manager Agent LLM HR V-DB Human Resources Query Engine Human Resources Query Engine Human Resource Platform Engine Web Search … Resultat. Agentic RAG Result Handling: Re-Ranking Augmenting … HR APP Das ist mir etwas zu viel! Agentic Tools
124. … Frage? LLM eMail Slack … Antwort? Management Retrieval Agent HR Platform Agent Channel Agent Manager Agent Controlling Data Query Engine Sales Resources Query Engine Human Resources Platform Engine Agentic RAG
125. … Frage? LLM eMail Slack … Antwort? Management Retrieval Agent HR Platform Agent Channel Agent Manager Agent Controlling Data Query Engine Sales Resources Query Engine Human Resources Platform Engine Agentic RAG
126. Remote Fn Calling Wie greife ich auf „externe“ Ressourcen, Tools oder Prompts zu?
127. Manager Agent „Apply for holiday from X to Y!“ Human Resources Platform Engine Function Calling unter der Haube ?
128. Function Calling unter der Haube Application Model 1 apply_holiday(from_date, to_date) „Apply for holiday from 01.07.25 to … .“ Tool Definition + Prompt 1 Initialer Modell-Call mit Prompt & Functions.
129. Function Calling unter der Haube 1 Initialer Modell-Call mit Prompt & Functions. 2 Rückgabe eines passenden Tools. Application Model 1 2 apply_holiday(from_date, to_date) „Apply for holiday from 01.07.25 to … .“ Tool Calls Tool Definition + Prompt apply_holiday(01.07.2025, 15.07.2025)
130. Function Calling unter der Haube 1 Initialer Modell-Call mit Prompt & Functions. 2 Rückgabe eines passenden Tools. 3 Aufruf des Tools aus der Anwendung heraus. Application Model 1 2 apply_holiday(from_date, to_date) „Apply for holiday from 01.07.25 to … .“ Tool Calls Tool Definition + Prompt apply_holiday(01.07.2025, 15.07.2025) 3 Execute Function Code apply_holiday(01.07.25, …) {“status“: “APPROVED: …“}
131. Zweiter Modell-Call mit Context & Fn Output. Function Calling unter der Haube 1 Initialer Modell-Call mit Prompt & Functions. 2 Rückgabe eines passenden Tools. 3 Aufruf des Tools aus der Anwendung heraus. 4 Application Model 1 2 4 apply_holiday(from_date, to_date) „Apply for holiday from 01.07.25 to … .“ all prior messages Tool Calls Tool Definition + Prompt Function Call Results apply_holiday(01.07.2025, 15.07.2025) {“status“: “APPROVED: …“} 3 Execute Function Code apply_holiday(01.07.25, …) {“status“: “APPROVED: …“}
132. Zweiter Modell-Call mit Context & Fn Output. Function Calling unter der Haube 1 Initialer Modell-Call mit Prompt & Functions. 2 Rückgabe eines passenden Tools. 3 Aufruf des Tools aus der Anwendung heraus. 4 Rückgabe der finalen Antwort vom Modell. 5 Application Model 1 2 4 5 apply_holiday(from_date, to_date) „Apply for holiday from 01.07.25 to … .“ all prior messages Holiday approved from 01.07.2025 to … . Tool Calls Tool Definition + Prompt Function Call Results Final Response apply_holiday(01.07.2025, 15.07.2025) {“status“: “APPROVED: …“} 3 Execute Function Code apply_holiday(01.07.25, …) {“status“: “APPROVED: …“}
133. Function Calling unter der Haube Application Model 1 2 4 5 apply_holiday(from_date, to_date) „Apply for holiday from 01.07.25 to … .“ all prior messages Holiday approved from 01.07.2025 to … . Tool Calls Tool Definition + Prompt Function Call Results Final Response apply_holiday(01.07.2025, 15.07.2025) {“status“: “APPROVED: …“} 3 Execute Function Code apply_holiday(01.07.25, …) {“status“: “APPROVED: …“} { "type": "function", "name": "apply_for_holiday", "description": "Apply for holiday for an employee for a given period of time..", "strict": true, "parameters": { "type": "object", "properties": { "firstname": { "type": "string", "description": "Firstname of the employee." }, "lastname": { "type": "string", "description": "Lastname of the employee." }, "from_date": { "type": "string", "description": "Start date of holiday request." }, "to_date": { "type": "string", "description": "End date of holiday request." } }, "required": ["firstname, lastname, from_date, to_date"], "additionalProperties": false }, "strict": true } apply_for_holiday.json for open AI API
134. Function Calling unter der Haube Application Model 1 2 4 5 apply_holiday(from_date, to_date) „Apply for holiday from 01.07.25 to … .“ all prior messages Holiday approved from 01.07.2025 to … . Tool Calls Tool Definition + Prompt Function Call Results Final Response apply_holiday(01.07.2025, 15.07.2025) {“status“: “APPROVED: …“} 3 Execute Function Code apply_holiday(01.07.25, …) {“status“: “APPROVED: …“} { "type": "function", "name": "apply_for_holiday", "description": "Apply for holiday for an employee for a given period of time..", "strict": true, "parameters": { "type": "object", "properties": { "firstname": { "type": "string", "description": "Firstname of the employee." }, "lastname": { "type": "string", "description": "Lastname of the employee." }, "from_date": { "type": "string", "description": "Start date of holiday request." }, "to_date": { "type": "string", "description": "End date of holiday request." } }, "required": ["firstname, lastname, from_date, to_date"], "additionalProperties": false }, "strict": true } apply_for_holiday.json for gemini API
135. Function Calling Herausforderung e.g. OpenAI GenAI Model 1 e.g. Function API e.g. Cloud Storage e.g. Database e.g. Gemini GenAI Model 2 e.g. Anthropic GenAI Model 3 Service A Service B Service C N*M Connections Jedes Modell muss mit jedem Service individuell integriert werden.
136. Function Calling Herausforderung e.g. OpenAI GenAI Model 1 e.g. Function API e.g. Cloud Storage e.g. Database e.g. Gemini GenAI Model 2 e.g. Anthropic GenAI Model 3 Service A Service B Service C MCP (Standardized Protocp) N+M MCP Connections Modelle und Services müssen je nur einmalig mit MPC integrieren.
137. Function Calling Herausforderung MCP (Standardized Protocp) AI Applications Data Sources & Tools bidirectional Flow PostgreSQL, SQLite, GDrive Data & File Systems Sentry, Git, Fetch … Development Tools Google Maps, Slack, … Productivity Tools YOUR App, Sire, … AI Applications Claude Code, Goose, … IDEs Claude Desktop, LibreChat, … Chat Interfaces
138. Function Calling via Model Context Protocol (MCP) AI APPLICATION SOME API FILESYSTEM DATABASE
139. Function Calling via Model Context Protocol (MCP) AI APPLICATION SOME API MCP Host MCP Client MCP Client MCP Client MCP Sever MCP Sever FILESYSTEM DATABASE MCP Sever
140. Function Calling MCP Server in Action
141. Function Calling MCP Client Call via MCP Inspector
142. Function Calling MCP Client Call via MCP Inspector
143. Function Calling MCP Client Call via MCP Inspector
144. Function Calling MCP Client Call via MCP Inspector
145. Function Calling MCP Client Call via MCP Inspector
146. Function Calling MCP Client Call via Claude Desktop
147. Function Calling MCP Client Call via Claude Desktop
148. Function Calling MCP Client Call via Claude Desktop
149. Function Calling MCP Client Call via Claude Desktop
150. Function Calling MCP Client Call via Claude Desktop
151. Function Calling MCP Client Call via Claude Desktop
152. Function Calling MCP Client Call via Claude Desktop
153. Function Calling MCP Client Call via Claude Desktop
154. Function Calling MCP Client Call via Claude Desktop
155. LESSONS LEARNED Was Du aus dem aus dem Vortrag über Agentic RAG mitnehmen solltest.
156. RAG … … gute Lösung zu Abfrage interner Daten. Allerdings ausschließlich für Content Retrieval gedacht, mit Schwächen bei großen / heterogenen Datenpools. AGENTIC AI … … kann je nach Task „passende“ Tools auswählen und nutzen. Mittels Observation werden Aktionen / Ergebnisse ausgewertet und über den nächsten Schritt entschieden. Agenten können lernen und in Teams zusammenarbeiten. AGENTIC RAG … … ist das beste aus zwei Welten! Es erlaubt ein „intelligentes“ Retrieval, das auch bei großen / heterogenen Datenpools sehr gute Ergebnisse liefern kann. Neben dem Retrieval erlauben die Agenten darüber hinaus auch die Ausführung von Aktionen via Functions Calls.
157. AGENTIC RAG … … ist das beste aus zwei Welten! Es erlaubt ein „intelligentes“ Retrieval, das auch bei großen / heterogenen Datenpools sehr gute Ergebnisse liefern kann. Neben dem Retrieval erlauben die Agenten darüber hinaus auch die Ausführung von Aktionen via Functions Calls. „REAL LIFE“ AGENTIC RAG … … ist leider noch etwas komplizierter: • ACL / Security für Retrieval und Function Calls • I18N für Retrieval und Function Calls • Guardrails zur Absicherung von Input / Output • Response Quality Monitoring via LLM & RAG Metriken • Aufrufprotokolle à la MCP und A2A … aber trotzdem machbar. Wenn man weiß, was und wie ;-)
158. Zeit für Fragen? Immer!
159. #WISSENTEILEN by open knowledge GmbH @_openKnowledge | @mobileLarson Lars Röwekamp, CIO New Technologies Vielen Dank!
160. BILDNACHWEISE Folie 1: © Buch und Bee - shutterstock.com Alle anderen Bilder, , Zeichnungen und Icons stammen aus den folgenden freien Quellen • pexels.com, • pixabay.com, • unsplash.com, • flaticon.com oder wurden von mir selbst erstellt.
161. Function Calling via Model Context Protocol (MCP)
162. GenAI Basics Function Calling via MCP