From Zero to Production: Entwicklung einer eigenen GenAI Lösung

Dank leistungsstarker Frameworks und Bibliotheken können die ersten Generative AI-Anwendungen auf Hello-World-Niveau mit nur wenigen Codezeilen realisiert werden. Diese ersten Versuche stoßen jedoch genauso schnell an ihre Grenzen. Warum? Weil die Realität Herausforderungen mit sich bringt, die sich nicht so einfach mit diesem trivialen Ansatz lösen lassen. Aber was wird für eine Generative AI-Anwendung auf Unternehmensebene benötigt? Eine gut durchdachte Generative AI-Architektur! In diesem ganztägigen Hands-on-Workshop werden wir schrittweise eine komplexe Generative AI-Anwendung zur chatbasierten Abfrage des hauseigenen, verteilten Domänenwissens aufbauen. Beispiele für dieses verteilte Wissen könnte das gesamte Fachwissen einer IT-Abteilung, Produktinformationen und -spezifikationen eines internationalen Retailers oder das interne Mitarbeiter-Portal eines Großunternehmens sein. Beginnend mit einem minimalistischen RAG-System (Retrieval Augmented Generation) betrachten wir verschiedene Herausforderungen und diskutieren geeignete Lösungen. Am Ende werden wir eine Architektur haben, die den Herausforderungen der Realität standhält.

Transcript

1. Generative AI Vom Prototypen zum produktiven Einsatz … und was das alles mit Architektur zu tun hat. #WISSENTEILEN powered by Lars Röwekamp | Tim Wüllner | open knowledge GmbH Hands-on Workshop
2. (Architecture, Cloud, AI & ML) Lars Röwekamp LinkedIn: lars-roewekamp CIO New Technologies OPEN KNOWLEDGE
3. Tim Wüllner LinkedIn: tim-wuellner Machine Learning Engineer OPEN KNOWLEDGE
4. Was ist GenAI? Wie funktioniert eigentlich dieses „Generative AI“?
7. Ist das eine Katze? Neuronale Netze aka traditionelle KI Ist das eine Katze?
8. Das ist eine Katze Das ist keine Katze Neuronale Netze aka traditionelle KI fit Neural Network Katze Katze Katze Katze Hund Hund
9. Ist das eine Katze? Neuronale Netze aka traditionelle KI infer trained Neural Network mit Mustererkennug für Bilder von Katzen
10. Universelles Weltwissen Generative AI aka generierende KI Generative AI Model learn
11. Generative AI Model Prompting Was ist eine Katze? Eine Katze ist* … und sieht so aus. Generative AI aka generierende KI *basierend auf meinem Weltwissen
12. Generative AI vs traditionelle Neuronale Netze Predictive ML Model Generative Model lernt / erkennt Beziehungen zwischen Daten und Label lernt / versteht Zusammenhänge in unstrukturierten Daten Label neuer Content Label Daten Unstrukturierte Daten
13. Generative AI vs traditionelle Neuronale Netze Predictive ML Model Generative Model lernt / erkennt Beziehungen zwischen Daten und Label lernt / versteht Zusammenhänge in unstrukturierten Daten Label neuer Content Label Daten Unstrukturierte Daten … mit einer gewissen Wahrscheinlichkeit!
14. Generative AI unter der Haube Large Language Model Mary had a … Large Language Model Mary had a little … Next Token red little delicious … Probability 0.2 0.4 0.1 … Next Token mouse lamb kettle … Probability 0.2 0.3 0.2 …
15. Generative AI unter der Haube Source: http://vectors.nlpl.eu/explore/embeddings/en/MOD_enwiki_upos_skipgram_300_2_2021/cat_NOUN/
16. Generative AI unter der Haube 1. queen – woman + man = king 2. doctor – man + woman = nurse Male-Female Verb Tense Country-Capital
17. Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? word2vec style vectors
18. Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? John wants his bank to cash the … ? (verb) (verb) context aka hidden state
19. Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? John wants his bank to cash the … ? (verb) (verb) context aka hidden state Key-Vector: btw I‘am a noun describing a male person. Query-Vector: btw I‘am seeking for a noun describing a male person.
20. Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? Transformer (LLM Layer) context aka hidden state John wants his bank to cash the … ? (verb) (verb) (John‘s) (finance) John wants his bank to cash the … ? (verb) (verb) (male) ( ... )
21. Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? John (main character, male, married to Cheryl, cousin of Donald, from Minnesota, currently in Boise, … ) wants his bank to cash the … ?
22. Generative AI unter der Haube Transformer (LLM Layer) John wants his bank to cash the … ? Transformer (LLM Layer) John wants his bank to cash the … (verb) (verb) (John‘s) (finance) John wants his bank to cash the … ? (verb) (verb) (male) Enough context information to be able to „guess“ the next word. check ( ... )
23. Generative AI under the Hood Large Language Model Mary had a … Large Language Model Mary had a little … Next Token red little delicious … Probability 0.2 0.4 0.1 … Next Token mouse lamb kettle … Probability 0.2 0.3 0.2 …
24. GenAI am Beispiel? Wo kann ich GenAI heute realistisch nutzen - und wo eher nicht?
25. Generative AI am Beispiel
26. Generative AI am Beispiel Health Care Verbessern med. Bilder Entdecken neuer Medikamente* Vereinfachen med. Aufgaben Personalisierte Behandlung *via Generative Design
27. Generative AI am Beispiel Advertising & Marketing Erstellen von Marketinginhalten Personalisierte Empfehlungen Produktbeschreibungen Verbessern der SEO
28. Generative AI am Beispiel Manufactoring Designprozess beschleunigen Intelligente Wartung Optimieren der Lieferkette
29. Generative AI am Beispiel Media & Entertainment Audio- und Videoinhalte erstellen Event-Highlights zusammenstellen Generieren/verwalten von Tags
30. Generative AI am Beispiel Financial Services Erstellen von Anlagestrategien Kommunikation und Schulung Investment Research Drafts Regulatorische Überwachung
31. Generative AI am Beispiel Software Development Code generieren Tests automatisieren Programmiersprachen übersetzen Softwarelösungen erklären
32. GenAI am Beispiel „Know Your Business!“ *wenn du am Ende erfolgreich sein möchtest.
33. GenAI Basics Wie baue ich ein erstes, einfaches GenAI System?
34. GenAI- Model Prompt GenAI Basics „Was ist das schönste Reiseziel auf der Welt?“
35. GenAI- Model Prompt GenAI Basics Model Selection Prompt Engineering 2 1 „Was ist das schönste Reiseziel auf der Welt?“
36. GenAI Hands-on • Erstellen eines Jupyter NB in der Colab Umgebung. • Aufrufen eines GenAI Models mit individuellem Prompt via Provider-spezifischer API. Hello IPYNB*, hello GenAI *IPython Notebook aka Jupyter Notebook
37. Hands-on Hello Jupyter Notebook https://colab.research.google.com/
38. Hands-on Hello GenAI World
39. GenAI- Model Prompt GenAI Basics Model Selection Prompt Engineering 2 1 „Was ist das schönste Reiseziel auf der Welt?“
40. GenAI explained MODELS
41. GenAI- Model Prompt GenAI Basics Model Selection Prompt Engineering 2 Model Selection 1 „Was ist das schönste Reiseziel auf der Welt?“ Welches Model? Welche Parameter? Welche Infrastruktur? Welche Lizenz? Welches Preismodell? Welche Governance?
42. GenAI Basics Model Selection aka „Wie finde ich das passende Model?“
43. Source: https://lifearchitect.ai/ look for „LLM Billboard Charts“
44. GenAI Basics Model Selection „Was misst ein AI-Benchmark?“ • Allgemeinwissen • Programmierung • Mathematik • ... Offizielle Benchmarks oftmals Teil der Trainigsdaten! • Kreativität • Faktenwissen • Logik
45. GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“
46. GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“ • für mein Problem • für meine Daten • für meinen Kontext • für meinen Geldbeutel
47. GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“ Public, Private, Sizes, Purpose Availability
48. GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“ Public, Private, Sizes, Purpose Data Privacy, Security, Explainability Availability Governance
49. GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“ Public, Private, Sizes, Purpose Data Privacy, Security, Explainability Complexity, Business Area Availability Governance Use Case
50. GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“ Public, Private, Sizes, Purpose Data Privacy, Security, Explainability Complexity, Business Area Latency, Cost, Customizeability Availability Governance Use Case Performance
51. GenAI Basics Model Selection aka „Wie finde ich das passende Model für mich?“ Public, Private, Sizes, Purpose Data Privacy, Security, Explainability Complexity, Business Area Latency, Cost, Customizeability Traininig, Runtime, Availability Team Skills, Computational Power Availability Governance Use Case Performance Data Resources „Know Your Use-Case!“ *wenn du am Ende erfolgreich sein möchtest.
52. GenAI- Model Prompt GenAI Basics Model Integration Prompt Engineering 2 Model Selection 1 „Was ist das schönste Reiseziel auf der Welt?“ Passendes Model gefunden. Aber wie spreche ich es aus meiner Anwendung heraus an?
53. Model A-small Model Provider model-name model-parameter provider-parameter prompt Model A-big Model B e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration „Was ist das schönste Reiseziel auf der Welt?“ Reminder: 00-hello-genai.ipynb
54. Model X mini Model Provider II model-name model-parameter provider-parameter prompt Model Y Model Y ++ e.g. openAI, Google, … Provider Client API GenAI Basics Model Integration „Was ist das schönste Reiseziel auf der Welt?“
55. Model X mini Model Provider II Provider II Client API model-name model-parameter provider-parameter prompt Model Y Model Y ++ e.g. openAI, Google, … GenAI Basics Model Integration „Was ist das schönste Reiseziel auf der Welt?“
56. Hub-Provider Client API model-name model-parameter hub-provider-parameter prompt e.g. Hugging-Face Provider-II hosted Models Provider-I hosted Models Hub-hosted Models* Hub-Provider Dispatcher *Provider X, fine-tuned or adapted, own GenAI Basics Model Integration Cloud based Resources „Was ist das schönste Reiseziel auf der Welt?“
57. Hub-Provider Client API model-name model-parameter hub-provider-parameter prompt e.g. Hugging-Face Provider-II hosted Models Provider-I hosted Models Hub-hosted Models* Hub-Provider Dispatcher *Provider X, fine-tuned or adapted, own GenAI Basics Model Integration cloud-not-allowed exception „Was ist das schönste Reiseziel auf der Welt?“
58. Local-Hub Provider Client API model-name model-parameter hub-provider-parameter prompt e.g. GPT4all, ollama Local hosted Models (Provider III) Local hosted Models (Provider II) Local hosted Models (own or adaptedI) Local-Hub Provider Dispatcher Local Machine GenAI Basics Model Integration „Was ist das schönste Reiseziel auf der Welt?“
59. GenAI Basics Model Adaption „Welche zusätzlichen Stellschrauben habe ich?“ • Temperature Grad der „Fantasie“ • Max Tokens Länge der Antwort • Top K Auswahl der Treffer aus den top K Treffern • Top P Auswahl der Treffer aus den top P Prozent • Presence Penalty Wiederholungen werden vermieden • Frequence Penalty Wiederholungen werden gewichtet vermieden
60. GenAI Basics Model Selection Source: https://promptengineering.org/prompt-engineering-with-temperature-and-top-p/
61. Source: https://deepinfra.com/meta-llama/Llama-3.2-3B-Instruct GenAI Basics Model Selection
62. Source: https://lifearchitect.ai/ look for „Models Table“
63. GenAI explained PROMPTING
64. GenAI- Model Prompt Model Selection Prompt Engineering 2 1 GenAI Basics Prompt Engineering „„Was ist das schönste Reiseziel auf der Welt?“
65. GenAI- Model Prompt Model Selection Prompt Engineering 2 1 Parts of a Prompt System vs User Prompt Principles of Prompting Chain-of-Thought Prompts Few-Shot Learning GenAI Basics Prompt Engineering „„Was ist das schönste Reiseziel auf der Welt?“
66. GenAI Basics Prompt Engineering Role Instruction Example 1 Context Example n Question Wie sollte ein guter Prompt aufgebaut sein? Who am I (or the assistant)? What is my intention? What are helpful examples? Are there any additional information? BTW: what is the task I ask for?
67. GenAI Basics Good Prompt vs. Bad Prompt You I want to go on holiday. Where should I go? LR Topic: Holiyday Planning
68. GenAI Basics Good Prompt vs. Bad Prompt You I want to go on holiday. Where should I go? LR You Acting as a travel planner, for a 3-day family trip to Paris with a focus on child-friendly activities, can you create an itinerary including daily schedules and accommodation suggestions? LR Output Example Context Question Role Acting as travel planer, for a 3-day family trip to Paris with a focus on child-friendly activities, can you create an itinerary including daily schedules and accommodation suggestions? Show it holiday sites for hotels you like, describe places you’ve been before and what you loved about them. Topic: Holiyday Planning
69. GenAI Basics Good Prompt vs. Bad Prompt You I want to cook something. LR Topic: Recipe Recommendations
70. GenAI Basics Good Prompt vs. Bad Prompt You I want to cook something. LR You Acting as an expert home cook, for someone who enjoys vegetarian Italian food and has only 30 minutes to prepare dinner, could you recommend a recipe including a list of ingredients and step-by- step instructions? LR Output Example Context Question Role Acting as an expert home cook, for someone who enjoys vegetarian Italian food and has only 30 minutes to prepare dinner, could you recommend a recipe including a list of ingredients and step-by-step instructions? You could point at recipes you like from the BBC’s Good Food guide, providing URL’s to recipes you love. Topic: Recipe Recommendations
71. GenAI Basics System Prompt vs. User Prompt System Assistant User ‘You're a friendly assistant.’ „Du“ Chat-Model Verhalten des Assistenten
72. GenAI Basics System Prompt vs. User Prompt System Assistant User ‘You're a friendly assistant and always keep things brief.’ ‚Which is the most beautiful city in the world?‘ ‚Which is the most beautiful city in the world?‘ ‘You are a philosopher and have a tendency to be verbose.’ ??? ??? „Du“ Chat-Model Verhalten des Assistenten
73. GenAI Basics System Prompt vs. User Prompt System-Prompt: ‘You're a friendly assistant and always keep things brief.’ Assistant: 65 Tokens
74. GenAI Basics System Prompt vs. User Prompt System-Prompt: ‘You are a philosopher and have a tendency to be verbose.’ Assistant: 434 Tokens
75. GenAI Basics System Prompt vs. User Prompt System-Prompt: Default GPT-4o Assistant: 296 Tokens
76. GenAI Basics Prompt Engineering Looking for inspiration? Go to https://github.com/mustvlad/ChatGPT-System-Prompts
77. GenAI Basics Prompt Engineering You Brainstorm a list of product names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR Prompt Engineering Principles Source: Prompt Engineering for Generative AI, James Phoenix & Mike Taylor, O‘Reilly 2024
78. GenAI Basics Prompt Engineering You Brainstorm a list of product names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR 1. Give Direction Describe the desired style in detail, or reference a relevant persona.
79. GenAI Basics Prompt Engineering You Brainstorm a list of product names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR 1. Give Direction Describe the desired style in detail, or reference a relevant persona. 2. Specify Format Define the rules to follow, and the required structure to respond.
80. GenAI Basics Prompt Engineering You Brainstorm a list of product names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR 1. Give Direction Describe the desired style in detail, or reference a relevant persona. 2. Specify Format Define the rules to follow, and the required structure to respond. 3. Provide Examples Insert a deverse set if test cases where the task was done correctly.
81. GenAI Basics Prompt Engineering You Brainstorm a list of product names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR 1. Give Direction Describe the desired style in detail, or reference a relevant persona. 2. Specify Format Define the rules to follow, and the required structure to respond. 3. Provide Examples Insert a deverse set if test cases where the task was done correctly. 4. Evaluate Quality Identify errors and rate responses, Testing what drives performance.
82. GenAI Basics Prompt Engineering You Brainstorm a list of product names for a shoe that fits any foot size, in the style of Steve Jobs. Return the result as a comma separated list, in this format: Product description: A shoe that fits any foot size Product name: [list of 3 names] ## Examples Product description: A refrigerator that dispenses beer Product names: iBarFridge, iFridgeBeer, iDrinkBeerFridge Product description: A watch that can tell accurate time in space Product names: iNaut, iSpace, iTime ChatGPT Product description: A shoe that fits any foot size Product names: iFitFoot, iPerfectFit, iShoeSize <10/10> LR 1. Give Direction Describe the desired style in detail, or reference a relevant persona. 2. Specify Format Define the rules to follow, and the required structure to respond. 3. Provide Examples Insert a deverse set if test cases where the task was done correctly. 4. Evaluate Quality Identify errors and rate responses, Testing what drives performance. You Please rate the product names based on their catchines, uniqueness, simplicity. Rate them on a scale from 1 to 5, with being 5 the highest score. Respond only with a table containing the results. LR ChatGPT Product Name Catchiness Uniqueness Simplicity iFitFoot 4 4 4 iPerfectFit 5 4 3 iShoeSize 3 3 5 5. Devide Labor Split the task into multiple steps, chained together for complex goals.
83. GenAI Basics Prompt Engineering You Question: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have? Answer: The answer is 11. Question: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have? ChatGPT The answer is 27. [NOT CORRECT] LR Chain of Thoughts Pattern
84. GenAI Basics Prompt Engineering You Question: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have? Answer: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis balls. 5 + 6 = 11. The answer is 11. Question: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have? ChatGPT A cafeteria had 23 apples originally. They used 20 to make lunch. So they had 23 - 20 = 3. They bought 6 more apples, so they have 3 + 6 = 9. The answer is 9. [CORRECT] LR „Anstatt das Sprachmodell direkt aufzufordern, das Problem zu lösen, verwenden wir eine Gedankenkette als Aufforderung, um das Modell durch Zwischenschritte zu führen."
85. GenAI Basics Prompt Engineering LR Source: https://promptengineering.org/master-prompting-concepts-chain-of-thought-prompting/
86. GenAI Basics Prompt Engineering You Please choose the best explanation to the question: Question: How is snow formed? Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the atmosphere, which can combine and grow into snowflakes as they fall through the atmosphere and accumulate on the ground. Explanation2: Water vapor freezes into ice crystals forming snow. Answer: ChatGPT Explanation 1 is the better explanation. It provides a more detailed and complete description of the process. It explains that water vapor freezes into ice crystals in the atmosphere and how these crystals can combine to form snowflakes as they fall through the air before accumulating on the ground. This explanation gives a clearer understanding of the formation process of snow compared to the shorter Explanation 2. LR Few-Shot Learning Pattern ???
87. GenAI Basics Prompt Engineering You Please choose the best explanation to the question: Question: Why is sky blue? Explanation1: The sky appears blue because of Rayleigh scattering, … making the sky look blue. Explanation2: Due to Rayleigh scattering effect. Answer: Explanation2 Question: What is the cause of earthquakes? Explanation1: Sudden release of energy in the Earth's crust. Explanation2: Earthquakes happen when tectonic plates suddenly slip or break apart, …. cause damage. Answer: Explanation1 Question: How is snow formed? Explanation1: Snow is formed when water vapor in the air freezes into ice crystals in the atmosphere, … on the ground. Explanation2: Water vapor freezes into ice crystals forming snow. Answer: ChatGPT Explanation 2. LR Beispiel 2 Beispiel 1 ??? „Anstatt ein Modell mit vielen, vielen Daten zu füttern, geben wir ihm einige wenige Beispiele zur Orientierung."
88. GenAI Basics Prompt Injection https://gandalf.lakera.ai/
89. GenAI Hands-on • Prompten mit dediziertem System Prompt. • Anwenden von Prompting Patterns und Best Practices. • GenAI Completion via Model Parameter beeinflussen. Prompting & Models
90. Hands-on Prompting & Models
91. GenAI explained myDOMAIN
92. GenAI- Model Prompt GenAI Basics myDomain „„Was ist das schönste Reiseziel auf der Welt?“
93. GenAI- Model Prompt GenAI Basics myDomain „Wie beantrage ich Urlaub bei open knowledge?“
94. GenAI- Model Prompt GenAI Basics myDomain + „Leave regulation at open knowledge“ „Wie beantrage ich Urlaub bei open knowledge?“
95. GenAI Hands-on • Prompt um eigenen Kontext anreichern. • Dialoge unter Verwendung des Kontexts führen. Prompting & Augmention
96. Hands-on Augmention
97. Hands-on Augmention
98. Hands-on Augmention
99. Hands-on Augmention
100. Hands-on Augmention
101. Hands-on Augmention
102. GenAI- Model Prompt GenAI Basics myDomain + „Wie beantrage ich Urlaub bei open knowledge?“ „Urlaubsregelung bei open knowledge“
103. GenAI- Model Prompt GenAI Basics myDomain + „Wie aktiviere ich die Alarmanlage bei open knowledge?“ „Urlaubsregelung bei open knowledge“
104. GenAI- Model Prompt GenAI Basics myDomain + + „Wie aktiviere ich die Alarmanlage bei open knowledge?“ „Urlaubsregelung + Alarmanlage bei open knowledge“
105. GenAI- Model Prompt GenAI Basics myDomain + „Alles interne Wissen (Wiki, DB, …) bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“
106. GenAI- Model Prompt GenAI Basics myDomain + ERROR: Token Limit exceeded Output Size Context Window Size „Wie mache ich XYZ bei open knowledge?“ „Alles interne Wissen (Wiki, DB, …) bei open knowledge“
107. GenAI- Model Prompt GenAI Basics myDomain + ERROR: Out-of-Budget Exception Context Window Size „Alles interne Wissen (Wiki, DB, …) bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“
108. GenAI- Model Prompt GenAI Basics myDomain + ERROR: Lost-in-the-Middle Context Window Size „Wie mache ich XYZ bei open knowledge?“ „Alles interne Wissen (Wiki, DB, …) bei open knowledge“
109. GenAI- Model Prompt GenAI Basics myDomain + ERROR: Self-fullfilling Prophecy Context Window Size Context Window Size Context Window Size Context Window Size „Alles interne Wissen (Wiki, DB, …) bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“
110. GenAI Basics myDomain „Was sind Token Limits?“ • Context Window Size • Output Size • lange Anfragen sind teuer • lange Antworten sind noch teurer
111. Source: https://llm-price.com
112. Source: https://llm-price.com
113. 128.000 Tokens? Kling viel! Ist aber für myDomain in der Regel zu wenig! Source: https://llm-price.com
114. GenAI Advanced Wie kann ich mein eigenes Domänenwissen einbringen und abfragen?
115. GenAI- Model Prompt GenAI Advanced myDomain + ERROR: Token Limit exceeded! Output Size Context Window Size „Alles interne Wissen bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“
116. myGenAI Model Prompt GenAI Advanced myDomain „Wie mache ich XYZ bei open knowledge?“ „Alles interne Wissen bei open knowledge“
117. myGenAI Model Prompt GenAI Advanced myDomain Option 1: Build own Model Option 2: Fine-tune existing Model ERROR: Way to expensive ERROR: Way to complex WARNING: Out-of-Sync „Wie mache ich XYZ bei open knowledge?“ „Alles interne Wissen bei open knowledge“
118. Prompt GenAI Advanced myDomain „Prompt Enrichment“ „Model Enrichment“ myGenAI Model + „Wie mache ich XYZ bei open knowledge?“
119. Prompt GenAI Advanced myDomain GenAI- Model SOME MAGIC „MAGIC Enrichment“ „Wie mache ich XYZ bei open knowledge?“
120. Prompt GenAI- Model GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ SOME MAGIC „Wie mache ich XYZ bei open knowledge?“
121. Prompt Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Advanced myDomain „Alles interne Wissen bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“
122. Prompt Ingesting- Pipeline Knowledge Database Retriever GenAI Advanced myDomain R etrieval Augmented Generation „Alles interne Wissen bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“
123. GenAI explained RAG Systems
124. Prompt Ingesting- Pipeline Knowledge Database Retriever GenAI Advanced RAG Systems R etrieval Augmented Generation „Alles interne Wissen bei open knowledge“ „Wie mache ich XYZ bei open knowledge?“
125. Prompt Ingesting- Pipeline Knowledge Database GenAI Advanced RAG Systems „Alles interne Wissen bei open knowledge“ R etrieval Augmented Generation Retriever
126. GenAI Advanced RAG Systems GenAI Model INGESTING Pipeline (Async.) Chunking Embedding RETRIEVAL Pipeline (Sync.) Top-k Fetching Augmenting UI/UX (Prompt) Query- Embedding „Wie funktioniert XYZ bei open knowledge? Retriever
127. GenAI Advanced RAG Systems GenAI Model INGESTING Pipeline (Async.) Chunking Embedding RETRIEVAL Pipeline (Sync.) Top-k Fetching Augmenting UI/UX Query- Embedding Sieht kompliziert(er) aus, ist es auch! Außer in „Hello World“ Beispielen aus dem Internet Retriever
128. „Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ Document (Doc. Id:1) Chunking Embedding Ingesting Pipeline by Example
129. „Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Chunking Embedding Ingesting Pipeline by Example
130. „Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Chunking Embedding [-0.24, 0.15, …, 0.52] [-0.13, 0.95, …, 0.31] […] Ingesting Pipeline by Example
131. „Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models […].“ [„Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen.“] [„Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats.“] […] Document (Doc. Id:1) Id Doc. Id Embedding 1 1 [-0.24, 0.15, …, 0.52] 2 1 [-0.13, 0.95, …, 0.31] […] […] […] Chunking Embedding [-0.24, 0.15, …, 0.52] [-0.13, 0.95, …, 0.31] […] Ingesting Pipeline by Example
132. Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“
133. Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62]
134. Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting Embeddings aus Knowledge Base Embeddings Dimension 1 Embed. Dim. 2 Top-k=1 Dokument „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62]
135. Retrieval Pipeline by Example Embedding Top-k Fetching Augmenting Embeddings aus Knowledge Base Embeddings Dimension 1 Embed. Dim. 2 Top-k=1 Dokument „Wovon handelt der Vortrag „Die Architektur für Sprachmodelle in der Praxis - Retrieval Augmented Generation“?“ [0.35, 0.25, …, 0.62] & „Wovon handelt der Vortrag […] basierend auf folgendem Kontext: „Durch ein vorgeschaltetes Retrieval, um relevante Informationen aus einer eigenen dynamischen Datenbasis hinzuziehen, können fundierte Antworten geliefert werden.“
136. Sherlock RAG in Action
140. GenAI Hands-on • Implementieren eines RAG-Systems unter der Verwendung von Ingestion- und Retrieval-Pipelines. • Anwenden des RAG für Fragen aus der Domäne. RAG System - Simple Version -
141. Hands-on Simple RAG
142. Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Advanced RAG Systems „Wie beantrage ich Urlaub bei open knowledge?“
143. Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline GenAI Advanced RAG Systems „Urlaub? So wie du arbeitest? Du faules Stück!“ „Wie beantrage ich Urlaub bei open knowledge?“
144. GenAI Professional Was fehlt noch für einen nachhaltigen produktiven Betrieb?
145. Retrieval Augmented Knowledge Database Retriever Generation Ingesting- Pipeline „Wie beantrage ich Urlaub bei open knowledge?“ GenAI Professional Guardrails „Urlaub? So wie du arbeitest? Du faules Stück!“
146. Retrieval Augmented Knowledge Database Retriever Generation Guarding Output Ingesting- Pipeline GenAI Professional Guardrails Output Profanity Check „Wie beantrage ich Urlaub bei open knowledge?“ „Urlaub? So wie du arbeitest? Du faules Stück!“
147. Retrieval Augmented Knowledge Database Retriever Generation Guarding Output Ingesting- Pipeline GenAI Professional Guardrails „Das kann ich leider nicht beantworten.“ Output Profanity Check „Wie beantrage ich Urlaub bei open knowledge?“ „Urlaub? So wie du arbeitest? Du faules Stück!“ „…. Faules Stück …“
148. Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline GenAI Professional Guardrails Guarding „Was soll ich heute Abend kochen?“ Topic Check
149. Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline GenAI Professional Guardrails Guarding „Was soll ich heute Abend kochen?“ „Sorry, aber das fällt nicht in meinen Aufgabenbereich.“ Topic Check
150. Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline GenAI Professional Guardrails Output-Governance: Toxic Speech, Fact-Checking, Ethical-Guidelines, Cross-Validation, … Input-Evaluation: Prompt-Injection, Jailbreak-Versuche, Topic-Filter, PII-Cleansing, Rate-Limiting,… Guarding
151. Sherlock RAG in Action
153. GenAI Hands-on • Erstellen eigener Guardrails zum Verhindern toxischer Sprache. • Implementieren eines Fact- Checkers Output Guardrails. RAG System - Guardrails -
154. Hands-on Guardrails to the rescue
155. Hands-on Guardrails to the rescue
156. Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline GenAI Professional Guarding Was fehlt noch für ein professionelles und produktives System?
157. Retrieval Augmented Knowledge Database Retriever Generation Input Output Ingesting- Pipeline RAG-Monitoring Cost- Monitoring Model- Monitoring Response-Quality- Monitoring GenAI Professional Monitoring Guarding Ragas: https://docs.ragas.io/en/stable/concepts/metrics
158. Retrieval Augmented Generation GenAI Professional Response Quality Monitoring https://docs.confident-ai.com/docs/metrics-llm-evals G-Eval Summerization Answer Relevancy Faithfulness Summerization Hallucination Contextual Recall Contextual Relevancy Contextual Precision relevanter Kontext generierte Antwort User Input
159. Retrieval Augmented Generation GenAI Professional Response Quality Monitoring Faithfulness relevanter Kontext generierte Antwort User Input Wird die durch unterstützt?
160. Retrieval Augmented Generation relevanter Kontext generierte Antwort User Input GenAI Professional Response Quality Monitoring Answer Relevancy Passt die zum ?
161. GenAI Professional Response Quality Monitoring Step 1: Generiere mögliche Antworten ( ) aus Embeddings Dimension 1 Embed. Dim. 2 Answer Relevancy Passt die zum ?
162. GenAI Professional Response Quality Monitoring Step 1: Generiere mögliche Antworten ( ) aus Step 2: Berechne die mittlere Distanz von Embeddings Dimension 1 Embed. Dim. 2 Answer Relevancy Passt die zum ?
163. RAG in Action aka Sherlock RAG
165. Best Practices Was sind typische Stolperfallen, in die ich reinlaufen werde – und wie gehe ich damit um?
166. Retrieval Augmented Knowledge Database Retriever Generation Guarding Input Output Ingesting- Pipeline RAG-Monitoring Cost- Monitoring Model- Monitoring Response-Quality- Monitoring GenAI Best Practices Real Life Survival Guide
167. „Die Antworten klingen schlüssig, sind aber falsch!“ GenAI Best Practices Real Life Survival Guide
168. GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Query- Embedding Top-k Fetching Augmenting Input GenAI Best Practices Real Life Survival Guide Hallucination (via Faithfulness / Answer Relevancy)
169. GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Query- Embedding Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide
170. GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Query- Embedding Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Chunk not found
171. GenAI Model UI/UX Guardrails Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Query- Embedding Top-k Fetching Augmenting Input Missing Data GenAI Best Practices Real Life Survival Guide Chunk not found Chunk not relevant
172. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data
173. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: RAG kennt die benötigten Daten nicht.
174. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: RAG kennt die benötigten Daten nicht. Lösung: Passenden Ingestor implementieren.
175. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: Snapshot der Daten ist nicht aktuell genug.
176. Ingesting-Pipeline (Async.) Chunking Embedding Real Life RAG #1 Missing-Data Challenge Missing Data Problem: Snapshot der Daten ist nicht aktuell genug. Lösung: Schnittstelle zum „kontinuierlichen“ Data-Sync.
177. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Query- Embedding
178. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Query- Embedding
179. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #1: Chunk-Sizes und Overlapping adaptieren. Query- Embedding
180. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #2: Andere Splitter verwenden (e.g. Semantic-Splitter). Query- Embedding
181. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung#3: Optimierung des Distanz-Thresholds bzw. k aus Top-k Query- Embedding
182. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #4: Auswahl eines besser geeigneten Embedding-Models. Query- Embedding
183. Top-k Fetching Ingesting-Pipeline (Async.) Chunking Embedding Augmenting Retrieval-Pipeline (Sync.) Real Life RAG #2 Chunk-not-found Challenge Chunk not found Problem: Vorhandene Chunks werden nicht gefunden. Lösung #5: Hypothetical Document Embeddings (HyDE) Input HyDE Query- Embedding
184. Guardrails Input Output Gao et al. (2023) HyDE = Hypothetical Document Embeddings Real Life RAG #2 Chunk-not-found Challenge HyDE
185. Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant GenAI Model Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Query- Embedding
186. Real Life RAG #3 Chunk-not-relevant Challenge Problem: Chunk wird vom Model nicht als relevant erachtet. Chunk not relevant GenAI Model Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Query- Embedding
187. Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) Problem: Chunk wird vom Model nicht als relevant erachtet. Lösung #1: Für den Use-Case besser geeignetes Modell wählen. GenAI Model Query- Embedding
188. Real Life RAG #3 Chunk-not-relevant Challenge Chunk not relevant Top-k Fetching Augmenting Retrieval-Pipeline (Sync.) GenAI Model Problem: Chunk wird vom Model nicht als relevant erachtet. Lösung #2: Chunk um zusätzlichen Context erweitern (small-to-big). Chunk Query- Embedding
189. GenAI Model UI/UX Guardrails Input Output Ingesting-Pipeline (Async.) Chunking Embedding Retrieval-Pipeline (Sync.) Top-k Fetching Augmenting Query- Embedding
190. GenAI Hands-on • Überleben im RAG-Dschungel: Anwenden von Pattern und Best Practices für Content- Ingestion und -Retrieval. RAG System - Pitfalls -
191. Hands-on Surviving the RAG jungle
192. Ausblick Was ist neben der reinen Wissensabfrage noch alles möglich?
193. Prompt Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Outlook Was gibt es noch zu bedenken? „How to apply for vacation at open knowledge?“ „Alles interne Wissen bei open knowledge“
194. GenAI explained I18N
195. UI/UX Enterprise Integration „Comment demander des vacances chez ok?“ Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model Knowledge Database „Wie beantrage ich Urlaub bei open knowledge?“ GenAI Outlook Multi-Language RAG „Alles interne Wissen bei open knowledge“
196. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model Language- Detection Translation Translation Translation GenAI Outlook Multi-Language RAG Knowledge Database „Comment demander des vacances chez ok?“ „Alles interne Wissen bei open knowledge“
197. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model Translation Translation Translation Translation FR_fr language not supported domain specific wording GenAI Outlook Multi-Language RAG Language- Detection „Comment demander des vacances chez ok?“ „Alles interne Wissen bei open knowledge in mehreren Sprachen.“
198. GenAI explained ACCESS CONTROL
199. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model Knowledge Database GenAI Outlook Access Control „Wie beantrage ich Urlaub bei open knowledge?“ „Alles interne Wissen bei open knowledge“
200. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model Knowledge Database GenAI Outlook Access Control „Was sind die geheimen KPIs von open knowledge?“ „Alles interne Wissen bei open knowledge“ incl C-Level Informationen.“
201. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model Token Knowledge Database Input Guardrail Eine Art von Attacke? Prompt-Injection? Prompt-Abuse? Rate-Limit? GenAI Outlook Access Control „Was sind die geheimen KPIs von open knowledge?“ „Alles interne Wissen bei open knowledge“ incl C-Level Informationen.“
202. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database incl. AC Meta Data Retriever GenAI- Model RBAC via PBF Token Token Input Guardrail GenAI Outlook Access Control RBAC = Role based Access Control PBF = Permission based Filtering „Was sind die geheimen KPIs von open knowledge?“ „Alles interne Wissen bei open knowledge“ incl C-Level Informationen.“
203. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database with AC Meta Data Retriever GenAI- Model RBAC via PBF Token Token Input Guardrail Output Guardrail PII: Personally identifiable information? GenAI Outlook Access Control „Wie sehen die persönlchen Daten von X aus bei ok?“ „Alles interne Wissen bei open knowledge“ incl C-Level Informationen.“
204. GenAI explained INTEGRATION
205. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Retriever GenAI- Model Knowledge Database GenAI Outlook Integration „Wie beantrage ich Urlaub bei open knowledge?“ „Alles interne Wissen bei open knowledge“
206. GenAI Outlook Integration GenAI based Service A P I ML as a Service Input Output UI/UX Enterprise Integration „Wie beantrage ich Urlaub bei open knowledge?“ „Alles interne Wissen bei open knowledge“
207. GenAI Hands-on • Bereitstellung eines GenAI basierten Systems als Service. • Integration des Service in eine eigene Oberfläche. RAG System - GenAI as a Service -
208. Hands-on GenAI-as-a-Service
209. Hands-on GenAI-as-a-Service
210. GenAI explained AGENTS
211. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Outlook Multi-Agenten Systeme „Wie beantrage ich Urlaub bei open knowledge?“ „Alles interne Wissen bei open knowledge“
212. UI/UX Enterprise Integration Retrieve Augment Ingesting- Pipeline Knowledge Database Retriever GenAI- Model GenAI Outlook Multi-Agenten Systeme „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“ „Alles interne Wissen bei open knowledge“
213. GenAI Outlook Multi-Agenten Systeme Retriever Memory Tools Planning Database Prompting Models API-Call UI/UX „Ich habe deinen Urlaub beantragt.“ „Beantrage meinen Urlaub von […] bis [… ] bei ok, bitte.“
214. Fazit Was sollte ich aus dem Workshop für mich und mein Team mitnehmen?
215. GenAI vom Prototypen zum produktiven Einsatz Was du heute mitnehmen solltest: • GenAI ist mächtig. Mächtig teuer. • Der Prompt ist dein Freund. • Jedes Modell ist anders. • RAG für eigenes Domänenwissen. • GenAI ist auch nur Software. Dein Use Case bestimmt den richtigen Weg!
216. „When deploying Generative AI technology, it is essential to adhere to best practices including employing models through validation, understanding the model’s limitations, ensuring ethical use, and monitoring for biases continuously.“ (Source: https://www.tredence.com/generative-ai-101)
218. Zeit für Fragen? Immer!
219. #WISSENTEILEN #WISSENTEILEN by open knowledge GmbH @_openKnowledge | @mobileLarson Lars Röwekamp, CIO New Technologies Vielen Dank!
220. Beyond the Prompt Die Follow-Up Websession Du warst im Workshop – aber hast noch Fragen? Oder willst wissen, wie du jetzt konkret starten kannst? Dann komm zu unserer exklusiven Follow-Up Websession – nur für Teilnehmende dieses Workshops! In unserer Follow-Up Websession kannst Du: • Offene Fragen klären • Use Cases diskutieren • GenAI konkret anwenden Wann: Voraussichtlich Ende Mai (wir informieren dich per Mail) Wie nimmst Du Teil? Schreib uns direkt: lars.roewekamp@openknowledge.de Wir senden Dir Deine Einladung zu.
221. Ein Blick über den RAG-Tellerrand: Cognitive Architecture blog.langchain.dev/what-is-a-cognitive-architecture Wir sind hier
222. #WISSENTEILEN #WISSENTEILEN BILDNACHWEISE Folie 21: © photoplotnikov - istockphoto.com Folie 23: © Mix und Match Studios - shutterstock.com Folie 23: © Mix und Match Studios - shutterstock.com Alle anderen Bilder, , Zeichnungen und icons stammen aus den folgenden freien Quellen • pexels.com, • pixabay.com, • unsplash.com, • flaticon.com oder wurden von mir selbst erstellt.