Upgrade to Pro — share decks privately, control downloads, hide ads and more …

IT-Tage 365 2025: LLMs in der Praxis: Top Patte...

IT-Tage 365 2025: LLMs in der Praxis: Top Patterns & Lösungen für nahtlose Integration

Erfahrungen aus der Generative-AI-Praxis: In diesem Vortrag präsentiert Christian Weyer konkrete Patterns & Lösungen für die Integration von Large Language Models (LLMs) in eigene Softwarelösungen. Wichtige Themen wie Semantic Routing, RAG, Structured Output oder Observability werden mit Code-Beispielen illustriert. Es erwartet Entwickler und Architekten ein pragmatischer Einblick zur Umsetzung in eigenen Projekten.

Christian Weyer PRO

June 26, 2025

Transcript

21 slides
  1. LLMs in der Praxis: Top Patterns & Lösungen für Integration

    in Ihre Anwendungen Christian Weyer | Co-Founder & CTO | Thinktecture AG | [email protected]
  2. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen Our journey 2 Lightweight RAG Structured Output / Tool Calling AI models for your software Semantic Routing Observability
  3. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen AI MODELS FOR YOUR SOFTWARE 3
  4. Language Models understand and generate semantically rich human language, transforming

    it into text or structured data for both humans and machines. ⚠ Non-deterministic: same input can lead to different outputs. Embedding Models capture semantic meaning by encoding human language into numerical vector representations, facilitating understanding, comparison, and retrieval for both humans and machines. ✅ Deterministic: same input always results in the same embedding. LLMs in der Praxis Top Patterns & Lösungen für Integration in Ihre Anwendungen 4 🫱 🫲
  5. § Language & embedding models part of end-to-end architectures §

    Embedding models can be run locally § Optimized for CPU § Language models still hard to run locally § High GPU power § High VRAM § High memory bandwidth LLMs in der Praxis Top Patterns & Lösungen für Integration in Ihre Anwendungen API-based AI model integrations 5
  6. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen Classical applications & UIs 6 API-based data Document-based data
  7. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen Language-enabled “UIs” – Talk-to-TT 7
  8. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen 8 C4 system context diagram § Various tech stacks § Docker-based distributed system
  9. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen PATTERN LIGHTWEIGHT RAG [RETRIEVAL-AUGMENTED GENERATION] 9
  10. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen “Talk to your Data” Cleanup & Split Text Embedding Question Text Embedding Save Query Relevant Results Question Answ er w / sources LLM Embedding Model Embedding Model 💡 Indexing / Embedding Question Answering .md, .docx, .pdf etc. “Lorem ipsum…?” 💡 Vector DB 10
  11. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen PATTERN STRUCTURED OUTPUT 11
  12. § Integration is being standardized with MCP LLMs in der

    Praxis Top Patterns & Lösungen für Integration in Ihre Anwendungen Structured data from unstructured input For calling APIs / tools 12 “OK, when is my colleague CW available for a two- days workshop?” System Prompt (with employee data) + Schema / Function Calling (for structured output) (Internal) Web API Availability business logic
  13. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen PATTERN SEMANTIC ROUTING 13
  14. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen Semantics-based decisions for user interactions Guarding (e.g. prompt injection) Routing (selecting correct target) “Lorem ipsum…?” Target RAG Target API Call Target … something else … Fine-tuned Language Model Embedding Model 14
  15. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen PATTERN / SOLUTION OBSERVABILITY 15
  16. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen Things can get… overwhelming 16
  17. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen End-to-end tracing 17
  18. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen 18 AI solutions are 10% AI and 100% software engineering. 18
  19. LLMs in der Praxis Top Patterns & Lösungen für Integration

    in Ihre Anwendungen YOUR journey 19 AI Models for your software Lightweight RAG Semantic Routing Observability Structured Output / Tool Calling
  20. § Technology catalyst § AI-powered solutions § Pragmatic end-to-end architectures

    § Microsoft MVP for AI § Google GDE for Web AI § [email protected] § https://www.thinktecture.com LLMs in der Praxis Top Patterns & Lösungen für Integration in Ihre Anwendungen Christian Weyer Co-Founder & CTO @ Thinktecture AG 21

More Decks by Christian Weyer

Other Decks in Programming