BiPRO-Tag 2025: Pragmatische Gen AI - Smarte Abläufe & echte Integration

Generative AI ist kein Selbstzweck – es geht darum, echte Aufgaben zu lösen und Systeme intelligent zu unterstützen.
In diesem Vortrag zeigt Christian Weyer anhand pragmatischer Muster, wie Small & Large Language Models und andere AI-Komponenten sinnvoll zusammenarbeiten können: für smarte Suchen, clevere Entscheidungen und strukturierte Ergebnisse. Statt Hype und Bauchgefühl gibt es hier konkrete Ansätze, wie Gen AI sicher und transparent in bestehende Anwendungen und Geschäftslogik integriert werden kann – live und hands-on.

Transcript

1. Pragmatische Gen AI: Smarte Abläufe & echte Integration Christian Weyer Co-Founder & CTO, Thinktecture AG christian.weyer@thinktecture.com
2. § Technology catalyst § AI-powered solutions § Pragmatic end-to-end architectures § Microsoft MVP for AI § Google GDE for Web AI § christian.weyer@thinktecture.com § https://www.thinktecture.com Pragmatische Gen AI Smarte Abläufe & echte Integration Christian Weyer Co-Founder & CTO @ Thinktecture AG
3. Pragmatische Gen AI Smarte Abläufe & echte Integration Our journey 3 Intelligent Interfaces Decision Intelligence Conversational AI Document Intelligence AI Model Integration
4. Pragmatische Gen AI Smarte Abläufe & echte Integration AI MODEL INTEGRATION 4
5. Language Models understand and generate semantically rich human language, transforming it into text or structured data for both humans and machines. ⚠ Non-deterministic: same input can lead to different outputs. Embedding Models capture semantic meaning by encoding human language into numerical vector representations, facilitating understanding, comparison, and retrieval for both humans and machines. ✅ Deterministic: same input always results in the same embedding. Pragmatische Gen AI Smarte Abläufe & echte Integration 5 🫱 🫲 Generative AI
6. § Language & embedding models part of end-to-end architectures § Embedding models can be run locally § Optimized for CPU § Language models still hard to run locally § High GPU power § High VRAM § High memory bandwidth Pragmatische Gen AI Smarte Abläufe & echte Integration API-based AI model integrations 6
7. Pragmatische Gen AI Smarte Abläufe & echte Integration SCENARIO INTELLIGENT INTERFACES 7
8. Pragmatische Gen AI Smarte Abläufe & echte Integration Classical business applications & UIs 8 API-based data Document-based data
9. Pragmatische Gen AI Smarte Abläufe & echte Integration Talking to documents (Retrieval-augmented generation) Cleanup & Split Text Embedding Question Text Embedding Save Query Relevant Results Question Answ er w / sources LLM Embedding Model Embedding Model 💡 Indexing / Embedding Question Answering .md, .docx, .pdf etc. “What should I do…?” Vector DB 9
10. Pragmatische Gen AI Smarte Abläufe & echte Integration Talking to APIs (Function / Tool calling) 10 “When is CW available for a two-days workshop?” System Prompt (+ employee data) + Schema (for structured output) Web API Availability business logic
11. Pragmatische Gen AI Smarte Abläufe & echte Integration DEMO 11 § Searching for company policies § Querying expert availability
12. Pragmatische Gen AI Smarte Abläufe & echte Integration SCENARIO DECISION INTELLIGENCE 12
13. Pragmatische Gen AI Smarte Abläufe & echte Integration Semantics-based decisions Guarding (e.g. prompt injection) Routing (selecting correct target) “Lorem ipsum…?” Target Knowledge Base / RAG Target Internal Systems / API Call Target … something else … Fine-tuned Language Model Embedding Model 13
14. Pragmatische Gen AI Smarte Abläufe & echte Integration DEMO Routing user queries to the right target 14
15. Pragmatische Gen AI Smarte Abläufe & echte Integration SCENARIO CONVERSATIONAL INTELLIGENCE 15
16. Pragmatische Gen AI Smarte Abläufe & echte Integration Large Language Models 16
17. Pragmatische Gen AI Smarte Abläufe & echte Integration Multimodal Models 17
18. Pragmatische Gen AI Smarte Abläufe & echte Integration Multimodal Realtime Models 18 🛠 Tool Call
19. Pragmatische Gen AI Smarte Abläufe & echte Integration DEMO Recording damage assessment in a conversational way 19
20. Pragmatische Gen AI Smarte Abläufe & echte Integration SCENARIO DOCUMENT INTELLIGENCE 20
21. Pragmatische Gen AI Smarte Abläufe & echte Integration Data extraction from business documents 21
22. Pragmatische Gen AI Smarte Abläufe & echte Integration DEMO Extracting defined data from product data sheets 22
23. Pragmatische Gen AI Smarte Abläufe & echte Integration Data extraction for your workflows Results 23
24. Pragmatische Gen AI Smarte Abläufe & echte Integration YOUR journey 24 Intelligent Interfaces Decision Intelligence Conversational AI Document Intelligence AI Model Integration
25. Vielen Dank für Ihre Aufmerksamkeit! Christian Weyer Co-Founder & CTO, Thinktecture AG christian.weyer@thinktecture.com