DDC 2024: 'Talk to your systems': Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht

Das "Sprechen" mit eigenen Daten, bekannt als RAG, ist der „Hello World“-Anwendungsfall für Gen AI und LLMs. Aber es gibt noch mehr zu entdecken. Basierend auf ihrem Verständnis der menschlichen Sprache können LLMs genutzt werden, um innovative Interaktionen für Anwendungen und Systeme zu realisieren. In dieser Session zeigt Christian, wie Sie strukturierte Datenausgaben mit Datenschemata und Funktionsaufrufen nutzen, um Ihre APIs mit der Power von LLMs zu verbinden, und wie die transformative Natur von Generative AI auch Ihren Lösungen helfen kann.

Transcript

1. ‘Talk to your systems’ Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Christian Weyer | Co-Founder & CTO | Thinktecture AG | christian.weyer@thinktecture.com
2. § Technology catalyst § AI-powered solutions § Pragmatic end-to-end architectures § Microsoft Regional Director § Microsoft MVP for AI § Google GDE for Web Technologies christian.weyer@thinktecture.com @christianweyer https://www.thinktecture.com 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Christian Weyer Co-Founder & CTO @ Thinktecture AG 2
3. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Talk to your systems Why? What? How? 3
4. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht TALK TO YOUR SYSTEMS WHY? 4
5. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Human language rocks Extending access to software 5
6. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht A classical UI – strong with certain use cases 6
7. One possible UX pattern 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Language-enabled “UIs” 7
8. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht LLMs Enabling new scenarios 8
9. § LLMs are always part of end-to-end architectures § Client apps (Web, desktop, mobile) § Services with APIs § Databases § etc. § An LLM is ‘just’ an additional asset in your architecture § Enabling human language understanding & generation § It is not the Holy Grail for everything § Enable human language as a first-class citizen 🤯 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht End-to-end architectures with LLMs Clients Services LLMs Desktop Web Mobile Service A Service B Service C API Gateway Monitoring LLM 1 LLM 2 9
10. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht It’s just HTTP APIs Inference, FTW 10
11. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Your LLM OpenAI & beyond 11
12. § Llama, Mistral, Qwen families show big potential § Success factors § Use case § Parameter size § Quantization § GPU processing power needed § CPU optimization on its way § Local inference runtimes with APIs § E.g. llama.cpp, ollama, llamafile, vLLM 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Open-source LLMs thrive § Local UIs § E.g. Open WebUI 12
13. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht TALK TO YOUR SYSTEMS HOW? 13
14. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Most convenient platform for developers today to work with Gen AI 14
15. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Prompting Talk to me! 15
16. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht ‘Function’ Calling Give it schema! 16
17. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Pydantic & Instructor Make it easier! 17
18. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht TALK TO YOUR SYSTEMS WHAT? 18
19. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht End-to-End Talking to your applications 19
20. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Talk to Thinktecture Angular PWA Speech-to-Text Internal Gateway (Python FastAPI) LLM / SLM Text-to-Speech Transcribe spoken text Transcribed text Check for experts availability with text Extract { experts, booking times } from text Structured JSON data (Tool calling) Generate response with availability Response Response with experts availability 🗣 🔉 Speech-to-text for response Response audio Internal Business API (node.js – veeeery old) Query Availability API Availability When is CL…? CL will be… 20
21. Filling Angular forms with human language input – TypeScript-only protected readonly formGroup = this.fb.group({ firstName: [’’], lastName: [’’], addressLine1: [’’], addressLine2: [’’], city: [’’], state: [’’], zip: [’’], country: [’’] }); 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Smart form filling OK, nice – so here is my address then:: Peter Schmitt, Rheinstr. 7 in Schkeuditz – postcode is 04435, BTW. Smart Form Filler (TS code & LLM) 21
22. 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht TALK TO YOUR SYSTEMS RECAP 22
23. § Human language enables new powerful use cases & access to our software § Always use structured output § Structured output is the secret sauce for integrating LLMs into your application architectures § Consider applying the Maybe pattern § Brings more robustness § Function Calling can be flaky § Especially with smaller models § Do not use frameworks that ‘auto-magically’ map Function Calling results to local code § Always validate return data! § Instructor is a helpful library to boost LLM use cases § Implements lots of best practices § Supports any LLM / SLM § Integrates with FastAPI 'Talk to your systems' Strukturierte Daten & Tool-Integration - LLM-Anbindung einfach gemacht Recap & Recommendations 23
24. Thank you! Christian Weyer https://thinktecture.com/christian-weyer https://github.com/thinktecture-labs/talk-to-your-systems https://github.com/thinktecture-labs/smart-form-filler 24