Upgrade to Pro — share decks privately, control downloads, hide ads and more …

KI zwischen Freiheit und Kontrolle: The AI Revo...

KI zwischen Freiheit und Kontrolle: The AI Revolution Will Not Be Monopolized

Generative KI und Large Language Models (LLMs) stellen Unternehmen, die auf Transparenz, Modularität und Privatsphäre setzen, vor neue Herausforderungen. Auf der einen Seite wartet enormes Potenzial, auf der anderen muss man das erst einmal finden, irgendwo zwischen spannenden neuen Tools, FOMO und Tech-Bros, die immer neue Revolutionen anpreisen. Wie müssen wir uns den Einsatz der neuen Technologien in der Praxis tatsächlich vorstellen? Und steuern wir dabei auf eine Black-Box-Ära zu, mit immer größeren Modellen hinter undurchsichtigen APIs, kontrolliert von Big-Tech-Monopolen?

Talk for data:unplugged

Ines Montani

March 11, 2025
Tweet

Resources

The Window-Knocking-Machine-Test

https://ines.io/blog/window-knocking-machine-test/

Wann immer wir also damit konfrontiert sind, eine menschliche Aufgabe mit Technologie zu lösen, sollten wir uns fragen: entwickele ich hier gerade eine Fensterklopfmaschine oder einen Wecker?

What the history of the web can teach us about the future of AI

https://explosion.ai/blog/history-web-future-ai

Was können wir von einer anderen bahnbrechenden Technologie, dem Web, über die Zukunft von KI lernen?

The AI Revolution Will Not Be Monopolized

https://speakerdeck.com/inesmontani/the-ai-revolution-will-not-be-monopolized-how-open-source-beats-economies-of-scale-even-for-llms

Warum Open Source gegen Economies of Scale gewinnt, selbst für Generative KI und große Sprachmodelle (LLMs)

A practical guide to human-in-the-loop distillation

https://explosion.ai/blog/human-in-the-loop-distillation

Praktische Lösungen für die Destillation von LLMs, um so bessere, kleinere, schnellere und komplett private Komponenten zu erstellen

How S&P Global is making markets more transparent with NLP, spaCy and Prodigy

https://explosion.ai/blog/sp-global-commodities

Fallstudie zu einem System für strukturierte Commodities-Trading-Insights von S&P Global mit Hilfe von LLMs und Human-in-the-Loop-Destillation

Case Studies

https://explosion.ai/_/project/case_study

Detaillierte Fallstudien aus der Praxis und aus verschiedenen Anwendungsbereichen und Branchen, die intern entwickelte KI- und NLP-Systeme zeigen und erklären

More Decks by Ines Montani

Other Decks in Technology

Transcript

  1. Open-Source- Bibliothek für Natural Language Processing spacy.io SPACY 360 Mio.+

    Downloads Ines Montani Gründerin und CEO von Explosion
  2. Open-Source- Bibliothek für Natural Language Processing spacy.io SPACY 360 Mio.+

    Downloads Modernes Annotationstool für Machine-Learning- Entwickler prodigy.ai PRODIGY 10.000+ Nutzer Ines Montani Gründerin und CEO von Explosion
  3. ines.io/blog/window-knocking-machine-test Hallo, ich bin Tonis virtueller Assistent und helfe bei

    der Terminbuchung. Hast du Montag um 13 : 00 Zeit? Nein, aber Dienstag würde passen. Okay, bitte bestätige: Dienstag um 13 : 00? 13 Uhr ist schlecht, aber 15 Uhr geht. Toni hat leider keine Zeit um 15 : 00, aber ich könnte dir einen Slot um 16 : 00 oder 17 : 30 anbieten. Moment, welche Zeitzone ist das? Ich bin in CET.
  4. ines.io/blog/window-knocking-machine-test Hallo, ich bin Tonis virtueller Assistent und helfe bei

    der Terminbuchung. Hast du Montag um 13 : 00 Zeit? Nein, aber Dienstag würde passen. Okay, bitte bestätige: Dienstag um 13 : 00? 13 Uhr ist schlecht, aber 15 Uhr geht. Toni hat leider keine Zeit um 15 : 00, aber ich könnte dir einen Slot um 16 : 00 oder 17 : 30 anbieten. Moment, welche Zeitzone ist das? Ich bin in CET. Calendly
  5. ines.io/blog/window-knocking-machine-test Hallo, ich bin Tonis virtueller Assistent und helfe bei

    der Terminbuchung. Hast du Montag um 13 : 00 Zeit? Nein, aber Dienstag würde passen. Okay, bitte bestätige: Dienstag um 13 : 00? 13 Uhr ist schlecht, aber 15 Uhr geht. Toni hat leider keine Zeit um 15 : 00, aber ich könnte dir einen Slot um 16 : 00 oder 17 : 30 anbieten. Moment, welche Zeitzone ist das? Ich bin in CET. Calendly “Fensterklopfmaschine” “Wecker”
  6. 2024 Jahr Services Kategorie ACME Inc. FooBar GmbH NLPCorp XKCD

    Ltd. Python AG 432.032 82.000 1.500 193.000 91.320 2.625.032 € Kunden (28) Umsatz Was ist der Gesamtumsatz für Services in 2024? 2.923.531 € Wie viele Kunden sind das insgesamt? 29 ⏺ ⏺ ⏺
  7. 2024 Jahr Services Kategorie ACME Inc. FooBar GmbH NLPCorp XKCD

    Ltd. Python AG 432.032 82.000 1.500 193.000 91.320 2.625.032 € Kunden (28) Umsatz Was ist der Gesamtumsatz für Services in 2024? 2.923.531 € Wie viele Kunden sind das insgesamt? 29 ⏺ ⏺ ⏺ Retrieval Augmented Generation (RAG) 🔮 Modell 📚 Datenbank 🤖 Agents ⚙ Abfrage
  8. 2024 Jahr Services Kategorie ACME Inc. FooBar GmbH NLPCorp XKCD

    Ltd. Python AG 432.032 82.000 1.500 193.000 91.320 2.625.032 € Kunden (28) Umsatz Was ist der Gesamtumsatz für Services in 2024? 2.923.531 € Wie viele Kunden sind das insgesamt? 29 ⏺ ⏺ ⏺ KI braucht nach wie vor Produktentscheidungen! Retrieval Augmented Generation (RAG) 🔮 Modell 📚 Datenbank 🤖 Agents ⚙ Abfrage
  9. 🛍 lokales Geschäft richtet eigenständig Webseite ein +10% Kunden und

    Umsatz DECKE BODEN explosion.ai/blog/history-web-future-ai
  10. 🤖 To-Do-Listen-App fügt automatische Übersetzung mit Hilfe von API hinzu

    +5% internationales Nutzerwachstum 🛍 lokales Geschäft richtet eigenständig Webseite ein +10% Kunden und Umsatz DECKE BODEN explosion.ai/blog/history-web-future-ai
  11. 📺 Streaming-Anbieter macht Web-Player 1ms schneller +3% Zeit in der

    App pro Nutzer 🤖 To-Do-Listen-App fügt automatische Übersetzung mit Hilfe von API hinzu +5% internationales Nutzerwachstum 🛍 lokales Geschäft richtet eigenständig Webseite ein +10% Kunden und Umsatz DECKE BODEN explosion.ai/blog/history-web-future-ai
  12. 📺 Streaming-Anbieter macht Web-Player 1ms schneller +3% Zeit in der

    App pro Nutzer 💰 Hotelbuchungsplattform verbessert Empfehlungssystem +0.5% Click-Through-Rate, +1 Mio. € Umsatz 🤖 To-Do-Listen-App fügt automatische Übersetzung mit Hilfe von API hinzu +5% internationales Nutzerwachstum 🛍 lokales Geschäft richtet eigenständig Webseite ein +10% Kunden und Umsatz DECKE BODEN explosion.ai/blog/history-web-future-ai
  13. 📺 Streaming-Anbieter macht Web-Player 1ms schneller +3% Zeit in der

    App pro Nutzer 💰 Hotelbuchungsplattform verbessert Empfehlungssystem +0.5% Click-Through-Rate, +1 Mio. € Umsatz 🤖 To-Do-Listen-App fügt automatische Übersetzung mit Hilfe von API hinzu +5% internationales Nutzerwachstum 🛍 lokales Geschäft richtet eigenständig Webseite ein +10% Kunden und Umsatz DECKE BODEN hohe Verbreitung explosion.ai/blog/history-web-future-ai
  14. 📺 Streaming-Anbieter macht Web-Player 1ms schneller +3% Zeit in der

    App pro Nutzer 💰 Hotelbuchungsplattform verbessert Empfehlungssystem +0.5% Click-Through-Rate, +1 Mio. € Umsatz 🤖 To-Do-Listen-App fügt automatische Übersetzung mit Hilfe von API hinzu +5% internationales Nutzerwachstum 🛍 lokales Geschäft richtet eigenständig Webseite ein +10% Kunden und Umsatz hoher Wert DECKE BODEN hohe Verbreitung explosion.ai/blog/history-web-future-ai
  15. PEN SOURCE Warum eigentlich? transparent kein Lock-In stets aktuell programmierbar

    erweiterbar Community- geprüft läuft intern einfacher Start
  16. PEN SOURCE Warum eigentlich? transparent kein Lock-In stets aktuell programmierbar

    erweiterbar Community- geprüft läuft intern einfacher Start und gratis!
  17. OPEN-SOURCE MODELLE aufgabenspezi fi sche Modelle klein, meist schnell, günstig

    zu hosten, generalisieren nicht immer gut, benötigen Daten zum Finetuning
  18. OPEN-SOURCE MODELLE Encoder-Modelle ELECTRA T5 aufgabenspezi fi sche Modelle klein,

    meist schnell, günstig zu hosten, generalisieren nicht immer gut, benötigen Daten zum Finetuning
  19. OPEN-SOURCE MODELLE Encoder-Modelle ELECTRA T5 aufgabenspezi fi sche Modelle klein,

    meist schnell, günstig zu hosten, generalisieren nicht immer gut, benötigen Daten zum Finetuning relativ klein und schnell, erschwinglich zu hosten, generalisieren gut, benötigen Daten zum Finetuning
  20. OPEN-SOURCE MODELLE Encoder-Modelle ELECTRA T5 aufgabenspezi fi sche Modelle große

    generative Modelle Falcon MIXTRAL klein, meist schnell, günstig zu hosten, generalisieren nicht immer gut, benötigen Daten zum Finetuning relativ klein und schnell, erschwinglich zu hosten, generalisieren gut, benötigen Daten zum Finetuning
  21. OPEN-SOURCE MODELLE Encoder-Modelle ELECTRA T5 aufgabenspezi fi sche Modelle große

    generative Modelle Falcon MIXTRAL klein, meist schnell, günstig zu hosten, generalisieren nicht immer gut, benötigen Daten zum Finetuning relativ klein und schnell, erschwinglich zu hosten, generalisieren gut, benötigen Daten zum Finetuning sehr groß, meist langsamer, teuer zu hosten, generalisieren sehr gut, benötigen keine oder kaum spezifische Daten
  22. ECONOMIES OF SCALE Produktion Kosten OpenAI Google Zugang zu Fachkräften,

    Rechenleistung etc. Größenvorteile spacy.fyi/ai-revolution
  23. ECONOMIES OF SCALE Produktion Kosten OpenAI Google Zugang zu Fachkräften,

    Rechenleistung etc. Batch-Verarbeitung von API-Anfragen Größenvorteile spacy.fyi/ai-revolution
  24. ECONOMIES OF SCALE Produktion Kosten OpenAI Google Zugang zu Fachkräften,

    Rechenleistung etc. Batch-Verarbeitung von API-Anfragen Größenvorteile spacy.fyi/ai-revolution hoher Tra ff ic niedriger Tra ff ic Batch …
  25. ECONOMIES OF SCALE Produktion Kosten OpenAI Google du Zugang zu

    Fachkräften, Rechenleistung etc. Batch-Verarbeitung von API-Anfragen Größenvorteile spacy.fyi/ai-revolution hoher Tra ff ic niedriger Tra ff ic Batch …
  26. eigene Modelle KI dynamische Seiten statische Seiten eigene Modelle vortrainierte

    Modelle explosion.ai/blog/history-web-future-ai kompiliere statische Daten im Build-Prozess statische Seiten WEB
  27. eigene Modelle KI dynamische Seiten statische Seiten eigene Modelle destilliere

    Modelle in kleinere, schnellere und private Komponenten vortrainierte Modelle explosion.ai/blog/history-web-future-ai kompiliere statische Daten im Build-Prozess statische Seiten WEB
  28. Extraktion von strukturierten Attributen aus Commodities- Trading-Insights in Echtzeit CASE

    STUDY explosion.ai/blog/sp-global-commodities 6mb Dateigröße 16.000+ Wörter/Sek. 99% F-Score S&P Global
  29. Extraktion von strukturierten Attributen aus Commodities- Trading-Insights in Echtzeit Hochsicherheitsumgebung

    CASE STUDY explosion.ai/blog/sp-global-commodities 6mb Dateigröße 16.000+ Wörter/Sek. 99% F-Score S&P Global
  30. Extraktion von strukturierten Attributen aus Commodities- Trading-Insights in Echtzeit Hochsicherheitsumgebung

    Lösung nutzt LLMs für Annotation CASE STUDY explosion.ai/blog/sp-global-commodities 6mb Dateigröße 16.000+ Wörter/Sek. 99% F-Score S&P Global
  31. Extraktion von strukturierten Attributen aus Commodities- Trading-Insights in Echtzeit Hochsicherheitsumgebung

    Lösung nutzt LLMs für Annotation 10× schnellere Datenentwicklung mit Hilfe von Menschen und Modell CASE STUDY explosion.ai/blog/sp-global-commodities 6mb Dateigröße 16.000+ Wörter/Sek. 99% F-Score S&P Global
  32. Extraktion von strukturierten Attributen aus Commodities- Trading-Insights in Echtzeit Hochsicherheitsumgebung

    Lösung nutzt LLMs für Annotation 10× schnellere Datenentwicklung mit Hilfe von Menschen und Modell CASE STUDY explosion.ai/blog/sp-global-commodities 6mb Dateigröße 16.000+ Wörter/Sek. 99% F-Score S&P Global
  33. AUFGABENSPEZIFISCHE MODELLE modular testbar flexibel kein Lock-In günstig zu hosten

    erweiterbar laufen intern programmierbar Destillierte
  34. AUFGABENSPEZIFISCHE MODELLE modular testbar flexibel berechenbar kein Lock-In günstig zu

    hosten erweiterbar laufen intern programmierbar Destillierte
  35. AUFGABENSPEZIFISCHE MODELLE modular testbar flexibel berechenbar transparent kein Lock-In günstig

    zu hosten erweiterbar laufen intern programmierbar Destillierte
  36. AUFGABENSPEZIFISCHE MODELLE modular testbar flexibel berechenbar transparent kein Lock-In günstig

    zu hosten erweiterbar laufen intern programmierbar Destillierte
  37. Menschen-orientierte Systeme ChatGPT Maschinen-orientierte Modelle GPT-4 die wichtigste Di ff

    erenzierung liegt im Produkt, nicht nur in der Technologie KI-PRODUKTE SIND MEHR ALS NUR EIN MODELL
  38. Menschen-orientierte Systeme ChatGPT Maschinen-orientierte Modelle GPT-4 die wichtigste Di ff

    erenzierung liegt im Produkt, nicht nur in der Technologie UI / UX Marketing Anpassungen KI-PRODUKTE SIND MEHR ALS NUR EIN MODELL
  39. Menschen-orientierte Systeme ChatGPT Maschinen-orientierte Modelle GPT-4 die wichtigste Di ff

    erenzierung liegt im Produkt, nicht nur in der Technologie austauschbare Komponenten basierend auf Forschung mit quantifizierbaren Auswirkungen UI / UX Marketing Anpassungen KI-PRODUKTE SIND MEHR ALS NUR EIN MODELL
  40. Menschen-orientierte Systeme ChatGPT Maschinen-orientierte Modelle GPT-4 die wichtigste Di ff

    erenzierung liegt im Produkt, nicht nur in der Technologie austauschbare Komponenten basierend auf Forschung mit quantifizierbaren Auswirkungen UI / UX Marketing Anpassungen Schnelligkeit Genauigkeit Latenz Kosten KI-PRODUKTE SIND MEHR ALS NUR EIN MODELL
  41. Menschen-orientierte Systeme ChatGPT Maschinen-orientierte Modelle GPT-4 die wichtigste Di ff

    erenzierung liegt im Produkt, nicht nur in der Technologie austauschbare Komponenten basierend auf Forschung mit quantifizierbaren Auswirkungen UI / UX Marketing Anpassungen Schnelligkeit Genauigkeit Latenz Kosten Aber was ist mit den Daten? KI-PRODUKTE SIND MEHR ALS NUR EIN MODELL
  42. Menschen-orientierte Systeme ChatGPT Maschinen-orientierte Modelle GPT-4 die wichtigste Di ff

    erenzierung liegt im Produkt, nicht nur in der Technologie austauschbare Komponenten basierend auf Forschung mit quantifizierbaren Auswirkungen UI / UX Marketing Anpassungen Schnelligkeit Genauigkeit Latenz Kosten Aber was ist mit den Daten? KI-PRODUKTE SIND MEHR ALS NUR EIN MODELL Nutzerdaten sind ein Vorteil für Produkte, nicht für die Grundlage von Maschinen- orientierten Aufgaben.
  43. Menschen-orientierte Systeme ChatGPT Maschinen-orientierte Modelle GPT-4 die wichtigste Di ff

    erenzierung liegt im Produkt, nicht nur in der Technologie austauschbare Komponenten basierend auf Forschung mit quantifizierbaren Auswirkungen UI / UX Marketing Anpassungen Schnelligkeit Genauigkeit Latenz Kosten Aber was ist mit den Daten? KI-PRODUKTE SIND MEHR ALS NUR EIN MODELL Nutzerdaten sind ein Vorteil für Produkte, nicht für die Grundlage von Maschinen- orientierten Aufgaben. Man braucht keine spezifischen Daten, um allgemeines Wissen zu erlangen.
  44. Entwickle selbst. Der Entwicklungsprozess gibt uns die Kontrolle zurück. 2

    Denke weiter. KI kann mehr als nur Chatbots. Vorsicht vor Fensterklopfmaschinen! 1
  45. Entwickle selbst. Der Entwicklungsprozess gibt uns die Kontrolle zurück. 2

    Sei wachsam. Regulierung muss Produkte und Handlungen in den Mittelpunkt stellen, nicht Softwarekomponenten. 3 Denke weiter. KI kann mehr als nur Chatbots. Vorsicht vor Fensterklopfmaschinen! 1
  46. Entwickle selbst. Der Entwicklungsprozess gibt uns die Kontrolle zurück. 2

    Sei wachsam. Regulierung muss Produkte und Handlungen in den Mittelpunkt stellen, nicht Softwarekomponenten. 3 Denke weiter. KI kann mehr als nur Chatbots. Vorsicht vor Fensterklopfmaschinen! 1 Bleib ehrgeizig. Es gibt keinen Grund für Kompromisse bei Best Practices, E izienz und Privatsphäre. 4
  47. Entwickle selbst. Der Entwicklungsprozess gibt uns die Kontrolle zurück. 2

    Sei wachsam. Regulierung muss Produkte und Handlungen in den Mittelpunkt stellen, nicht Softwarekomponenten. 3 Denke weiter. KI kann mehr als nur Chatbots. Vorsicht vor Fensterklopfmaschinen! 1 Bleib ehrgeizig. Es gibt keinen Grund für Kompromisse bei Best Practices, E izienz und Privatsphäre. 4 The AI revolution will not be monopolized!