Langchain4j y Ollama - Integrando LLMs con programas Java @ Commit Conf 2025

Slides de mi charla en Commit Conf 2025 sobre la integración de LLMs con programas Java utilizando Langchain4j y Ollama, realizada el 5 de abril de 2025.

El repositorio con los ejemplos enseñados es el siguiente:
https://github.com/deors/workshop-langchain4j/

Transcript

1. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 Copyright © 2025 Jorge Hidalgo – CC BY 4.0 Langchain4j y Ollama Integrando LLMs con programas Java 1 5 Abril 2025 Commit Conf
2. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 Director Asociado – Ingeniería del Software – Accenture Responsable de DevOps e Ingeniería de Plataformas para Iberia Responsable de Arquitectura Empresarial y de Sistemas para el Centro de Tecnología Avanzada Responsable de la Comunidad de Práctica Java Global Java Champion Muy activo en las comunidades: Coorganizador en MálagaJUG / BoquerónSec Coorganizador en OpenSouthCode / OpenSouthKids Codemotion Ambassador @deors.bsky.social in/deors Jorge Hidalgo Copyright © 2025 Jorge Hidalgo – CC BY 4.0 2
3. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 3 1 TL;DR sobre IA generativa
4. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 IA generativa en 5 minutos… 4 IA generativa (Generative AI / Gen AI) Crea contenido nuevo, como texto, imágenes o música, aprendiendo de grandes cantidades de datos existentes para generar salidas que no existían previamente Modelo grande de lenguaje (Large language model / LLM) Sistema de IA diseñado para entender, generar y manipular lenguaje humano, aprendiendo de extensos conjuntos de datos textuales para realizar tareas como traducción, resumen, y respuesta a preguntas. Modelo de difusión (Difussion model) Es un tipo de red neuronal que genera contenido realista como imágenes, sonidos u otros tipos de datos. Aprende a crear muestras transformando los contenidos de entrenamiento introduciendo ruido aleatorio y luego revirtiendo la difusión hasta generar estructuras estables y coherentes. Generación aumentada por recuperación (Retrieval augmented generation / RAG) Enfoque en el procesamiento del lenguaje natural donde un sistema de generación de texto se mejora mediante la recuperación de información relevante de una base de datos o conjunto de documentos, que luego se utiliza para informar o guiar la generación de texto.
5. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 5 2 Langchain4j & Ollama
6. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 Langchain4j 6 https://github.com/langchain4j/langchain4j https://docs.langchain4j.dev/ Librería para simplificar la integración de sistemas de IA generativa en programas Java
7. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 Langchain4j 7 “Hello World” public class OpenAiHelloWorld { void main() { // OpenAI model ChatLanguageModel model = OpenAiChatModel .withApiKey(”YOUR_OPENAI_API_KEY")); // the first prompt var message = "Hello world!"; System.out.println("\n>>> " + message); var answer = model.generate(message); System.out.println(answer); } }
8. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 Ollama 8 https://github.com/ollama/ollama https://ollama.com/ Plataforma para gestionar y ejecutar localmente modelos de lenguaje
9. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 Ollama 9 Cosas que podemos hacer con Ollama Consultar el registro de modelos Descargar un modelo a local Mantenerlo actualizado Mantener distintas versiones de un modelo Crear modelos propios Fine-tuning de un modelo existente Ejecutar un modelo en local (CPU y GPU) Servidor de modelos con API REST
10. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 10 3 Show me the code!
11. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 https://github.com/deors/workshop-langchain4j 11
12. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 Proceso de embedding con Langhain4j 12 document parser splitter ingestor embedding store embedding model
13. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 Copyright © 2025 Jorge Hidalgo – CC BY 4.0 ¿Alguna pregunta? 13
14. Copyright © 2025 Jorge Hidalgo – CC BY 4.0 ¡Muchas gracias! 14