Seguridad y auditorías en Modelos grandes del lenguaje (LLM)

Esta charla pretende analizar la seguridad de estos modelos de lenguaje desde el punto de vista del desarrollador, analizando las principales vulnerabilidades que se pueden producir en la generación de estos modelos. Entre los principales puntos a tratar podemos destacar:
Introducción a LLM
Introducción al OWASP LLM Top 10
Seguridad en aplicaciones que manejan modelos LLM.
Herramientas de auditoría en aplicaciones que manejan modelos LLM.
Caso de uso con la herramienta textattack para realizar ataques adversarios

Transcript

1. UCIBER 2025 JOSÉ MANUEL ORTEGA CANDEL UCIBER CONGRESS 2025 Seguridad y auditorías en Modelos grandes del lenguaje (LLM)
2. UCIBER 2025 What are we working on? Ingeniería en informática Master ciberseguridad y ciencia de datos Consultoría y docencia universitaria https://josemanuelortegablog.com https://www.linkedin.com/in/jmortega1
3. UCIBER 2025 What are we working on? https://scholar.google.es/citations?user=kAM9WrcAAAAJ&hl=es
4. UCIBER 2025 Introducción a LLM Herramientas de auditoría en aplicaciones que manejan modelos LLM Caso de uso con la herramienta textattack para realizar ataques adversarios 01. Introducción al OWASP LLM Top 10 Seguridad en aplicaciones que manejan modelos LLM 02. 03. 04. 05. Table of contents
5. UCIBER 2025 Introducción a LLM Transformers Attention is All You Need" by Vaswani et al. in 2017 Mecanismo auto-atención Arquitectura Encoder-Decoder
6. UCIBER 2025 Introducción a LLM
7. UCIBER 2025 Introducción a LLM Pre-training + fine-tuning
8. UCIBER 2025 Introducción a LLM https://genai.owasp.org
9. UCIBER 2025 Introducción al OWASP LLM Top 10
10. UCIBER 2025 Prompt Injection
11. UCIBER 2025 Prompt Injection
12. UCIBER 2025 Jailbreak prompts
13. UCIBER 2025 Jailbreak prompts
14. UCIBER 2025 Data Poisoning
15. UCIBER 2025 Adversarial Attacks
16. UCIBER 2025 Adversarial Attacks Pequeñas perturbaciones Vulnerabilidades del modelo Impacto en sistemas críticos
17. UCIBER 2025 Adversarial Attacks
18. UCIBER 2025 Adversarial Attacks
19. UCIBER 2025 Adversarial Attacks 1. Prompt Injection 2. Evasion Attacks 3. Poisoning Attacks 4. Model Inversion Attacks 5. Model Stealing Attacks 6. Membership Inference Attacks
20. UCIBER 2025 Adversarial Attacks
21. UCIBER 2025 Adversarial Attacks
22. UCIBER 2025 Adversarial Attacks
23. UCIBER 2025 Adversarial Attacks
24. UCIBER 2025 Adversarial Attacks
25. UCIBER 2025 Adversarial Attacks
26. UCIBER 2025 Adversarial Attacks
27. UCIBER 2025 AI GOAT https://github.com/orcasecurity-research/AIGoat
28. UCIBER 2025 AI GOAT https://github.com/orcasecurity-research/AIGoat Ataques de extracción de modelos Ataques de envenenamiento de datos Ataques adversarios
29. UCIBER 2025 AI GOAT https://github.com/orcasecurity-research/AIGoat
30. UCIBER 2025 AI GOAT https://github.com/orcasecurity-research/AIGoat
31. UCIBER 2025 Herramientas para evaluar la robustez de los modelos FGSM (Fast Gradient Sign Method) PGD (Projected Gradient Descent) DeepFool
32. UCIBER 2025 Herramientas para evaluar la robustez de los modelos PromptInject Framework https://github.com/agencyenterprise/PromptInject PAIR - Prompt Automatic Iterative Refinement https://github.com/patrickrchao/JailbreakingLLMs TAP - Tree of Attacks with Pruning https://github.com/RICommunity/TAP
33. UCIBER 2025 Herramientas para evaluar la robustez de los modelos https://github.com/tensorflow/fairness-indicators
34. UCIBER 2025 Herramientas para evaluar la robustez de los modelos https://deepeval.com/ Evaluación Automatizada y Objetiva Métricas de Evaluación Integradas Integración con otros LLM
35. UCIBER 2025 Herramientas para evaluar la robustez de los modelos https://deepeval.com/
36. UCIBER 2025 Herramientas para evaluar la robustez de los modelos https://deepeval.com/
37. UCIBER 2025 Herramientas de auditoría https://huggingface.co/meta-llama/Prompt-Guard-86M
38. UCIBER 2025 Herramientas de auditoría https://github.com/meta-llama/PurpleLlama/blob/main/Llama-Guard3/8B/MODEL_CARD.md
39. UCIBER 2025 Herramientas de auditoría Filtrado dinámico de entrada Normalización y contextualización del prompt Políticas de respuesta segura Monitorización activa y respuesta automática
40. UCIBER 2025 Herramientas de auditoría
41. UCIBER 2025 Text attack https://arxiv.org/pdf/2005.05909
42. UCIBER 2025 Text attack https://arxiv.org/pdf/2005.05909
43. UCIBER 2025 Text attack https://github.com/QData/TextAttack
44. UCIBER 2025 Text attack https://github.com/QData/TextAttack
45. UCIBER 2025 Text attack https://github.com/QData/TextAttack
46. UCIBER 2025 Text attack https://github.com/QData/TextAttack Original Text: "I absolutely loved this movie! The plot was thrilling, and the acting was top-notch." Adversarial Text: "I completely liked this film! The storyline was gripping, and the performance was outstanding."
47. UCIBER 2025 Text attack https://github.com/QData/TextAttack from textattack.augmentation import WordNetAugmenter # Use WordNet-based augmentation to create adversarial examples augmenter = WordNetAugmenter() # Augment the training data with adversarial examples augmented_texts = augmenter.augment(text) print(augmented_texts)
48. UCIBER 2025
49. UCIBER 2025 github.com/greshake/llm-security github.com/corca-ai/awesome-llm-security github.com/facebookresearch/PurpleLlama github.com/protectai/llm-guard github.com/cckuailong/awesome-gpt-security github.com/jedi4ever/learning-llms-and-genai-f or-dev-sec-ops github.com/Hannibal046/Awesome-LLM
50. Thank you! UCIBER CONGRESS