Herramientas de benchmarks para evaluar el rendimiento en máquinas y aplicaciones

Los benchmarks son programas que permiten evaluar el rendimiento de un sistema, componente o proceso en comparación con otros sistemas similares. Son herramientas esenciales para medir y comparar el rendimiento de hardware, software y sistemas en diferentes áreas. El objetivo es dar a conocer las principales herramientas de benchmark que disponemos hoy en día para medir el rendimiento.
Entre los puntos a tratar podemos destacar:
-Introducción a Benchmarks: Definición y propósito de los benchmarks en la medición del rendimiento
-Tipos de Benchmarks: Benchmarks sintéticos vs. Benchmarks del mundo real.Benchmarks específicos para CPU, memoria, almacenamiento, y gráficos
-Selección de Benchmarks: Consideraciones al elegir benchmarks según el tipo de aplicación y los objetivos de evaluación

Transcript

1. Herramientas de benchmarks para evaluar el rendimiento en máquinas y aplicaciones José Manuel Ortega jose.manuelortega@owasp.org
2. ∘ Introducción a los Benchmarks: Definición y propósito de los benchmarks en la medición del rendimiento ∘ Tipos de Benchmarks: Benchmarks sintéticos vs. Benchmarks del mundo real.Benchmarks específicos para CPU, memoria, almacenamiento, y gráficos ∘ Selección de Benchmarks: Consideraciones al elegir benchmarks según el tipo de aplicación y los objetivos de evaluación
3. Introducción a los Benchmarks
4. Introducción a los Benchmarks Los benchmark tienen las siguientes funcionalidades: • Comprobar si las especificaciones de los componentes están dentro del margen para el desarrollo de una arquitectura. • Maximizar el rendimiento con un presupuesto dado. • Minimizar costes manteniendo un nivel maximo de rendimiento.
5. Tipos de Benchmarks • Sintéticos: Especialmente diseñados para medir el rendimiento de un componente individual de un ordenador, normalmente llevando el componente escogido a su máxima capacidad. ◦ Ejemplos: Dhrystone, Whetstone. • Aplicaciones: Herramientas basadas en aplicaciones reales, simulan una carga de trabajo para medir el comportamiento global del equipo. ◦ Ejemplos: SPEC.
6. Tipos de Benchmarks • Test de Bajo nivel: Miden directamente el rendimiento de los componentes. Ejemplo: el reloj de la CPU, los tiempos de la DRAM y de la caché SRAM, tiempo de acceso medio al disco duro, tiempos de latencia. • Test de Alto nivel: Enfocados a medir el rendimiento de la combinación componente/controlador/SO de un aspecto específico del sistema, como por ejemplo el rendimiento de E/S con ficheros. Ejemplo: Velocidad de compresión
7. Selección de Benchmarks • https://github.com/nfinit/ansibench • https://www.netlib.org/benchmark ◦ LINPACK ◦ Whetstone ◦ Dhrystone ◦ NBench ◦ CoreMark
8. Selección de Benchmarks • LINPACK ◦ Mide el rendimiento del sistema en términos de operaciones en coma flotante por segundo (FLOPS) ◦ https://www.top500.org
9. Selección de Benchmarks • LINPACK ◦ https://www.netlib.org/benchmark/linpackc.new
10. Selección de Benchmarks • Whetstone ◦ Mide el rendimiento del sistema en términos de operaciones en coma flotante por segundo (FLOPS) • Dhrystone ◦ Mide el rendimiento del sistema en términos de operaciones con enteros del procesador. ◦ https://en.wikipedia.org/wiki/VAX-11
11. Selección de Benchmarks
12. Selección de Benchmarks • NBench ◦ Mide las capacidades de la CPU, la FPU y el subsistema de memoria ◦ Algortimos de ordenacion numérica, de cadenas, operaciones en coma flotante, resolución de sistemas de ecuaciones. ◦ Capacidades de cifrado utilizando el algoritmo IDEA en grupos de 16 bits. ◦ Evaluar la capacidad de ejecutar una red neuronal sencilla del tipo backpropagation
13. Selección de Benchmarks • CoreMark ◦ https://github.com/eembc/coremark ◦ Uso en microcontroladores y microprocesadores. ◦ Procesamiento de listas, la manipulación de matrices, las máquinas de estado y los controles de redundancia cíclica CRC.
14. Selección de Benchmarks • CoreMark
15. Selección de Benchmarks • CoreMark https://www.eembc.org/coremark/scores.php
16. Selección de Benchmarks • SPEC (Standart Performance Evaluation Corporation) • El término "SPEC" se refiere a "Standard Performance Evaluation Corporation", una organización que desarrolla estándares de referencia para evaluar el rendimiento de sistemas informáticos. • Los benchmarks SPEC son una serie de pruebas estandarizadas diseñadas para evaluar y comparar el rendimiento de hardware y software en una variedad de sistemas y configuraciones.
17. Selección de Benchmarks • SPEC (Standart Performance Evaluation Corporation) • Conjunto de benchmarks CINT2000 12 programas para cálculos intensivos con números enteros en lenguajes C, C++: perlbench, bzip2, gcc, mcf, gobmk, hmmer, sjeng, libquantum, h264ref, omnetpp, astar, xalancbmk • Conjunto de benchmarks CFP2006 17 programas para cálculos intensivo con números de punto flotante en lenguajes C, C++ y Fortran: bwaves, gamess, milc, zeusmp, gromacs, cactusADM, leslie3d, namd, dealII, soplex, povray, calculix, GemsFDTD, tonto, lbm, wrf, sphinx3.
18. Selección de Benchmarks • CINT2000 contiene 11 aplicaciones escritas en C y una en C++ (252.eon) que son usadas como benchmarks. ◦ 164.gzip: Utilidad de compresión de datos. ◦ 175.vpr: Direccionamiento y ubicación de circuitos FPGA. ◦ 176.gcc: Compilador C. ◦ 181.mcf: Costo mínimo de flujo de red. ◦ 186.crafty: Programa de ajedrez. ◦ 197.parser: Procesamiento de lenguaje natural. ◦ 252.eon: Efectos producidos por distintas fuentes de luz. ◦ 253.perlbmk: Perl. ◦ 254.gap: Teoría de grupo computacional. ◦ 255.vortex: Base de datos orientada a objetos. ◦ 256.bzip2: Utilidad de compresión de datos.
19. Selección de Benchmarks • CFP2000 contiene 14 aplicaciones (seis en Fortran77, cuatro en FORTRAN90 y cuatro en C) que son usadas como benchmarks: ◦ 168.wupwise: Cromodinámica de cuantos. ◦ 171.swim: Modelado de aguas poco profundas. ◦ 172.mgrid: Multi-grilla en campos potenciales 3D. ◦ 173.applu: Ecuaciones diferenciales parciales parabólicas/elípticas. ◦ 177.mesa: Biblioteca de gráficos 3D. ◦ 178.galgel: Dinámica de fluidos: análisis de inestabilidad oscilatoria. ◦ 179.art: Simulación de red neuronal: teoría de la resonancia adaptativa. ◦ 183.equake: Simulación de elementos finitos: modelado de terremotos. ◦ 187.facerec: Reconocimientos de imágenes: reconocimiento de rostros. ◦ 188.ammp: Química computacional. ◦ 189.lucas: Teoría de los números: prueba de primalidad. ◦ 191.fma3d: Simulación de elementos finitos en choque. ◦ 200.sixtrack: Modelo de acelerador de partículas. ◦ 301.apsi: Problemas de temperatura, viento y distribución de contaminantes.
20. Selección de Benchmarks http://www.spec.org/cpu2017/results
21. Selección de Benchmarks http://www.spec.org/cpu2017/results
22. Herramientas de benchmarks para evaluar el rendimiento en máquinas y aplicaciones José Manuel Ortega jose.manuelortega@owasp.org