Charla: Contraste de Hipótesis - Teoría y Práctica con Python

https://gist.github.com/robintux/e3aec368d18d7c04fb96d81f4b9e8089?permalink_comment_id=5617036#gistcomment-5617036

Transcript

1. El contraste de hipótesis es una técnica estadística que consiste en evaluar dos afirmaciones opuestas acerca de un parámetro poblacional: la hipótesis nula ( ) y la hipótesis alternativa ( ). En resumen, el contraste de hipótesis enfrenta una hipótesis nula que representa el estado actual o ausencia de efecto, contra una hipótesis alternativa que plantea un cambio o efecto que se desea demostrar mediante evidencia estadística . Contraste de Hipótesis: Hipótesis Nula y Alternativa Hipótesis Nula ( ) Es la afirmación inicial o base del análisis, que se asume verdadera mientras no haya evidencia suficiente para rechazarla . [1] [2] Representa la situación de "no efecto", "no diferencia" o "estatus quo", es decir, que no existe un cambio o diferencia significativa en el parámetro estudiado . [3] [4] Contiene siempre signos de igualdad o desigualdad débil: “=”, “≤” o “≥” . [5] No se prueba ni se acepta definitivamente; solo puede ser rechazada o no rechazada con base en los datos . [3] [5] Ejemplo: "La media de una población es 10" o "La proporción de sal en el pan es ≤ 1.5%" . [2] Hipótesis Alternativa ( ) Es la negación o complemento de la hipótesis nula y representa la afirmación que se desea probar o demostrar . [6] [2] [7] Indica que el parámetro es diferente, mayor o menor al valor planteado en , es decir, que hay un efecto o diferencia significativa . [1] [3] No contiene signos de igualdad, sino estrictos de desigualdad: “≠”, “>” o “<” . [5] Se acepta si los datos proporcionan evidencia suficiente para rechazar . [3] [5] Ejemplo: "La media es distinta de 10" o "La proporción de sal en el pan es mayor a 1.5%" . [2] Analogía y Consideraciones Se puede comparar con un juicio: sería la presunción de inocencia, y la acusación que se intenta probar . [6] [5] Las hipótesis son mutuamente excluyentes y exhaustivas, es decir, una y solo una puede ser verdadera . [7] El contraste se basa en un estadístico calculado a partir de la muestra, y se define una región de rechazo para decidir si se rechaza . [3] [1] [6] [3] [2]
2. ⁂ Concepto Definición Probabilidad Ejemplo Consecuencia Error Tipo I (α) Rechazar siendo verdadera Decir que un medicamento funciona cuando no funciona Falso positivo, conclusión errónea Teoría y ejemplos de errores Tipo I, Tipo II y potencia en contraste de hipótesis Error Tipo I (α): Falso positivo Definición: Ocurre cuando se rechaza la hipótesis nula ( ) siendo esta verdadera en la población. Es decir, se detecta un efecto o diferencia que en realidad no existe. Probabilidad: Se denota como y es el nivel de significancia que el investigador fija antes del estudio (comúnmente 0.05 o 5%). Ejemplo: En un ensayo clínico, afirmar que un medicamento es efectivo cuando en realidad no lo es (rechazar siendo verdadera). Consecuencia: Se comete un falso positivo, lo que puede llevar a conclusiones erróneas y a tomar decisiones inapropiadas . [8] Error Tipo II (β): Falso negativo Definición: Se produce cuando no se rechaza la hipótesis nula siendo esta falsa en la población. Es decir, no se detecta un efecto o diferencia que realmente existe. Probabilidad: Se denota como y suele aceptarse un rango entre 5% y 20%, dependiendo del estudio. Ejemplo: En un estudio, concluir que un tratamiento no tiene efecto cuando en realidad sí lo tiene (no rechazar siendo falsa). Consecuencia: Se pierde la oportunidad de detectar un efecto real, lo que puede frenar investigaciones valiosas o tratamientos efectivos . [9] [10] [11] [8] Potencia (1 - β): Probabilidad de detectar un efecto real Definición: Es la probabilidad de rechazar correctamente la hipótesis nula cuando la hipótesis alternativa es verdadera, es decir, detectar un efecto real. Relación con β: La potencia es el complemento del error Tipo II, es decir, potencia = 1 - . Importancia: Una potencia alta (por ejemplo, 80% o 0.8) indica que el estudio tiene buena capacidad para detectar diferencias reales, minimizando falsos negativos. Cómo mejorarla: Aumentando el tamaño de la muestra o el efecto esperado se incrementa la potencia y se reduce la probabilidad de error Tipo II . [9] [12] [13] Resumen en tabla
3. Concepto Definición Probabilidad Ejemplo Consecuencia Error Tipo II (β) No rechazar siendo falsa Decir que un medicamento no funciona cuando sí funciona Falso negativo, efecto no detectado Potencia (1 - β) Detectar correctamente un efecto real 1 - Probabilidad de detectar diferencia si existe Minimiza error Tipo II Estos conceptos son fundamentales para diseñar estudios estadísticos robustos y para interpretar correctamente los resultados, considerando los riesgos de cometer errores y la capacidad del estudio para detectar efectos reales . ⁂ El nivel de significancia, denotado como alfa (α), es la probabilidad máxima que se acepta de cometer un Error Tipo I, es decir, rechazar la hipótesis nula ( ) cuando esta es verdadera. Representa el riesgo que el investigador está dispuesto a asumir de obtener un falso positivo en el contraste de hipótesis . En términos prácticos, si se fija un nivel de significancia de 0.05, existe un 5% de probabilidad de concluir que hay un efecto o diferencia cuando en realidad no la hay (rechazar siendo cierta). Este nivel se establece antes de realizar el estudio y determina el umbral para considerar un resultado estadísticamente significativo. Estos valores reflejan diferentes grados de rigor: un nivel más bajo (como 0.01) implica mayor confianza y menor probabilidad de error Tipo I, pero puede aumentar el riesgo de error Tipo II (no detectar un efecto real) . [9] [8] [14] [15] Nivel de Significancia (α): Teoría y Ejemplos Definición [16] [17] [18] [19] Valores típicos 0.01 (1%) 0.05 (5%) 0.10 (10%) [17] [19] Ejemplos prácticos de nivel de significancia (α) 1. Ensayo clínico de un nuevo medicamento Se establece α = 0.05. Si el análisis estadístico arroja un valor p ≤ 0.05, se rechaza y se concluye que el medicamento tiene efecto, con un 5% de riesgo de error Tipo I (falso positivo). 2. Prueba de calidad en fabricación Para controlar defectos, se fija α = 0.01 para ser muy estrictos. Se acepta solo un 1% de
4. El nivel de significancia (α) es un umbral fundamental en la estadística inferencial que controla la probabilidad de cometer un error de tipo I, es decir, detectar un efecto que no existe. Su elección depende del contexto del estudio y del equilibrio entre riesgos de errores tipo I y tipo II . Si desea, puedo ampliar con ejemplos numéricos o gráficos para ilustrar mejor estos conceptos. ⁂ El estadístico de prueba es una medida calculada a partir de los datos muestrales que se utiliza para decidir si se rechaza o no la hipótesis nula ( ) en un contraste de hipótesis. Su fórmula y distribución dependen del tipo de prueba y de la información disponible (por ejemplo, si la desviación estándar poblacional es conocida o desconocida). probabilidad de concluir erróneamente que un lote está defectuoso cuando no lo está. 3. Investigación en psicología Se usa α = 0.10 para permitir mayor flexibilidad en detectar efectos, aceptando un 10% de riesgo de error Tipo I, dada la variabilidad inherente en estudios con humanos. 4. Estudio epidemiológico Se fija α = 0.05 para evaluar si un factor ambiental está asociado con una enfermedad. Un p-valor menor o igual a 0.05 indica asociación estadísticamente significativa. 5. Control de calidad en alimentos Se establece α = 0.05 para decidir si la concentración de un contaminante supera el límite permitido. Un resultado con p ≤ 0.05 lleva a rechazar la hipótesis de cumplimiento, con un 5% de riesgo de error. Resumen [16] [17] [18] [19] Estadístico de Prueba: Teoría y Ejemplos en Python Tipos comunes de estadísticos de prueba y sus fórmulas 1. Media con desviación estándar poblacional conocida (z-test): 2. Media con desviación estándar poblacional desconocida (t-test): 3. Prueba de proporciones (z-test para proporciones):
5. import numpy as np from scipy import stats # Datos simulados np.random.seed(0) mu_0 = 50 # media bajo H0 sigma = 5 # desviación estándar poblacional conocida n = 30 sample = np.random.normal(52, sigma, n) # muestra con media 52 # Estadístico z x_bar = sample.mean() z = (x_bar - mu_0) / (sigma / np.sqrt(n)) # Valor p para prueba bilateral p_value = 2 * (1 - stats.norm.cdf(abs(z))) print(f'Estadístico z: {z:.3f}') print(f'Valor p: {p_value:.4f}') import numpy as np from scipy import stats np.random.seed(0) mu_0 = 100 sample = np.random.normal(102, 10, 25) # muestra con media 102, sigma desconocida x_bar = sample.mean() s = sample.std(ddof=1) n = len(sample) t = (x_bar - mu_0) / (s / np.sqrt(n)) df = n - 1 p_value = 2 * (1 - stats.t.cdf(abs(t), df)) print(f'Estadístico t: {t:.3f}') print(f'Valor p: {p_value:.4f}') Ejemplos en Python 1. Estadístico de prueba para media (σ conocida) — z-test 2. Estadístico de prueba para media (σ desconocida) — t-test de una muestra
6. import numpy as np from scipy import stats np.random.seed(123) x1 = np.random.normal(1.75, 0.10, 1000) x2 = np.random.normal(1.55, 0.10, 1000) t_stat, p_val = stats.ttest_ind(x1, x2) print(f'Estadístico t: {t_stat:.3f}') print(f'Valor p: {p_val:.4e}') import numpy as np from statsmodels.stats.proportion import proportions_ztest count = 45 # éxitos en la muestra nobs = 100 # tamaño de la muestra p0 = 0.4 # proporción bajo H0 z_stat, p_val = proportions_ztest(count, nobs, p0) print(f'Estadístico z: {z_stat:.3f}') print(f'Valor p: {p_val:.4f}') from statsmodels.stats.proportion import proportions_ztest count = np.array([30, 45]) # éxitos en dos muestras nobs = np.array([100, 120]) # tamaños de las muestras z_stat, p_val = proportions_ztest(count, nobs) print(f'Estadístico z: {z_stat:.3f}') print(f'Valor p: {p_val:.4f}') Estos ejemplos cubren los casos más comunes de estadísticos de prueba para medias y proporciones, usando librerías estándar de Python como scipy.stats y statsmodels. Permiten calcular el estadístico y el valor p para tomar decisiones en pruebas de hipótesis . ⁂ 3. Estadístico de prueba para diferencia de medias (t-test para dos muestras independientes, σ desconocidas) 4. Estadístico de prueba para proporción (z-test para proporciones) 5. Estadístico de prueba para diferencia de proporciones (z-test para dos proporciones) [20] [21] [22]
7. El valor crítico es un punto (o puntos) en la distribución del estadístico de prueba bajo la hipótesis nula que define el límite entre la región donde no se rechaza y la región donde sí se rechaza . Dicho de otro modo, es el umbral que separa la región de no rechazo de la región de rechazo o región crítica. La región de rechazo es el conjunto de valores del estadístico de prueba que, si se obtienen con los datos, llevan a rechazar la hipótesis nula porque son muy improbables bajo . El tamaño de esta región está determinado por el nivel de significancia , que es la probabilidad máxima aceptada de cometer un error Tipo I (rechazar siendo verdadera). Prueba Región de rechazo Valor(es) crítico(s) Cola derecha Estadístico > valor crítico Valor crítico tal que área a la derecha = α Cola izquierda Estadístico < valor crítico Valor crítico tal que área a la izquierda = α Dos colas Estadístico < valor crítico izquierdo o > valor crítico derecho Dos valores críticos con áreas α/2 en cada cola Valor Crítico y Región de Rechazo [23] [24] [25] [23] [25] Características principales En pruebas unilaterales (una cola), hay un solo valor crítico que delimita la cola donde se rechaza . En pruebas bilaterales (dos colas), hay dos valores críticos simétricos que delimitan las dos colas extremas (cada una con área ) que forman la región de rechazo . [23] [24] [25] Los valores críticos dependen de la distribución del estadístico de prueba (normal, t de Student, chi-cuadrado, etc.), del nivel de significancia y del tipo de prueba (cola izquierda, cola derecha, dos colas) . [24] [25] Ejemplo conceptual con distribución normal estándar (z) Para en una prueba bilateral, los valores críticos son aproximadamente . La región de rechazo está en y . Si el estadístico calculado cae en esa región, se rechaza con un riesgo del 5% de error Tipo I . [25] Resumen visual
8. Si deseas, puedo ayudarte a calcular valores críticos específicos para pruebas z, t o chi- cuadrado con ejemplos en Python. ⁂ La relación entre el intervalo de confianza y la prueba de hipótesis es estrecha y complementaria, ya que ambas son técnicas de inferencia estadística que parten de una muestra para sacar conclusiones sobre un parámetro poblacional. En conclusión El valor crítico es el punto que define el límite de la región donde se rechaza . La región de rechazo es el conjunto de valores extremos del estadístico que indican evidencia suficiente para rechazar . Ambos conceptos están ligados al nivel de significancia y a la distribución del estadístico bajo . [23] [24] [26] [25] Relación entre Intervalo de Confianza y Pruebas de Hipótesis Concepto de Intervalo de Confianza y Prueba de Hipótesis Intervalo de confianza (IC): Es un rango de valores calculado a partir de la muestra, dentro del cual se espera que se encuentre el parámetro poblacional con un cierto nivel de confianza (por ejemplo, 95%). Proporciona una estimación del parámetro junto con la precisión de esa estimación . [27] [28] [29] Prueba de hipótesis: Es un procedimiento para decidir si hay suficiente evidencia en los datos para rechazar una afirmación inicial (hipótesis nula) sobre un parámetro poblacional, a un nivel de significancia dado (por ejemplo, α = 0.05) . [27] [28] [29] Relación entre ambos El nivel de confianza del intervalo es complementario al nivel de significancia de la prueba: Por ejemplo, un intervalo de confianza del 95% corresponde a un nivel de significancia α = 0.05 en la prueba de hipótesis . [30] [29] Conclusión concordante: Si el intervalo de confianza NO incluye el valor de la hipótesis nula, entonces se rechaza al nivel de significancia α. Si el intervalo de confianza incluye el valor de la hipótesis nula, no hay evidencia suficiente para rechazar . [28] [30] [29] Esto significa que el intervalo de confianza permite inferir el resultado de una prueba de hipótesis sin necesidad de calcular el valor p explícitamente, y viceversa. Ambos métodos
9. Supongamos que queremos probar si la media poblacional es 100 (hipótesis nula ) con un nivel de significancia α = 0.05. Aspecto Intervalo de Confianza Prueba de Hipótesis Objetivo Estimar rango probable del parámetro Decidir si rechazar o no Nivel de confianza/significancia Nivel de confianza (ej. 95%) = 1 - α Nivel de significancia α (ej. 0.05) Interpretación Si está fuera del intervalo, se rechaza Si valor p < α, se rechaza Información adicional Proporciona rango y precisión Proporciona evidencia estadística (valor p) En conclusión, ambos métodos son herramientas complementarias que permiten inferir sobre parámetros poblacionales y tomar decisiones basadas en datos, siendo el intervalo de confianza una forma más informativa y la prueba de hipótesis una forma más directa de evaluación . ⁂ están basados en la misma información estadística y conducen a conclusiones coherentes . [28] [30] [29] Ejemplo ilustrativo Si calculamos un intervalo de confianza del 95% para la media y obtenemos , como el valor 100 no está dentro del intervalo, rechazamos (la media no es 100). Si el intervalo fuera , incluye el 100, por lo que no rechazamos . Resumen [27] [28] [30] [29] 1. https://support.minitab.com/es-mx/minitab/help-and-how-to/statistics/basic-statistics/supporting-topic s/basics/null-and-alternative-hypotheses/ 2. https://es.linkedin.com/learning/estadistica-avanzada/que-son-las-hipotesis-nula-y-alternativa 3. https://es.wikipedia.org/wiki/Contraste_de_hipótesis 4. https://openstax.org/books/introducción-estadística/pages/9-1-hipotesis-nula-y-alternativa 5. https://halweb.uc3m.es/esp/personal/personas/aarribas/esp/docs/esti_grado/estig_tema8.pdf 6. https://aprendeconalf.es/docencia/estadistica/manual/contrastes/ 7. https://wpd.ugr.es/~bioestad/guia-de-r/practica-6/ 8. https://es.scribd.com/document/381105867/Resumen-ADE 9. https://es.wikipedia.org/wiki/Errores_de_tipo_I_y_de_tipo_II 10. https://www.physiotutors.com/es/wiki/type-2-errors/ 11. https://toolbox.eupati.eu/glossary/error-de-tipo-ii/?lang=es
10. 12. https://gpnotebook.com/es/pages/salud-publica/error-beta-error-de-tipo-ii 13. https://www.uv.es/friasnav/Erroresestadísticos_2023.pdf 14. https://www.addlink.es/noticias/minitab/2698-que-tipo-de-error-estadistico-es-peor-tipo-i-o-tipo-ii 15. education.statistics 16. https://blog.minitab.com/es/entendiendo-las-pruebas-de-hipotesis-niveles-de-significancia-alfa-y-val ores-p-en-estadistica 17. https://es.wikipedia.org/wiki/Significación_estadística 18. https://toolbox.eupati.eu/glossary/nivel-de-significacion/?lang=es 19. https://www.addlink.es/noticias/minitab/2873-comprendamos-las-pruebas-de-hipotesis-niveles-de-sig nificacion-alfa-y-p-valores-en-estadistica 20. https://christian-f-badillo.github.io/Ciencia-de-datos-con-Python-de-estadistica-descriptiva-a-redes-n euronales/statistics/hipothesis_testing.html 21. https://elmundodelosdatos.com/aplicacion-de-la-distribucion-t-de-student-en-python-ejemplos-practi cos/ 22. https://elmundodelosdatos.com/utilizando-pruebas-de-hipotesis-con-python-ejemplos-practicos/ 23. https://support.minitab.com/es-mx/minitab/help-and-how-to/statistics/basic-statistics/supporting-topic s/basics/what-is-a-critical-value/ 24. https://es.statisticseasily.com/glossario/what-is-critical-value-in-statistics/ 25. https://www.chreinvent.com/recursos/valor-crítico.-región-crítica. 26. https://www.omnicalculator.com/es/estadistica/valor-critico 27. https://es.linkedin.com/advice/0/what-relationship-between-confidence-intervals-qrr7c?lang=es&lang= es 28. https://revistachilenadeanestesia.cl/intervalos-de-confianza/ 29. https://i4is.blackberrycross.com/entendiendo-las-pruebas-de-hipotesis-intervalos-de-confianza-y-niv eles-de-confianza/ 30. https://www.addlink.es/noticias/minitab/2846-comprendamos-las-pruebas-de-hipotesis-intervalos-y-ni veles-de-confianza