Simulación de experimentos A/B

Qué simula esta herramienta

En cada réplica, la calculadora genera muestras aleatorias de tamaño n de dos distribuciones Bernoulli con las tasas verdaderas p_A y p_B, calcula el estadístico z del test de dos proporciones y registra si se rechaza H₀. Tras N réplicas, obtiene la distribución empírica de z y p-valores, y compara la tasa de rechazo con la potencia teórica.

\( z^{(i)} = \dfrac{\hat{p}_B^{(i)} - \hat{p}_A^{(i)}}{\sqrt{\hat{p}^{(i)}(1-\hat{p}^{(i)})\left(\tfrac{1}{n_A}+\tfrac{1}{n_B}\right)}} \)

Si p_A = p_B, la tasa de rechazo empírica estima el error de tipo I real (debería aproximarse a α). Si p_A ≠ p_B, estima la potencia empírica.

Ejemplo resuelto

Un equipo de marketing digital quiere evaluar si un nuevo asunto de correo electrónico (variante B) mejora la tasa de apertura respecto al asunto actual (variante A). Los datos históricos indican que la tasa de apertura actual es del p_A = 0,22 (22 %). Se espera que la variante B alcance una tasa de p_B = 0,26 (26 %), una mejora absoluta de 4 puntos porcentuales.

El equipo fija α = 0,05 bilateral y potencia del 80 %, lo que con la fórmula analítica estándar arroja aproximadamente n = 1 789 usuarios por grupo (3 578 en total). Antes de lanzar el experimento real, decide validar estos resultados mediante simulación Monte Carlo con N = 5 000 réplicas.

En cada réplica i la herramienta genera \( n_A = n_B = 1789 \) observaciones Bernoulli con las tasas verdaderas, calcula el estadístico z del test de dos proporciones y registra si se rechaza H₀:

\( z^{(i)} = \dfrac{\hat{p}_B^{(i)} - \hat{p}_A^{(i)}}{\sqrt{\hat{p}^{(i)}(1-\hat{p}^{(i)})\!\left(\tfrac{1}{1789}+\tfrac{1}{1789}\right)}} \)

Tras las 5 000 réplicas, la simulación da los siguientes resultados: la tasa de rechazo empírica es del 79,6 %. Con 5 000 réplicas, el error estándar de Monte Carlo de esa proporción es \( \sqrt{0{,}8 \cdot 0{,}2/5000} \approx 0{,}006 \), así que el resultado es compatible con la potencia teórica del 80 %. El histograma del estadístico z se desplaza hacia la derecha respecto a la N(0,1) nula, con la media empírica en torno a \( \bar{z} \approx 2{,}8 \), reflejando el efecto real de \( \Delta = 0{,}04 \). La distribución de p-valores muestra una fuerte concentración cerca de 0: en torno al 80 % de las réplicas el p-valor queda por debajo de 0,05.

Para comprobar el control del error de tipo I, el equipo también ejecuta la simulación bajo H₀ (fijando p_B = p_A = 0,22). Con las mismas 5 000 réplicas, la tasa de rechazo empírica resulta del 4,7 %, compatible con el nivel nominal α = 0,05 (cerca de 0,05, el error estándar de Monte Carlo con 5 000 réplicas es \( \approx 0{,}003 \)), y la distribución de p-valores es aproximadamente uniforme en [0, 1], tal y como predice la teoría.

La conclusión práctica es doble: la simulación no detecta discrepancias con el tamaño de muestra calculado analíticamente (la potencia empírica es compatible con la teórica dentro del error de Monte Carlo), y el test mantiene un buen control del error de tipo I. Si la mejora real es de 4 pp, el equipo tendrá aproximadamente un 80 % de probabilidad de detectarla con resultados estadísticamente significativos. Esta comprobación solo es válida bajo los supuestos simulados (tasas verdaderas conocidas y observaciones independientes): si el efecto real es menor que el supuesto, la potencia también lo será.

Cómo interpretar el resultado

La simulación Monte Carlo permite verificar empíricamente las propiedades del test: si el error de tipo I es realmente α cuando p_A = p_B, si la potencia coincide con la teórica, y cómo se comporta la distribución del estadístico z en la práctica. Es especialmente útil cuando quieres entender el comportamiento del test bajo condiciones concretas o cuando los supuestos del modelo no se cumplen exactamente. La tasa de rechazo empírica que devuelve la simulación es la estimación directa de la potencia: cuántas veces en 100 experimentos idénticos concluirías correctamente que B es diferente de A.

Cómo leer el histograma de z

Bajo H₀ (p_A = p_B), el estadístico z sigue aproximadamente una N(0,1): el histograma debería ser simétrico centrado en 0, y la proporción de barras rojas (zona de rechazo) debería aproximarse a α. Bajo H₁ (p_A ≠ p_B), el histograma se desplaza hacia la dirección del efecto: cuanto mayor es la diferencia real entre tasas o mayor el tamaño muestral, más pronunciado es ese desplazamiento y mayor la proporción de réplicas que caen en la zona de rechazo.

Cómo leer la distribución de p-valores

Bajo H₀ perfecta, los p-valores siguen una distribución Uniforme(0,1): la barra de 0 a 0.05 debería contener aproximadamente el 5 % de las réplicas, y todas las barras deberían tener alturas similares. Bajo H₁, los p-valores se concentran cerca de 0: la proporción de réplicas con p < α es la potencia empírica. Una distribución de p-valores con marcada concentración en la primera barra y descenso rápido indica que el test tiene buena capacidad para detectar el efecto configurado.

Preguntas frecuentes

• ¿La simulación usa muestras binomiales? Cada réplica aproxima x_A ~ Bin(n, p_A) y x_B ~ Bin(n, p_B) con la aproximación normal de De Moivre-Laplace. Es adecuada cuando n·p y n·(1−p) no son pequeños; para muestras pequeñas o proporciones extremas conviene interpretar la simulación como aproximada.
• ¿Por qué la potencia empírica no coincide exactamente con la teórica? Por dos motivos. La potencia empírica tiene error de Monte Carlo: su error estándar es aproximadamente √(p(1−p)/N), que con 5 000 réplicas vale ±0,006 para potencias en torno al 80 % y ±0,003 para tasas de rechazo en torno al 5 %. Además, la potencia «teórica» es a su vez una aproximación normal, que puede desviarse de la real con muestras pequeñas o tasas extremas.
• ¿Puedo simular con p_A = p_B para verificar el nivel α? Sí: introduce el mismo valor en p_A y p_B y comprueba que la tasa de rechazo empírica se aproxima a α.
• ¿Las réplicas son independientes? Sí: cada réplica genera nuevas muestras sin dependencia con las anteriores.