Calculadora para pruebas A/B

En el contexto de las pruebas A/B, o A/B testing, la significación estadística se refiere a qué tan probable es que la diferencia entre la versión de control y la versión de prueba no se deba a un error o al azar.

Por ejemplo, si realizas una prueba con un nivel de significación estadística del 95 %, puedes tener un 95 % de confianza en que las diferencias son reales.

En el ámbito de los negocios, se usa frecuentemente para observar de qué manera las pruebas afectan las tasas de conversión de los negocios. En las encuestas, la significación estadística se utiliza generalmente como una forma de asegurarse de que se puede confiar en los resultados de la encuesta. Por ejemplo, si les preguntas a las personas si prefieren el concepto de anuncio publicitario A o el concepto de anuncio publicitario B, tienes que asegurarte de que la diferencia en los resultados sea estadísticamente significativa antes de decidir cuál usar.

El primer paso es formular una hipótesis. En cada prueba existe una hipótesis nula, que establece que no hay ninguna relación entre las dos cosas que estás comparando, y una hipótesis alternativa. La hipótesis alternativa generalmente intenta demostrar que existe una relación, es la afirmación que quieres confirmar. En el caso de las pruebas A/B sobre tasas de conversión, tu hipótesis puede implicar agregar un botón, una imagen o un texto a una página para ver si esto influye en las conversiones. Cuando utilizas encuestas para hacer pruebas de conceptos, como en el ejemplo anterior, tu hipótesis puede implicar probar distintas variantes de anuncios publicitarios para ver cuál resulta más atractiva para las personas.

Después de formular una hipótesis nula y una alternativa, los expertos en estadísticas, a veces, hacen pruebas para asegurarse de que sus hipótesis sean sólidas. La puntuación z evalúa la validez de la hipótesis nula. Esta puede determinar si, efectivamente, no existe ninguna relación entre lo que se está comparando. El valor p indica si la evidencia que tienes para demostrar la hipótesis alternativa es contundente.

Al hacer pruebas de significación estadística, es conveniente decidir si la prueba será de una o dos muestras (a veces llamada de una o dos colas). La prueba de una muestra da por sentado que la hipótesis alternativa tendrá un efecto direccional, mientras que la prueba de dos muestras considera también si la hipótesis podría tener un efecto negativo en los resultados. En general, la prueba de dos muestras es la opción más conservadora.

Incluso los expertos en estadística utilizan software de modelos estadísticos para calcular la importancia y las pruebas que la respaldan, por lo que no profundizaremos mucho más en el tema. Sin embargo, si haces una prueba A/B, puedes usar la calculadora ubicada en la parte superior de la página para obtener la significación estadística de tus resultados. Si quieres calcular la significación de los resultados de tu encuesta, SurveyMonkey puede hacerlo de manera automática.