Pruebas A/B bayesianas vs frecuentistas: guía simple

¿Qué son las pruebas A/B?

Por si no sabes nada sobre las pruebas A/B, hagamos una breve descripción general.

En términos generales, las pruebas A/B utilizan datos estadísticos para descubrir qué elementos tienen el mayor efecto en las tasas de conversión de tu web (o anuncios, boletines, etc).

Básicamente, tú: 

1. creas dos (o varias) versiones de la web que quieras, 
2. muestras estas versiones a los visitantes de tu web (hay diferentes formas de hacer esto), y 
3. una vez realizada la prueba, analizas los resultados y ves qué versión funciona o es probable que funcione mejor (=qué versión genera más conversiones).

De esta forma, no basas tus decisiones de marketing en “corazonadas” o sensaciones, sino que tienes datos reales sobre lo que realmente funciona.

Puedes analizar los datos de prueba siguiendo diferentes enfoques, como la estadística bayesiana o estadística frecuentista.

Entonces, ¿en qué se diferencian los enfoques bayesiano y frecuentista?

De base, tienen diferentes interpretaciones de la probabilidad. En seguida echaremos un breve vistazo a las diferencias.

Sin embargo, no entramos en demasiados detalles sobre las estadísticas. Si quieres obtener más información sobre los métodos exactos, consulta la lectura adicional al final del artículo.

¿Qué tipo de cosas mide la gente con las pruebas A/B?

Lo que pruebes no tiene que ser muy grande.

De hecho, los detalles más pequeños a veces pueden tener un gran efecto en la experiencia del cliente.

Estoy hablando de cosas como la ubicación de un botón de llamada a la acción o qué elemento tiene un mayor efecto en el comportamiento de las personas.

Por ejemplo, si muestras reseñas o testimonios en tu web, puedes probar diferentes opciones y tal vez averiguar algo sorprendente.

Además, no tendría sentido probar demasiadas variables al mismo tiempo. 

Si tienes 5 cosas diferentes en marcha, ¿cómo identificar cuáles afectan realmente las conversiones?

Es mejor probar cosas pequeñas una por una para asegurarte de obtener resultados precisos.

Idea principal del enfoque frecuentista en pruebas A/B

El enfoque frecuentista es el más tradicional de los dos.

Recuerda, tienes dos versiones de la web: variable A y variable B.

Supón que una de las siguientes hipótesis es verdad:

1. No hay diferencia entre A y B (=hipótesis nula)
2. Hay una diferencia entre A y B

Tu trabajo (o el trabajo de las herramientas de software) es probar cuál es verdadera. Además, necesitas pruebas suficientes para demostrar que la hipótesis nula no es cierta.

Para ello, elige el tamaño de muestra (=número de visitantes) que verá cada versión de la web.

Una vez que el tamaño de la muestra esté completo, detén la prueba y empieza a analizar los resultados.

El problema con la prueba es que es probable que las variantes no tengan exactamente la misma tasa de conversión, incluso si fueran idénticas. Es probable que haya algunas diferencias debido a la coincidencia.

Por ello, necesitas conocer el significado estadístico del hallazgo, que es el valor p. Tienes que demostrar que el resultado no es solo una coincidencia.

Si el valor p es adecuado, se puede suponer que el resultado es estadísticamente significativo y algo preciso.

Para averiguar cómo calcular el valor p, consulta, p.e. este artículo.

Idea principal del enfoque bayesiano de las pruebas A/B

La idea detrás del pensamiento bayesiano es que actualizas tus creencias cada vez que adquieres nueva información. El método estadístico también se basa en esta ideología.

A pesar de ser nuevo, el enfoque bayesiano se ha convertido en el estándar del sector del marketing digital.

La idea básica de la estadística Bayesiana es que es cálculo de probabilidades en lugar de probar hipótesis.

Calcula la distribución de probabilidad de cada variante basándose en información previa. El conocimiento previo proviene de, por ejemplo, cuál es la tasa de conversión media de una web.

Básicamente, obtienes una respuesta a la pregunta “Con qué probabilidad será A mejor que B” o viceversa.

La estimación de probabilidad es cada vez más precisa a medida que se recopilan más datos observados.

La matemática detrás del método bayesiano es compleja, así que no me voy a explayar.

¿Cuál elegir?

En términos de resultados, no hay mucha diferencia entre los enfoques. Si una variante funciona mejor que la otra, ambos métodos lo revelarán.

Sin embargo, los procesos son un poco diferentes.

Los expertos parecen estar avanzando hacia el enfoque bayesiano, por ser más flexible y rápido. También es el método más utilizado por las herramientas de software de pruebas A/B.

Teniendo en cuenta que acabamos de conocer los dos enfoques, tiene sentido.

En el enfoque frecuentista, hay que esperar hasta que se cumpla una determinada muestra de datos. 

En el análisis bayesiano, puedes tener una estimación antes. Solo tienes que decidir cuándo es el mejor momento para asumir el riesgo de implementar cambios.

Abreviando: ¿Cuál es la diferencia y qué supone para mi?

Las diferencias entre los métodos bayesiano y frecuentista son: 

• En el enfoque frecuentista, pruebas hipótesis y obtienes una estimación de punto fijo (=la tasa de conversión “verdadera” en tu prueba).
• Las estadísticas bayesianas asignan probabilidades para las hipótesis, no un número fijo (=la probabilidad de que una opción sea mejor que la otra).
• La prueba frecuentista lleva más tiempo que la estimación bayesiana.

Pero, ¿qué significa esto para tu negocio? ¿Por qué debería importarte?

Los expertos en marketing digital consideran que los métodos bayesianos son mejores y permiten reacciones más ágiles.

Sin embargo, los resultados son en última instancia similares independientemente del método. No es que el análisis frecuentista diga que A es mejor, mientras que el bayesiano llega a la conclusión opuesta.

Si al pensar en todo esto no tienes una fuerte preferencia ideológica por ninguna de las opciones, tal vez no sea la cuestión importante que debas considerar.

Además, si implementas un software de prueba A/B, no tienes que pensar en estas cosas. 

Quizá elijas una herramienta que utilice uno u otro de estos enfoques, pero aparte de eso, puede que debas centrarte en otra cosa.

Lecturas Adicionales

Si esta guía simple no es suficiente para ti, aquí tienes algunos recursos que podrían ayudarte más:

• Pruebas A/B bayesianas vs frecuentistas: ¿cuál es la diferencia?
• Enfoque frecuentista vs bayesiano en las pruebas A/B
• Cómo ejecutar pruebas A/B mejores y más intuitivas utilizando estadísticas bayesianas

En caso de que seas un loco de las estadísticas, aquí tienes algunos recursos más sólidos:

• Gronau, Q. F., Raj, K. N. y Wagenmakers, E. J. (2019). Informed Bayesian inference for the A/B test. https://arxiv.org/pdf/1905.02068.pdf 
• Mayo, D. G. , y Cox, D. R. (2006). Frequentist statistics as a theory of inductive inference. In Optimality (pp. 77-97). Instituto de Estadística Matemática. https://doi.org/10.1214/074921706000000400 
• M. J. Bayarri. J. O. Berger. “The Interplay of Bayesian and Frequentist Analysis.” Statist. Sci. 19 (1) 58-80, febrero de 2004. https://doi.org/10.1214/088342304000000116

FAQ