Prueba bayesiana AB

Estoy ejecutando una prueba AB en una página que recibe solo 5k visitas por mes. Tomaría demasiado tiempo alcanzar los niveles de tráfico necesarios para medir una diferencia de + -1% entre la prueba y el control. He oído que puedo usar las estadísticas bayesianas para darme una buena oportunidad de determinar si la prueba tuvo un rendimiento superior. ¿Cómo puedo usar las estadísticas bayesianas para analizar mis datos actuales?

        Visitors    Conversions
Control 1345         1165
Test A  961          298
Test B  1274         438

Estoy trabajando en las mismas preguntas. Ahora hay un par de artículos útiles que no estaban disponibles cuando hizo esta pregunta.

"Pruebas Bayesianas A / B con teoría y código" por Antti Rasinen - la conclusión lógica de una serie de artículos inacabados "Inferencia Bayesiana Exacta para pruebas A / B" por Evan Haas (parcialmente rescatado aquí parte1 y parte2 ).

El conjugado previo para la distribución binomial es la distribución beta. Por lo tanto, la distribución de la tasa de conversión para una variante es la distribución beta. Puedes resolver$Pr(A > B)$numéricamente o exactamente El autor se refiere a un ensayo escrito por el propio Bayes, "Un ensayo para resolver un problema en la doctrina de las posibilidades" .

"Pruebas A / B proporcionadas" por Ian Clarke - El autor explica que la distribución beta es la clave para entender cómo aplicar una solución bayesiana a las pruebas A / B. También discute el uso de Thompson Sampling para determinar valores anteriores para$\alpha$ y $\beta$.

"Capítulo 2: Un poco más sobre PyMC" del libro "Métodos Bayesianos para Hackers" de Cam Davidson Pilon - Este es un libro de iPython que explica los métodos Bayesianos en varias aplicaciones. Aproximadamente a la mitad del Capítulo 2 (el título de la sección es Ejemplo: Prueba Bayesiana A / B ), el autor da una explicación detallada de cómo calcular la probabilidad de que A sea mejor que B (o viceversa) usando la biblioteca pymc . Se proporciona el código completo de Python, incluido el trazado de los resultados.

Ahora también hay una serie de calculadoras de importancia bayesianas en línea:

• por onlinedialogue
• por Lyst
• por Yanir Seroussi

Puede realizar una integración Monte-Carlo de los intervalos creíbles de cada grupo representado por distribuciones beta para calcular la probabilidad de que el verdadero parámetro desconocido de un grupo sea mejor que el verdadero parámetro desconocido de otro grupo. He hecho algo similar en esta pregunta ¿Cómo calcula un frecuentador la probabilidad de que el grupo A venza al grupo B con respecto a la respuesta binaria donde ensayos = Visitantes y ensayos exitosos = conversiones

PERO: Tenga en cuenta que Bayes le dará solo probabilidades subjetivas dependiendo de los datos recopilados hasta ahora, no la "verdad" objetiva. Esto se basa en la diferencia de filosofía entre los frecuentistas (que usan pruebas estadísticas, valores p, etc.) y los bayesianos. Por lo tanto, no puede esperar detectar una diferencia significativa con Bayes cuando los procedimientos estadísticos no lo hacen.

Para entender por qué esto es importante, podría ser útil aprender primero la diferencia entre el intervalo de confianza y el intervalo creíble, ya que la integración MC mencionada "solo" compara dos intervalos creíbles independientes entre sí.

Para obtener más detalles sobre este tema, consulte, por ejemplo, estas preguntas:

• Razonamiento bayesiano y frecuente en inglés llano
• ¿Qué es, precisamente, un intervalo de confianza?
• ¿Cuál es la diferencia entre un intervalo de confianza y un intervalo creíble?

Hay varios enfoques para hacer pruebas Bayesianas A / B.

En primer lugar, debe decidir si desea utilizar un enfoque analítico (utilizando distribuciones conjugadas como menciona Lenwood) o un enfoque MCMC. Para experimentos A / B simples, particularmente en la tasa de conversión, que es su caso, realmente no hay necesidad de usar un enfoque MCMC: solo use una distribución Beta como anterior y su distribución posterior también será una distribución Beta.

Luego, debe decidir qué regla de decisión aplicar. Aquí, parece haber dos enfoques principales para la toma de decisiones. El primero se basa en un artículo de John Kruschke de la Universidad de Indiana (K. Kruschke, Bayesian Estimation Sustituye a la prueba t , Journal of Experimental Psychology: General, 142, 573 (2013)). La regla de decisión utilizada en este documento se basa en el concepto de Región de equivalencia práctica (ROPE).

Otra posibilidad es utilizar el concepto de una pérdida esperada. Ha sido propuesto por Chris Stucchio (C. Stucchio, Bayesian A / B Testing en VWO ).

En principio, podría usar una regla de decisión diferente.

Puede encontrar esto y mucho más en esta publicación de blog: Pruebas Bayesianas A / B: una guía paso a paso . También incluye algunos fragmentos de código de Python y utiliza un proyecto de Python que está alojado en Github .