Prueba A / B:
http://20bits.com/articles/statistical-analysis-and-ab-testing/
http://elem.com/~btilly/effective-ab-testing/
No estoy muy familiarizado con las pruebas A / B, pero me preguntaba si había paquetes / bibliotecas específicos en R o Python que se puedan usar para realizar pruebas A / B.
Respuestas:
Claro, tanto para Python como para R, hay algunos paquetes / bibliotecas interesantes y utilizables.
Primero, para Python, recomiendo leer esta Respuesta de StackOverflow dirigida a una pregunta sobre Pruebas A / B en Python / Django. Es una tesis de maestría de una página sobre el tema.
Akoha es un paquete bastante reciente (de poco más de un año) dirigido a AB Testing en Django. No he usado este paquete, pero aparentemente es el paquete Django más utilizado de este tipo (según la cantidad de descargas). Está disponible en bitbucket .
Django-AB es el otro paquete de Django que conozco y el único que he usado.
Como cabría esperar de los paquetes que admiten un marco web, cada uno proporciona un micro marco para configurar, configurar, realizar y registrar los resultados de las pruebas AB. Como era de esperar, ambos funcionan cambiando dinámicamente la plantilla ( django) (página esqueleto html) a la que se hace referencia en el archivo views.py .
Para R, recomiendo encarecidamente el paquete agricolae , creado y mantenido por una universidad en Perú. disponible en CRAN. Esto es parte de la distribución central. (Véase también agridat , que se compone de conjuntos de datos muy útiles de pruebas AB y multivariadas completadas).
Hasta donde yo sé, y me he referido a la documentación de agricolas varias veces, las aplicaciones web o los sitios web nunca se mencionan como el tema analítico / de prueba. Por el nombre del paquete, puede decir que el dominio es agrícola, pero la analogía con las pruebas en la Web es casi perfecta. Este paquete complementa muy bien los dos paquetes de Django porque los agricolas se dirigen al principio (diseño de prueba y establecimiento del criterio de éxito / finalización) y al final (análisis de los resultados) del flujo de trabajo de prueba AB.
fuente
Dependiendo del enfoque que desee adoptar para el tema, a continuación se ofrecen dos alternativas. El primero es la prueba tradicional de Chi-cuadrado para pruebas divididas y el segundo es un enfoque bayesiano para las pruebas divididas. Dependiendo de los requisitos de las partes interesadas de su organización para el análisis, también podría hacer ambas cosas si tiene los datos.
Pruebas de Chi-cuadrado (tradicional) Pruebas A / B con Python: http://okomestudio.net/biboroku/?p=2375
Prueba bayesiana A / B con Python: http://www.bayesianwitch.com/blog/2014/bayesian_ab_test.html
fuente