Determinación segura del tamaño de la muestra para pruebas A / B

Soy un ingeniero de software que busca construir una herramienta de prueba A / B. No tengo antecedentes sólidos de estadísticas, pero he estado leyendo bastante en los últimos días.

Estoy siguiendo la metodología descrita aquí y resumiré los puntos relevantes a continuación.

La herramienta permitirá a los diseñadores y expertos en dominios configurar un sitio web para dividir el tráfico recibido en una URL específica entre dos o más URL. Por ejemplo, el tráfico que llega a http://example.com/hello1 podría dividirse entre http://example.com/hello1 y http://example.com/hello2 . El tráfico se dividiría en partes iguales entre las URL de destino y se comparará el rendimiento de los procesos de marketing en cada una de las URL de destino.

En este experimento, el tamaño de la muestra Ncorresponderá a los visitantes. La prueba medirá las "conversiones", un término que describe cuándo un visitante se compromete a una acción específica en un proceso de marketing. Las conversiones se expresan en porcentajes y es deseable una mayor tasa de conversión. Esto hace que la prueba sea una comparación de proporciones independientes. La herramienta debe poder emplearse fácilmente para producir pruebas con resultados seguros. Seleccionar un valor apropiado de Nes importante.

En el artículo vinculado, arriba, se emplea un análisis de potencia de dos proporciones independientes para encontrar N. Este método requiere que se conozca de antemano la tasa de conversión del control y que se especifique la mejora de conversión deseada. También especifica un nivel de significación del 95% y un poder estadístico del 80%.

Preguntas:

1. ¿Es este método para determinar el Nsonido? Si es así, ¿cuál es la forma más segura de determinar la tasa de conversión del control antes de comenzar la prueba?
2. ¿Existen formas sólidas de determinar Nque no requieren que se conozcan las tasas de conversión del control por adelantado?
3. ¿Es sólida la metodología en el artículo vinculado ? Si no es así, ¿hay algún método accesible y fácilmente digerible que me pueda vincular?

El método más común para hacer este tipo de pruebas es con intervalos de confianza de proporción binomial (consulte http://bit.ly/fa2K7B )

Nunca podrá conocer la tasa de conversión "verdadera" de las dos rutas, pero esto le dará la capacidad de decir algo al respecto "Con un 99% de confianza, A es más efectivo en la conversión que B".

Por ejemplo: supongamos que ha ejecutado 1000 pruebas en la ruta A. De estas 1000 pruebas, 121 fueron conversiones exitosas (tasa de conversión de 0.121) y nos gustaría un intervalo de confianza del 99% en torno a este resultado de 0.121. La puntuación z para los intervalos de confianza del 99% es 2,576 (que acaba de ver esto en una tabla), lo que de acuerdo con la Así que con confianza del 99% podemos decir que0,094≤ p ≤0,148, donde p es la tasa de conversión "verdadero" del proceso A.

Si construimos un intervalo similar para el proceso B, podemos comparar los intervalos. Si los intervalos no se superponen, entonces podemos decir con un 98% de confianza que uno es mejor que el otro. (Recuerde, solo tenemos un 99% de confianza en cada intervalo, por lo que nuestra confianza general sobre la comparación es 0.99 * 0.99)

$N$$N$

La mejor de las suertes para ti. (Estoy alentando el proceso B, por cierto).

En mi humilde opinión, hasta donde llega, el mensaje va en la dirección correcta. Sin embargo:

• El método propuesto implícitamente hace dos supuestos: la tasa de conversión de referencia y la cantidad de cambio esperada. El tamaño de la muestra depende mucho de cuán bueno cumpla con estos supuestos. Le recomiendo que calcule los tamaños de muestra requeridos para varias combinaciones de p1 y p2 que considere realistas. Eso le dará una idea de cuán confiable es realmente el cálculo del tamaño de la muestra.

  > power.prop.test (p1=0.1, p2 = 0.1*1.1, sig.level=0.05, power=0.8)
  
       Two-sample comparison of proportions power calculation 
  
                n = 14750.79
               p1 = 0.1
               p2 = 0.11
        sig.level = 0.05
            power = 0.8
      alternative = two.sided
  
   NOTE: n is number in *each* group 
  
  > power.prop.test (p1=0.09, p2 = 0.09*1.1, sig.level=0.05, power=0.8)
  
       Two-sample comparison of proportions power calculation 
  
                n = 16582.2
               p1 = 0.09
               p2 = 0.099
        sig.level = 0.05
            power = 0.8
      alternative = two.sided
  
   NOTE: n is number in *each* group 
  

  Entonces, si la tasa de conversión real es del 9% en lugar del 10%, necesita otros 2000 casos para cada escenario para detectar la tasa de conversión del 10% más que la línea base del nuevo formulario.

Una vez realizada la prueba, puede calcular los intervalos de confianza para las proporciones en función de sus observaciones reales.

• la última conclusión en 3. (sobre la prueba de múltiples escenarios) no es del todo correcta. Para ajustar para pruebas múltiples (en el ejemplo multiple = 2), no es suficiente agregar solo otras pruebas para cada nuevo escenario: si ni B ni C son mejores que la versión original A, y las dos pruebas A ./. B y B ./. C se realizan como se propone allí con casos para cada uno de los escenarios, luego la probabilidad de alejarse falsamente de A es (1 - α) ² ≈ 10% (α: probabilidad aceptada de error tipo I ; arriba). En otras palabras, es casi el doble de lo especificado inicialmente. El segundo problema con ese enfoque es: ¿puede realmente hacerlo sin comparar B ./. ¿DO? ¿Qué vas a hacer si encuentras que B y C son mejores que A?$n$
  $n$sig.level

En lugar de calcular intervalos superpuestos, calcula la puntuación Z. Esto es algorítmicamente más fácil de implementar y obtendrá bibliotecas estadísticas para ayudar.

Echa un vistazo: https://onlinecourses.science.psu.edu/stat200/node/53