¿Cómo puedo calcular el margen de error en un resultado NPS (Net Promoter Score)?

Dejaré que Wikipedia explique cómo se calcula NPS :

El Net Promoter Score se obtiene al hacer una sola pregunta a los clientes en una escala de calificación de 0 a 10, donde 10 es "extremadamente probable" y 0 es "nada probable": "¿Qué tan probable es que recomiende nuestra empresa a un amigo o colega? Según sus respuestas, los clientes se clasifican en uno de tres grupos: promotores (calificación 9-10), pasivos (calificación 7-8) y detractores (calificación 0-6). El porcentaje de detractores se resta del porcentaje de promotores para obtener una puntuación neta de promotor (NPS). NPS puede ser tan bajo como -100 (todos son detractores) o tan alto como +100 (todos son promotores).

Hemos realizado esta encuesta periódicamente durante varios años. Recibimos varios cientos de respuestas cada vez. El puntaje resultante ha variado en 20-30 puntos en el transcurso del tiempo. Estoy tratando de averiguar qué movimientos de puntuación son significativos, si los hay.

Si eso simplemente resulta demasiado difícil, también estoy interesado en tratar de averiguar el margen de error en los conceptos básicos del cálculo. ¿Cuál es el margen de error de cada "cubo" (promotor, pasivo, detractor)? Quizás incluso, ¿cuál es el margen de error si solo miro la media de los puntajes, reduciendo los datos a solo un número por encuesta? ¿Eso me llevaría a alguna parte?

Cualquier idea aquí es útil. Excepto "no use NPS". ¡Esa decisión está fuera de mi capacidad de cambiar!

hypothesis-testing statistical-significance standard-error multinomial nps Dan Dunn
fuente

Respuestas:

Suponga que la población, de la cual suponemos que está muestreando al azar, contiene proporciones de promotores, de pasivos y de detractores, con . Para modelar el NPS, imagine llenar un gran sombrero con una gran cantidad de boletos (uno para cada miembro de su población) etiquetados como para promotores, para pasivos y para detractores, en las proporciones dadas, y luego dibujando de ellos al azar. El NPS de muestra es el valor promedio de los tickets que fueron sorteados. El verdadero NPS se calcula como el valor promedio de todos los tickets en el sombrero: es el $p_1$ $p_0$ $p_{-1}$ $p_1+p_0+p_{-1}=1$ $+1$ $0$ $-1$ $n$ valor esperado (o expectativa ) del sombrero.

Un buen estimador del NPS verdadero es el NPS de muestra. La muestra NPS también tiene una expectativa. Se puede considerar como el promedio de todos los NPS de muestra posibles. Esta expectativa pasa a ser igual a la verdadera NPS. El error estándar del NPS de muestra es una medida de cuánto varían los NPS de muestra entre una muestra aleatoria y otra. Afortunadamente, no tenemos que calcular todas las muestras posibles para encontrar el SE: se puede encontrar de manera más simple calculando la desviación estándar de los tickets en el sombrero y dividiendo por . (Se puede hacer un pequeño ajuste cuando la muestra es una proporción apreciable de la población, pero no es probable que sea necesario aquí). $\sqrt{n}$

Por ejemplo, considere una población de promotores, pasivos y 1/6 detractores. El verdadero NPS es $p_1=1/2$ $p_0=1/3$ $p_{-1}=1/6$

NPS = 1 \times 1 / / 2 + 0 0 \times 1 / / 3 + - 1 \times 1 / / 6 6 = 1 / / 3)

$\mbox{NPS} = 1\times 1/2 + 0\times 1/3 + -1\times 1/6 = 1/3.$

La varianza es por lo tanto

\begin{aligned} Var (NPS) & = (1 - NPS)^{2} \times {pags}_{1} + (0 0 - NPS)^{2} \times {pags}_{0 0} + (- 1 - NPS)^{2} \times {pags}_{- 1} \\ = (1 - 1 / / 3)^{2} \times 1 / / 2 + (0 0 - 1 / / 3)^{2} \times 1 / / 3 + (- 1 - 1 / / 3)^{2} \times 1 / / 6 6 \\ = 5 5 / / 9) \end{aligned}

$\eqalign{ \mbox{Var(NPS)} &= (1-\mbox{NPS})^2\times p_1 + (0-\mbox{NPS})^2\times p_0 + (-1-\mbox{NPS})^2\times p_{-1}\\ &=(1-1/3)^2\times 1/2 + (0-1/3)^2\times 1/3 + (-1-1/3)^2\times 1/6 \\ &= 5/9. }$

La desviación estándar es la raíz cuadrada de esto, aproximadamente igual a $0.75.$

En una muestra de, digamos, , esperaría observar un NPS alrededor de % con un error estándar de aproximadamente %. $324$ $1/3 = 33$ $0.75/\sqrt{324}=$ $4.1$

De hecho, no conoce la desviación estándar de los tickets en el sombrero, por lo que la estima utilizando la desviación estándar de su muestra. Cuando se divide por la raíz cuadrada del tamaño de la muestra, estima el error estándar del NPS: esta estimación es el margen de error (MoE).

Siempre que observe un número considerable de cada tipo de cliente (por lo general, aproximadamente 5 o más de cada uno lo harán), la distribución de la muestra de NPS estará cerca de lo normal. Esto implica que puede interpretar el MoE de la manera habitual. En particular, aproximadamente 2/3 del tiempo en que el NPS de muestra se ubicará dentro de un MoE del NPS verdadero y aproximadamente 19/20 del tiempo (95%) el NPS de muestra se ubicará dentro de dos MoE del NPS verdadero. En el ejemplo, si el margen de error fuera realmente del 4,1%, tendríamos una confianza del 95% de que el resultado de la encuesta (la muestra NPS) está dentro del 8,2% de la población NPS.

$\sqrt{3.5^2+4.1^2}$

Al comparar muchos resultados de encuestas a lo largo del tiempo, los métodos más sofisticados pueden ayudar, ya que debe hacer frente a muchos márgenes de error separados. Cuando los márgenes de error son bastante similares, una regla general cruda es considerar un cambio de tres o más MoEs como "significativo". En este ejemplo, si los MoEs rondan el 4%, entonces un cambio de alrededor del 12% o más durante un período de varias encuestas debería llamar su atención y los cambios más pequeños podrían descartarse válidamente como error de encuesta. En cualquier caso, el análisis y las reglas generales que se proporcionan aquí generalmente proporcionan un buen comienzo al pensar en lo que pueden significar las diferencias entre las encuestas.

$0$ $0$ $1/\sqrt{n}$ $n$

whuber
fuente

Esta fue una respuesta fantástica. Lo aprecio mucho

Dan Dunn

¿No se interpreta comúnmente el "margen de error" como el intervalo de confianza del 95% para una estadística extraída de una muestra? es decir, aproximadamente 1.96 el error estándar de muestreo (o desviación estándar) de esa estadística. Utiliza el margen de error como sinónimo de "desviación estándar de la estadística" o "error estándar".

Peter Ellis

Gracias @whuber. Intento nunca discutir sobre la terminología siempre que esté claramente definida (el principio de Humpty Dumpty), y creo que el caballo se ha aferrado a una convención coherente sobre este tema. La única evidencia que tengo es una respuesta a mi propia pregunta en stats.stackexchange.com/questions/21139/… , que señala correctamente que el margen de error se cita comúnmente (no universalmente) como un porcentaje de la estimación.

Peter Ellis

@ Charles, creo que Whuber está haciendo una variación básica de una variable aleatoria discreta. Ver stat.yale.edu/Courses/1997-98/101/rvmnvar.htm

B_Miner

V a r = p_{1} + p_{- 1} - N P S^{2}

$Var = p_1 + p_{-1} - NPS^2$

También podría usar el estimador de varianza para variables continuas. En realidad, lo preferiría sobre el estimador de varianza para la variable discreta aleatoria, ya que existe una corrección bien conocida para calcular la varianza de la muestra: https://en.wikipedia.org/wiki/Unditional_estimation_of_standard_deviation Como otros notaron, la solución de Whubers se basa en fórmulas de población. Sin embargo, dado que está realizando una encuesta, estoy bastante seguro de que ha extraído una muestra, por lo que recomendaría usar el estimador imparcial (dividiendo la suma de cuadrados por n-1, no solo por n). Por supuesto, para tamaños de muestra grandes, la diferencia entre el estimador sesgado e imparcial es prácticamente inexistente.

También recomiendo usar un procedimiento de prueba t, si tiene tamaños de muestra medianos, en lugar de usar el enfoque de puntuación z: https://en.wikipedia.org/wiki/Student 's_t-test

@whuber: ya que otros también lo han preguntado: ¿cómo calcularía el estimador de muestra imparcial para la varianza / sd para su enfoque de variable discreta aleatoria? Traté de encontrarlo por mi cuenta, pero no tuve éxito. Gracias.

Deschen
fuente

Potencialmente puede usar bootstrap para simplificar sus cálculos. En R el código sería:

library(bootstrap)

NPS=function(x){
  if(sum(!x%%1==0)>0){stop("Non-integers found in the scores.")}
  if(sum(x>10|x<0)>0){stop("Scores not on scale of 0 to 10.")}
  sum(ifelse(x<7,-1,ifelse(x>8,1,0)))/length(x)*100
}

NPSconfInt=function(x,confidence=.9,iterations=10000){
  quantile(bootstrap(x,iterations,NPS)$thetastar,c((1-confidence)/2, 1-(1-confidence)/2))
}


npsData=c(1,5,6,8,9,7,0,10,7,8,
          6,5,7,8,2,8,10,9,8,7,0,10)    # Supply NPS data
hist(npsData,breaks=11)                 # Histogram of NPS responses

NPS(npsData)            # Calculate NPS (evaluates to -14)
NPSconfInt(npsData,.7)  # 70% confidence interval (evaluates to approx. -32 to 5)

k-zar
fuente

¿Podría ampliar su respuesta explicando al principio cuál es el enfoque, con suficiente detalle para que alguien que no entienda su código R pueda seguir lo que está tratando de decir, y es de esperar que puedan ¿Intenta implementarlo en su idioma favorito?

Glen_b -Reinstate Monica