¿Qué decirle a un cliente que piensa que los intervalos de confianza son demasiado amplios para ser útiles?

22

Supongamos que soy consultor y quiero explicarle a mi cliente la utilidad del intervalo de confianza. El cliente me dice que mis intervalos son demasiado amplios para ser útiles y que preferiría usar los medios de ancho.

¿Cómo debo responder?

confidence-interval interpretation estudiante_diversificado
fuente
15
facturarlos para recopilar más datos.
shabbychef
2
Esto me recuerda un artículo de lectura obligatoria sobre tipos de clientes en consultoría estadística.
@Procrastinator ¿Le importaría publicar un enlace a una versión PDF del documento?
asumido el
1
@Max, parece que solo está obviamente disponible a través de JSTOR; publicar un PDF sería una violación de los términos de servicio (bastante razonables) de JSTOR ...
Ben Bolker
@shabbychef: a menudo, esta es una forma muy ineficiente de aumentar la precisión, especialmente si la muestra ya es grande. por ejemplo, para reducir a la mitad el ancho del ci de un ci medio normal, debe cuadruplicar el tamaño de la muestra. ¡Es mejor pasar algún tiempo mejorando el modelo antes de ir y aumentar su costo más grande cuatro veces!
probabilityislogic

Respuestas:

16

Depende de lo que el cliente quiera decir con "útil". La sugerencia de su cliente de que reduzca arbitrariamente los intervalos parece reflejar un malentendido que, al reducir los intervalos, de alguna manera ha disminuido mágicamente el margen de error. Suponiendo que el conjunto de datos ya se ha recopilado y está arreglado (si este no es el caso, la broma de @ shabbychef en los comentarios le da su respuesta), cualquier respuesta a su cliente debe enfatizar y describir por qué no hay "almuerzo gratis" y eso que está sacrificando algo por el estrechamiento de los intervalos.

Específicamente, dado que el conjunto de datos es fijo, la única forma de reducir el ancho del intervalo de confianza es disminuyendo el nivel de confianza. Por lo tanto, tiene la opción de elegir entre un intervalo más amplio en el que tenga más confianza y que contenga el valor del parámetro verdadero o un intervalo más estrecho en el que tenga menos confianza. Es decir, los intervalos de confianza más amplios son más conservadores. Por supuesto, nunca puede optimizar el ancho o el nivel de confianza sin pensar, ya que puede generar de forma vacía un intervalo de confianza del al permitir que abarque todo el espacio de parámetros y puede obtener un intervalo de confianza infinitamente estrecho, aunque tendrá una cobertura del 0 % . 100%0%

Si un intervalo menos conservador es más útil o no depende claramente del contexto y de cómo varía el ancho del intervalo en función del nivel de confianza, pero tengo problemas para imaginar una aplicación en la que se use un nivel de confianza mucho más bajo para obtener intervalos más estrechos serían preferibles. Además, vale la pena señalar que el intervalo de confianza del ha vuelto tan omnipresente que será difícil justificar por qué, por ejemplo, está utilizando un intervalo de confianza del 60 % . 95%60%

Macro
fuente
66
No puede simplemente reducir el intervalo de confianza sin renunciar a algo, pero hay una pequeña flexibilidad análoga a la diferencia entre una prueba de una cola y una prueba de dos colas. Además, es posible que un mejor modelo de los mismos datos produzca intervalos de confianza diferentes (y posiblemente más pequeños).
Douglas Zare
3
Creo que estás vendiendo la última parte un poco corta. La ubicuidad del IC del 95 % es un fenómeno cultural. En algunos contextos, otros valores son comunes, por ejemplo, al trazar, las barras de error son a menudo errores estándar (es decir, 68% de CI), como estoy seguro de que está familiarizado. (+1, por cierto)
gung - Restablece a Monica
2
En espíritu, esta respuesta es buena, pero creo que el segundo párrafo es demasiado limitante. Un gran beneficio que el estadístico aporta a esta fiesta es el conocimiento de procedimientos alternativos que pueden satisfacer mejor las necesidades del cliente. En muchos casos, se puede reducir el ancho de un elemento de configuración seleccionando un procedimiento de elemento de configuración diferente. Esto tampoco requiere recopilar más datos (-1 a @shabbychef, me temo) ni disminuir el nivel de confianza. La parte realmente difícil es interpretar un CI donde el procedimiento se seleccionó post hoc. ¡Es por eso que queremos tener esta conversación antes de analizar (o incluso recopilar) los datos!
whuber
77
Estoy reaccionando a esto, Macro, porque en la práctica no funciona bien ser tan inflexible. El riesgo es que el cliente ignore su consejo y busque ayuda de alguien que no conoce mejor (pero que afirma tener suficiente experiencia en estadísticas). El escenario del OP es familiar y común: es mejor verlo como una oportunidad para informar y educar al cliente, así como ofrecerle alternativas (junto con una discusión franca de sus pros y sus contras). Necesitamos decir "sí, el IC puede hacerse más pequeño, pero estas son algunas de las consecuencias de hacerlo" en lugar de "no, estás jodido".
whuber
2
Ese es un buen punto @whuber (+1) en situaciones en las que pueden estar disponibles alternativas más eficientes; otra razón más para consultar con un estadístico antes de recopilar / analizar los datos.
Macro
2

Sugeriría que depende completamente de para qué su cliente quiera usar los intervalos de confianza.

  1. Algún tipo de informe / publicación / etc. donde normalmente se informan los IC del 95%. Bien podría decirle "Eso no está estadísticamente justificado" y dejarlo allí, dependiendo de si el cliente tiende a diferir o no de su experiencia. Si no lo hacen, debe juzgar su comodidad profesional con lo que quieren.
  2. Algún tipo de documento interno: dejaría en claro que no está de acuerdo, y dejaré en claro qué tipo de intervalo de confianza está mirando el lector ahora, ya que no es del 95%.
  3. Como una medida de la incertidumbre estimada, digamos para determinar cuánto análisis de sensibilidad debería hacerse uno. Les daría una cifra que muestra la distribución completa con el IC del 95% y algo así como un IC del 68% marcado y les dejaría tenerlo.

Me enorgullecería mucho de mí mismo si me las arreglara para evitar que "Ejecutar un estudio más grande" sea lo primero que salga de mi boca.

Fomite
fuente
1
+1. Creo que los comentarios que hizo en (2) probablemente también sean relevantes en la situación descrita en (1).
Macro
0

Use la desviación estándar, como lo hace la mayoría de la gente. El IC del 95% puede dar miedo cuando las personas están acostumbradas al IC del 68%.

Geoph Twombly
fuente
44
Me parece que en este caso estamos simplemente interesados ​​en mostrar la precisión de, por ejemplo, la media muestral, no la variabilidad de los valores individuales. ¿Por qué recomendaría la desviación estándar , específicamente?
chl
Originalmente, Fisher sugirió IC del 95% como una aproximación a 2 desviaciones estándar.
Patrick Caldon
1
@Patrick, parece que o bien te perdiste el punto de vista de Chl (así como también representaste mal a Fisher, que no cometió tal error) o de lo contrario escribiste "desviación estándar" donde pretendías " error estándar ". La mayoría de los IC se basan en errores estándar, por supuesto, no en desviaciones estándar. 2 SD no se aproxima a un CI ni viceversa.
whuber
Por supuesto, el error estándar es solo la desviación estándar de la media, por lo que es solo terminología. Es decir, decir que los IC no se basan en desviaciones estándar no es realmente cierto. No se basan en la desviación estándar de la muestra, sino en la desviación estándar de la media.
Aaron - Restablece a Monica el
2
No todas las estimaciones son medios. Hay errores estándar para las estimaciones que no sean medias y es el error estándar de la estimación que se utiliza para generar intervalos de confianza para un parámetro basado en la variabilidad de una estimación como sugiere Whuber.
Michael R. Chernick
0

Proporciona un intervalo de confianza en un cierto nivel estándar, como 90% o 95%. El cliente puede juzgar si el intervalo es demasiado amplio o no para ser útil. Pero, por supuesto, eso no significa que pueda acortarlo para que sea útil. Puede sugerir que aumentar el tamaño de la muestra disminuirá el ancho de un intervalo en un nivel de confianza dado, ya que disminuye aproximadamente por un factor de la raíz cuadrada del tamaño de la muestra.

Michael R. Chernick
fuente