¿Hay alguna forma útil de definir el "mejor" intervalo de confianza?

La definición estándar de (digamos) un intervalo de confianza (IC) del 95% simplemente requiere que la probabilidad de que contenga el parámetro verdadero sea del 95%. Obviamente, esto no es único. El lenguaje que he visto sugiere que entre los muchos IC válidos, generalmente tiene sentido encontrar algo como el más corto, simétrico o conocido, incluso cuando algunos parámetros de distribución son desconocidos, etc. En otras palabras, parece que no hay jerarquía obvia de qué CI son "mejores" que otros.

Sin embargo, pensé que una definición equivalente de CI es que consiste en todos los valores de modo que la hipótesis nula de que el parámetro verdadero es igual a ese valor no sería rechazada al nivel de significancia apropiado después de ver la muestra realizada. Esto sugiere que mientras elijamos una prueba que nos guste, podemos construir automáticamente el CI. Y existe una preferencia estándar entre las pruebas basadas en el concepto de UMP (o UMP entre las pruebas no sesgadas).

¿Hay algún beneficio en definir CI como el que corresponde a la prueba UMP o algo así?

Un poco largo para un comentario. Echa un vistazo a la discusión sobre UMP en este documento "La falacia de poner confianza en los intervalos de confianza" por Morey et al. En particular, hay algunos ejemplos donde:

"Aún más extraño, los intervalos del procedimiento UMP inicialmente aumentan en ancho con la incertidumbre en los datos, pero cuando el ancho de la probabilidad es mayor a 5 metros, el ancho del intervalo UMP está inversamente relacionado con la incertidumbre en los datos, como el intervalo no paramétrico. El UMP y los procedimientos de distribución de muestreo comparten la dudosa distinción de que sus IC no pueden utilizarse para retroceder a las observaciones. A pesar de ser el procedimiento "más poderoso", el procedimiento UMP arroja claramente información importante ".

El rechazo es solo una parte de la inferencia, no te quedes atascado allí. Estás tomando una decisión. Supongamos que necesita decidir si debe acudir a un mecánico cuando se enciende la luz de "revisar motor" u olvidarse de él.

Entonces, su hipótesis nula es que el motor está bien, y la luz es solo la molestia. La luz de verificación del motor es su prueba. Digamos que el valor p es 5%, mientras que su importancia es$\alpha=0.01$, por lo que no puede rechazar el valor nulo y continuar con su negocio. Así es como funciona la significación estadística en su forma ingenua.

No es así como se deben tomar las decisiones y cómo se debe tener en cuenta la importancia económica. Tienes que calcular el costo de ir con nulo frente a rechazarlo y seleccionar la hipo alternativa.

Omití por completo la hipótesis alternativa en el ejemplo anterior, porque así es como todos lo hacen: piensan que la hipo alternativa es solo una especie de formalidad como una reverencia. En la vida real, la alternativa es tan importante como nulo, porque así es como se calcula el costo de no elegir el nulo. Solo cuando tenga en cuenta los costos de nulo y alternativo, debe tomar la decisión de ir o no a un mecánico. El valor p y los intervalos de confianza por sí solos no tienen sentido a este respecto, solo en conjunción con los costos se vuelven significativos