¿Cómo definir una región de rechazo cuando no hay UMP?

Considere el modelo de regresión lineal.

$\mathbf{y}=\mathbf{X\beta}+\mathbf{u}$ ,

$\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I})$ ,

$E(\mathbf{u}\mid\mathbf{X})=\mathbf{0}$ .

Deje vs . $H_0: \sigma_0^2=\sigma^2$ $H_1: \sigma_0^2\neq\sigma^2$

Podemos deducir que , donde . Y es la notación típica para la matriz aniquiladora, , donde es la variable dependiente retrocedió en . $\frac{\mathbf{y}^T\mathbf{M_X}\mathbf{y}}{\sigma^2}\sim \chi^2(n-k)$ $dim(\mathbf{X})=n\times k$ $\mathbf{M_X}$ $\mathbf{M_X}\mathbf{y}=\hat{\mathbf{y}}$ $\hat{\mathbf{y}}$ $\mathbf{y}$ $\mathbf{X}$

El libro que estoy leyendo dice lo siguiente:

Anteriormente pregunté qué criterios deberían usarse para definir una Región de rechazo (RR), ver las respuestas a esta pregunta , y la principal fue elegir el RR que hizo que la prueba fuera lo más potente posible.

En este caso, con la alternativa de ser una hipótesis compuesta bilateral, generalmente no hay una prueba UMP. Además, según la respuesta dada en el libro, los autores no muestran si hicieron un estudio del poder de su RR. Sin embargo, eligieron un RR de dos colas. ¿Por qué es eso, ya que la hipótesis no determina "unilateralmente" el RR?

Editar: Esta imagen está en el manual de soluciones de este libro como la solución para el ejercicio 4.14.

regression hypothesis-testing mathematical-statistics inference Un anciano en el mar.
fuente

Por favor agregue una referencia al libro. Relacionado: valor P en una prueba de dos colas con distribución nula asimétrica .

Scortchi - Restablece a Monica

@Scortchi gracias por el enlace. ¿Puedo hacerte una pregunta sobre esta pregunta? ¿Te parece interesante? Estoy tratando de evaluar si estoy haciendo preguntas interesantes, o si debo dirigir mis intereses hacia otras áreas ...

Un anciano en el mar.

No todos encuentran la teoría interesante, por supuesto, pero algunas personas sí (incluyéndome a mí) y hemos etiquetado casi 2k qsmathematical-statistics . Entonces, una multa q. OMI Es un poco amplio, pero creo que una buena respuesta examinaría varios enfoques y consideraciones, y un ejemplo motivador ayuda mucho. (Sin embargo, habría elegido un ejemplo lo más simple posible: pruebas sobre la varianza de una distribución normal con media conocida o la media de una distribución exponencial). .]

Scortchi - Restablece a Monica

@Scortchi gracias por sus comentarios. A veces no estoy seguro si estructuro bien la pregunta, ya que estoy estudiando esto.

Un viejo en el mar.

Deberías definir

M_{X}

$M_X$

Taylor

Respuestas:

Es más fácil trabajar primero en el caso en que se conocen los coeficientes de regresión y, por lo tanto, la hipótesis nula es simple. Entonces la estadística suficiente es , donde es el residual; su distribución bajo nulo también es un chi-cuadrado escalado por y con grados de libertad iguales al tamaño de muestra . $T=\sum z^2$ $z$ $\sigma^2_0$ $n$

Escriba la razón de las probabilidades bajo & y confirme que es una función creciente de para cualquier : $\sigma=\sigma_1$ $\sigma=\sigma_2$ $T$ $\sigma_2 > \sigma_1$

La función de razón de probabilidad de registro es , y directamente proporcional a con gradiente positivo cuando .
$ℓ (σ_{2}; T, n) - ℓ (σ_{1}; T, n) = \frac{n}{2} \cdot [\log (\frac{σ_{1}^{2}}{σ_{2}^{2}}) + \frac{T}{n} \cdot (\frac{1}{σ_{1}^{2}} - \frac{1}{σ_{2}^{2}})]$ $\ell(\sigma_2;T,n)-\ell(\sigma_1;T,n)=\frac{n}{2} \cdot \left[\log \left(\frac{\sigma_1^2}{\sigma_2^2}\right) + \frac{T}{n} \cdot \left(\frac{1}{\sigma_1^2} - \frac{1}{\sigma_2^2}\right) \right]$ $T$ $\sigma_2>\sigma_1$

Entonces, según el teorema de Karlin-Rubin, cada una de las pruebas de una cola vs & vs es uniformemente más poderoso. Claramente no hay una prueba UMP de vs . Como se discutió aquí , llevar a cabo ambas pruebas de una cola y aplicar una corrección de comparaciones múltiples conduce a la prueba de uso común con regiones de rechazo de igual tamaño en ambas colas, y es bastante razonable cuando va a reclamar que o that cuando rechaza el valor nulo. $H_0:\sigma=\sigma_0$ $H_\mathrm{A}:\sigma < \sigma_0$ $H_0:\sigma = \sigma_0$ $H_\mathrm{A}:\sigma < \sigma_0$ $H_0:\sigma = \sigma_0$ $H_\mathrm{A}:\sigma \neq \sigma_0$ $\sigma>\sigma_0$ $\sigma<\sigma_0$

Luego encuentre la razón de las probabilidades bajo , la estimación de máxima verosimilitud de , & : $\sigma=\hat\sigma$ $\sigma$ $\sigma=\sigma_0$

Como , el estadístico de prueba de razón de probabilidad logarítmica es $\hat\sigma^2=\frac{T}{n}$
$ℓ (\hat{σ}; T, n) - ℓ (σ_{0}; T, n) = \frac{n}{2} \cdot [\log (\frac{n σ_{0}^{2}}{T}) + \frac{T}{n σ_{0}^{2}} - 1]$ $\ell(\hat\sigma;T,n)-\ell(\sigma_0;T,n)=\frac{n}{2} \cdot \left[\log \left(\frac{n\sigma_0^2}{T}\right) + \frac{T}{n\sigma_0^2} - 1 \right]$

Esta es una buena estadística para cuantificar cuánto admiten los datos sobre . Y los intervalos de confianza formados por la inversión de la prueba de razón de probabilidad tienen la propiedad atractiva de que todos los valores de parámetros dentro del intervalo tienen una probabilidad más alta que los de afuera. La distribución asintótica del doble de la relación log-verosimilitud es bien conocida, pero para una prueba exacta, no necesita tratar de calcular su distribución, solo use las probabilidades de cola de los valores correspondientes de en cada cola. $H_\mathrm{A}:\sigma \neq \sigma_0$ $H_0:\sigma = \sigma_0$ $T$

Si no puede tener una prueba uniformemente más poderosa, es posible que desee una que sea más poderosa contra las alternativas más cercanas a la nula. Encuentre la derivada de la función log-verosimilitud con respecto a , la función de puntuación: $\sigma$

$\frac{d ℓ (σ; T, n)}{d σ} = \frac{T}{σ^{3}} - \frac{n}{σ}$ $\frac{\mathrm{d}\,\ell(\sigma;T,n)}{\mathrm{d}\,\sigma}=\frac{T}{\sigma^3} - \frac{n}{\sigma}$

La evaluación de su magnitud en proporciona una prueba localmente más poderosa de vs . Debido a que el estadístico de prueba está delimitado a continuación, con muestras pequeñas, la región de rechazo puede limitarse a la cola superior. Nuevamente, la distribución asintótica de la puntuación al cuadrado es bien conocida, pero puede obtener una prueba exacta de la misma manera que para el LRT. $\sigma_0$ $H_0:\sigma=\sigma_0$ $H_\mathrm{A}:\sigma \neq \sigma_0$

Otro enfoque es restringir su atención a las pruebas imparciales, es decir, aquellas para las cuales el poder bajo cualquier alternativa excede el tamaño. Verifique que su estadística suficiente tenga una distribución en la familia exponencial; luego, para una prueba de tamaño , si o , de lo contrario , puede encontrar la prueba imparcial más potente y uniforme resolviendo $\alpha$ $\phi(T)= 1$ $T<c_1$ $T>c_2$ $\phi(T)= 0$

\begin{aligned} E (ϕ (T)) & = α \\ E (T ϕ (T)) & = α E T \end{aligned}

$\begin{align} \operatorname{E}(\phi(T)) &= \alpha \\ \operatorname{E}(T\phi(T)) &= \alpha \operatorname{E} T \end{align}$

Una gráfica ayuda a mostrar el sesgo en la prueba de áreas de cola iguales y cómo surge:

A valores de un poco por encima de la probabilidad aumentada de que las estadísticas de prueba 'caigan en el rechazo de rechazo de la cola superior no compensa la probabilidad reducida de que caiga en la región de rechazo de la cola inferior y el poder del la prueba cae por debajo de su tamaño. $\sigma$ $\sigma_0$

Ser imparcial es bueno; pero no es evidente que tener una potencia ligeramente inferior al tamaño en una pequeña región del espacio de parámetros dentro de la alternativa sea tan malo como para descartar por completo una prueba.

Dos de las pruebas de dos colas anteriores coinciden (para este caso, no en general):

El LRT es UMP entre las pruebas imparciales. En los casos en que esto no sea cierto, el LRT puede ser asintóticamente imparcial.

Creo que todas, incluso las pruebas de una cola, son admisibles, es decir, no hay una prueba más poderosa o tan poderosa en todas las alternativas: puede hacer que la prueba sea más poderosa contra las alternativas en una dirección solo haciéndola menos poderosa contra las alternativas en la otra dirección. A medida que aumenta el tamaño de la muestra, la distribución de chi-cuadrado se vuelve más y más simétrica, y todas las pruebas de dos colas terminarán siendo muy parecidas (otra razón para usar la prueba fácil de colas iguales).

Con la hipótesis nula compuesta, los argumentos se vuelven un poco más complicados, pero creo que puedes obtener prácticamente los mismos resultados, mutatis mutandis. Tenga en cuenta que una, pero no la otra, de las pruebas de una cola es UMP.

Scortchi - Restablece a Monica
fuente

Scortchi gracias por tu respuesta. Sin embargo, todavía tengo algunas dudas. En primer lugar, ¿podría elaborar un poco más sobre la siguiente oración? «La aplicación de una corrección de comparaciones múltiples conduce a la prueba de uso común con regiones de rechazo de igual tamaño en ambas colas, y es bastante razonable cuando va a reclamar que σ> σ0 o que σ <σ0 cuando rechaza el valor nulo». Además, ¿por qué dices que es razonable? Creo que este es el núcleo de mi pregunta si no me equivoco. ;)

Un anciano en el mar.

Leí este párrafo de su respuesta vinculada, pero no lo entendí bien. «Duplicar el valor p más bajo de una cola puede verse como una corrección de comparaciones múltiples para llevar a cabo dos pruebas de una cola». Le agradecería si pudiera explicarlo un poco más. ;)

Un anciano en el mar.

Ver corrección de Bonferroni . Si lleva a cabo dos pruebas de tamaño separadas, el error familiar de Tipo I no es más que , y cuando las regiones de rechazo son disjuntas, es exactamente . Quería señalar que la prueba de áreas de igual cola se puede ver de esta manera porque a veces las personas parecen pensar que las únicas razones para usarla son la facilidad de cálculo y aproximación a las otras pruebas. De hecho, cada prueba tiene su propia lógica: por lo que no diría que este fue el núcleo de su pregunta; Es una cuestión de caballos para los cursos.

α / 2

$\alpha/2$

α

$\alpha$

α

$\alpha$

Scortchi - Restablece a Monica

En este caso, con la alternativa de ser una hipótesis compuesta bilateral, generalmente no hay una prueba UMP.

No estoy seguro de si eso es cierto en general. Ciertamente, muchos de los resultados clásicos (Neymon-Pearson, Karlin-Rubin) se basan en hipótesis simples o unilaterales, pero existen generalizaciones a la hipótesis compuesta de dos lados. Puede encontrar algunas notas sobre eso aquí , y más discusión en el libro de texto aquí .

Para su problema específicamente, no sé si existe una prueba UMP o no. Pero intuitivamente, parece ser que bajo una pérdida de 0-1, una prueba unilateral probablemente sea inadmisible y, por lo tanto, la clase de prueba admisible serán todas las pruebas de dos lados. Da la clase de pruebas de dos lados, el objetivo es encontrar el que tenga la mayor potencia, lo que debería suceder automáticamente al elegir cuantiles alrededor del modo único de . (Todo esto se basa en la intuición). $\chi^2$

Greenparker
fuente

Claramente, no hay una prueba uniformemente más poderosa en este caso debido a la existencia de diferentes pruebas más poderosas contra alternativas particulares en diferentes direcciones desde . Para una "mejor" prueba definida en términos de poder, tendría que buscar la prueba uniformemente más poderosa de todas las pruebas imparciales , o de todas las pruebas invariantes ; o para una prueba localmente más poderosa; o algo así, y tal vez terminen por conformarse con cualquier prueba admisible.

σ_{0}

$\sigma_0$

Scortchi - Restablece a Monica