Inferencia estadística bajo especificación errónea del modelo

Tengo una pregunta metodológica general. Es posible que se haya respondido antes, pero no puedo localizar el hilo relevante. Apreciaré los punteros a posibles duplicados.

( Aquí hay una excelente, pero sin respuesta. Esto también es similar en espíritu, incluso con una respuesta, pero esta última es demasiado específica desde mi perspectiva. Esto también está cerca, descubierto después de publicar la pregunta).

El tema es cómo hacer una inferencia estadística válida cuando el modelo formulado antes de ver los datos no describe adecuadamente el proceso de generación de datos . La pregunta es muy general, pero ofreceré un ejemplo particular para ilustrar el punto. Sin embargo, espero que las respuestas se centren en la pregunta metodológica general en lugar de analizar los detalles del ejemplo en particular.

Considere un ejemplo concreto: en una configuración de series de tiempo, supongo que el proceso de generación de datos es con . Mi objetivo es probar la hipótesis del tema que . Lanzo esto en términos del modelo para obtener una contraparte estadística viable de mi hipótesis de tema, y esto es Hasta ahora tan bueno. Pero cuando observo los datos, descubro que el modelo no describe adecuadamente los datos. Digamos que hay una tendencia lineal, por lo que el verdadero proceso de generación de datos es con

\begin{matrix} (1) & y_{t} = β_{0} + β_{1} x_{t} + u_{t} \end{matrix}

$y_t=\beta_0 + \beta_1 x_t+u_t \tag{1}$

u_{t} \sim i . i . N (0, σ_{u}^{2})

$u_t \sim i.i.N(0,\sigma_u^2)$

\frac{d y}{d x} = 1

$\frac{dy}{dx}=1$

(1)

$(1)$

H_{0} : β_{1} = 1.

$H_0\colon \ \beta_1=1.$

\begin{matrix} (2) & y_{t} = γ_{0} + γ_{1} x_{t} + γ_{2} t + v_{t} \end{matrix}

$y_t=\gamma_0 + \gamma_1 x_t+\gamma_2 t + v_t \tag{2}$

v_{t} \sim i . i . N (0, σ_{v}^{2})

$v_t \sim i.i.N(0,\sigma_v^2)$ .

¿Cómo puedo hacer una inferencia estadística válida en mi hipótesis de tema ? $\frac{dy}{dx}=1$

Si uso el modelo original, se violan sus suposiciones y el estimador de no tiene la distribución agradable que de otro modo tendría. Por lo tanto, no puedo probar la hipótesis usando la prueba . $\beta_1$ $t$
Si, después de ver los datos, cambio del modelo a y cambio mi hipótesis estadística de a , se cumplen los supuestos del modelo y yo obtenga un estimador de buen comportamiento de y pueda probar sin dificultad usando la prueba . Sin embargo, el cambio de a $(1)$ $(2)$ $H_0\colon \ \beta_1=1$ $H'_0\colon \ \gamma_1=1$ $\gamma_1$ $H'_0$ $t$
$(1)$ $(2)$ está informado por el conjunto de datos en el que deseo probar la hipótesis. Esto hace que la distribución del estimador (y por lo tanto también la inferencia) esté condicionada al cambio en el modelo subyacente, que se debe a los datos observados. Claramente, la introducción de tal condicionamiento no es satisfactoria.

¿Hay una buena salida? (Si no es frecuentista, ¿quizás alguna alternativa bayesiana?)

modeling inference misspecification Richard Hardy
fuente

Su incomodidad es endémica de los enfoques clásicos para otorgar doctorados: especificación cuidadosa de la hipótesis, seguida de una prueba empírica y que termina con una inferencia causal descriptiva. En este mundo, la respuesta corta es "no", no hay salida. Sin embargo, el mundo está evolucionando lejos de ese paradigma estricto. Por ejemplo, en un artículo en el AER el año pasado titulado Problemas de política de predicción de Kleinberg, et al., Defienden la minería de datos y la predicción como herramientas útiles en la formulación de políticas económicas, citando casos donde "la inferencia causal no es central, o incluso necesario." Vale la pena echarle un vistazo.

Mike Hunter

En mi opinión, la respuesta directa debería ser que no hay salida. De lo contrario, sería culpable del peor tipo de minería de datos, reformular las hipótesis para que se ajusten a los datos, un delito capital en un mundo estricto y paradigmático.

Mike Hunter

Si entiendo correctamente, está recopilando datos, luego seleccionando un modelo y luego probando hipótesis. Puedo estar equivocado, pero me parece que el paradigma de inferencia selectiva investigado por Taylor y Tibshirani (entre otros) podría estar relacionado con su problema. De lo contrario, los comentarios, las respuestas y las respuestas vinculadas a esta pregunta podrían ser de interés.

DeltaIV

@DeltaIV, es decir, cuando hago inferencia, no estoy interesado en los parámetros menos falsos como bajo la consistencia P, sino que estoy interesado en los verdaderos (la verdadera derivada parcial de wrt ).

y

$y$

x

$x$

Richard Hardy

@ Richard Hardy, claro, a pesar de ser un estudiante graduado de estadísticas, realmente ya no creo en la inferencia. Es un castillo de naipes tan frágil que no está claro si es significativo, excepto en circunstancias muy estrictas y controladas. Lo curioso es que todo el mundo lo sabe, pero a nadie (bueno) le importa.

hejseb

Respuestas:

La salida está literalmente fuera de la prueba de muestra, una verdadera. No en el que divide la muestra en entrenamiento y aguanta como en la validación cruzada, sino la predicción verdadera. Esto funciona muy bien en ciencias naturales. De hecho, es la única forma en que funciona. Construye una teoría sobre algunos datos, luego se espera que pronuncies algo que aún no se haya observado. Obviamente, esto no funciona en la mayoría de las ciencias sociales (llamadas así) como la economía.

En la industria esto funciona como en ciencias. Por ejemplo, si el algoritmo de negociación no funciona, eventualmente perderá dinero y luego lo abandonará. Los conjuntos de datos de validación cruzada y capacitación se usan ampliamente en el desarrollo y la decisión de implementar el algoritmo, pero después de que esté en producción, se trata de ganar dinero o perder. Muy simple de prueba de muestra.

Aksakal
fuente

¿Eso ayuda a estimar ?

\frac{\partial y}{\partial x}

$\frac{\partial y}{\partial x}$

Richard Hardy

@ RichardHardy, sí, prueba la misma hipótesis en los nuevos datos. Si se sostiene, entonces eres bueno. Si su modelo está mal especificado, eventualmente debería fallar, me refiero a otros diagnósticos también. Debería ver que el modelo no funciona con datos nuevos.

Aksakal

OK, entonces suena como la vieja receta de dividir la muestra en una submuestra para la construcción de modelos y otra para la prueba de hipótesis. Debería haber incluido esa consideración ya en el OP. En cualquier caso, parece una buena estrategia. El problema con la macroeconomía, por ejemplo, sería que el mismo modelo casi nunca encajaría bien con datos invisibles (ya que el proceso de generación de datos está cambiando con el tiempo), por lo que el mismo problema con el que comenzamos persistiría. Pero ese es un ejemplo donde básicamente cualquier método falla, por lo que no es una crítica justa.

Richard Hardy

Mientras tanto, en microeconomía en la configuración de datos transversales podría funcionar. +1 por ahora. Por otro lado, una vez que un modelo se haya ajustado a todos los datos disponibles, esta solución no funcionará. Supongo que eso es lo que estaba pensando cuando escribí la pregunta, y estoy buscando respuestas que aborden la pregunta del título: inferencia del modelo mal especificado.

Richard Hardy

Simpatizo con tu punto de vista. Pero dado que la división de muestras en "viejo" y "nuevo" es equivalente a la recopilación de datos nuevos, no entiendo dónde ve una gran diferencia entre los dos.

Richard Hardy

Podría definir un "procedimiento combinado" e investigar sus características. Supongamos que comienza con un modelo simple y permite que se ajusten uno, dos o tres modelos más complejos (o no paramétricos) en caso de que el modelo simple no se ajuste. Debe especificar una regla formal según la cual decide no ajustarse al modelo simple sino a uno de los otros (y cuál). También debe tener pruebas para que su hipótesis de interés se aplique en todos los modelos involucrados (paramétricos o no paramétricos).

Con tal configuración, puede simular las características, es decir, con qué porcentaje su hipótesis nula finalmente se rechaza en caso de que sea cierta y en caso de varias desviaciones de interés. También puede simular a partir de todos los modelos involucrados y observar cosas como el nivel condicional y la potencia condicional dado que los datos provienen del modelo X, Y o Z, o dado que el procedimiento de prueba de especificación incorrecta del modelo seleccionó el modelo X, Y o Z.

Puede encontrar que la selección del modelo no hace mucho daño en el sentido de que el nivel alcanzado todavía está muy cerca del nivel que buscaba, y el poder está bien si no es excelente. O puede encontrar que la selección de modelo dependiente de datos realmente arruina las cosas; dependerá de los detalles (si el procedimiento de selección de su modelo es muy confiable, es probable que el nivel y la potencia no se vean muy afectados).

Ahora, esto no es lo mismo que especificar un modelo y luego mirar los datos y decidir "oh, necesito otro", pero probablemente sea lo más cercano que pueda llegar a investigar cuáles serían las características de dicho enfoque. No es trivial porque necesita tomar una serie de opciones para que esto funcione.

Comentario general: creo que es engañoso clasificar la metodología estadística aplicada binariamente en "válida" e "inválida". Nada es 100% válido porque los supuestos del modelo nunca se cumplen con precisión en la práctica. Por otro lado, aunque puede encontrar razones válidas (!) Para llamar a algo "inválido", si uno investiga en profundidad las características del enfoque supuestamente inválido, puede descubrir que todavía funciona bastante bien.

Lewian
fuente

Me pregunto si esto es realista en la práctica, aparte de los problemas más simples. El costo computacional de las simulaciones excedería rápidamente nuestras capacidades en la mayoría de los casos, ¿no cree? Su comentario sobre la validez es lógico. Sin embargo, sin esta noción simple pero útil (para ayudar a nuestro razonamiento) estaríamos aún más perdidos de lo que estamos con ella, esa es mi perspectiva.

Richard Hardy

No digo que esto deba hacerse cada vez que tal situación se cumple en la práctica. Es más bien un proyecto de investigación; Sin embargo, un mensaje para llevar es que, en mi opinión, por las razones dadas, la selección del modelo dependiente de los datos no invalida exactamente la inferencia que de otro modo habría sido válida. Tales procedimientos combinados pueden funcionar bastante bien en muchas situaciones, aunque actualmente no se investiga adecuadamente.

Lewian

Supongo que si esto fuera factible, ya estaría en uso. El principal problema podría ser la inviabilidad debido a la gran cantidad de opciones de modelado que dependen de los datos (volviendo a mi primer comentario). ¿O no ves un problema allí?

Richard Hardy

Existe una simulación extraña en la literatura que explora la prueba de especificación errónea / selección de modelo primero y luego la inferencia paramétrica condicional al resultado de eso. Los resultados son mixtos hasta donde yo sé. Un ejemplo "clásico" está aquí: tandfonline.com/doi/abs/10.1080/…

Lewian

Pero estás en lo correcto; modelar el proceso completo con todo tipo de opciones de modelado posibles requeriría muchas opciones. Todavía creo que sería un proyecto que vale la pena, aunque no es algo que uno podría exigir siempre que los modelos se seleccionen a partir de los mismos datos a los que se ajustan. Aris Spanos, por cierto, argumenta en contra de la idea de que las pruebas de especificación errónea o la verificación del modelo en los datos invalidan la inferencia. onlinelibrary.wiley.com/doi/abs/10.1111/joes.12200

Lewian