¿Cuál es la propiedad oráculo de un estimador?

¿Cuál es la propiedad oráculo de un estimador?
¿Para qué objetivos de modelado es relevante la propiedad del oráculo (predictivo, explicativo, ...)?

Las explicaciones teóricamente rigurosas y (especialmente) intuitivas son bienvenidas.

feature-selection model-selection estimators oracle Richard Hardy
fuente

Sería bueno tener una respuesta sólida y única para la pregunta. Algunos materiales relacionados: Zou "El LASSO adaptativo y sus propiedades oráculo" , pág. 1 (págs. 1418).

Richard Hardy

Respuestas:

Un oráculo sabe la verdad: conoce el verdadero subconjunto y está dispuesto a actuar en consecuencia. La propiedad del oráculo es que la distribución asintótica del estimador es la misma que la distribución asintótica del MLE solo en el soporte verdadero. Es decir, el estimador se adapta a conocer el verdadero soporte sin pagar un precio (en términos de distribución asintótica).

Por las propiedades de optimización asintótica del MLE discutido en, por ejemplo, las estadísticas teóricas de Keener en el teorema 9.14, sabemos, bajo algunas condiciones técnicas que se mantienen cuando, por ejemplo, el error es gaussiano, que donde suponemos que es el coeficiente verdadero sobre el verdadero soporte . Observe que la varianza de la distribución asintótica es la inversa de la información de Fisher, lo que demuestra que es asintóticamente eficiente. Dado que el MLE conoce el verdadero soporte logra esto, también se requiere como parte de la propiedad oracle.

\sqrt{norte} ({\hat{β}}_{S} - β_{S}^{*}) \to norte (0 0, {yo}^{- 1} (β_{S}^{*})),

$\sqrt{n} \left( \hat\beta_S - \beta^*_S \right) \to \mathcal{N} (0, I^{-1}(\beta^*_S)),$

β_{S}^{*}

$\beta^*_S$

S

$S$

{\hat{β}}_{S}

$\hat\beta_S$

Sin embargo, pagamos un alto precio no asintótico: ver, por ejemplo,

Hannes Leeb, Benedikt M. Pötscher, Estimadores dispersos y la propiedad del oráculo, o el regreso del estimador de Hodges, Journal of Econometrics, Volumen 142, Número 1, 2008, páginas 201-211,

lo que demuestra que el riesgo de cualquier "estimador de oráculo" (en el sentido de Fan y Li, 2001) tiene un supremum que diverge hasta el infinito.

usuario795305
fuente

-así que la propiedad del oráculo para el lazo establece lo siguiente: la propiedad del oráculo es que la distribución asintótica del estimador es la misma que la distribución asintótica de la regresión logística de LASSO solo en el soporte verdadero

Annalise Azzopardi

La definición de la propiedad de Oracle está muy relacionada con el contexto. La respuesta muy corta pero precisa en regresión lineal (precisamente de alta dimensión) es esta:

un estimador de oráculo debe ser consistente en la estimación de parámetros y la selección de variables.

Observe que un estimador que es consistente en la selección de variables no es necesariamente consistente en la estimación de parámetros. Vea el papel de lazo adaptable para las definiciones matemáticas o simplemente vea estas diapositivas .

TPArrow
fuente

En el artículo de adaLASSO (vinculado en mi comentario) dicen que la tasa de convergencia también debe ser óptima (más que una estimación consistente). Ese es un concepto importante y un poco difícil. ¿Podrías dar más detalles sobre eso?

Richard Hardy

La tasa de convergencia es una suposición relacionada con el contexto. En lazo es para el número de observaciones. Sin embargo, la consistencia es un resultado asintótico en el lazo.

\sqrt{n}

$\sqrt{n}$

n

$n$

TPArrow

Entonces, ¿sugeriría eliminar el requisito de que la tasa sea óptima en la definición de propiedad de oráculo?

Richard Hardy

En las definiciones generales, no veo la obligación de mencionar la velocidad. Pero en teoría, necesitamos saber / determinar la velocidad óptima, obviamente.

TPArrow

Gracias. Estoy escogiendo esto porque hablamos de una definición aquí, así que estoy tratando de ser preciso.

Richard Hardy