¿Cómo encaja un estimador que minimiza una suma ponderada de sesgo cuadrado y varianza en la teoría de la decisión?

De acuerdo, mi mensaje original no pudo obtener una respuesta; entonces, déjenme plantear la pregunta de otra manera. Comenzaré explicando mi comprensión de la estimación desde una perspectiva teórica de decisión. No tengo entrenamiento formal y no me sorprendería si mi pensamiento es defectuoso de alguna manera.

Supongamos que tenemos una función de pérdida $L(\theta,\hat\theta(x))$ . La pérdida esperada es el riesgo (frecuente):

$$R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx,$$

donde es la probabilidad; y el riesgo de Bayes es el riesgo frecuentista esperado:$\mathcal{L}(\theta,\hat\theta(x))$

$$r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta,$$

donde es nuestro previo.$\pi (\theta)$

En general, nos encontramos con el θ ( x ) que minimizan r y todo esto funciona muy bien; Por otra parte el teorema de Fubini se aplica y se puede invertir el orden de integración de manera que cualquier dada θ ( x ) que minimiza r es independiente de todos los demás. De esta manera, no se viola el principio de probabilidad y podemos sentirnos bien por ser bayesianos, etc.$\hat\theta(x)$$r$$\hat\theta(x)$$r$

Por ejemplo, dada la pérdida error al cuadrado familiar, nuestro riesgo frequentist es el error cuadrático medio o la suma de sesgo al cuadrado y la varianza y nuestra El riesgo de Bayes es la suma esperada de sesgo cuadrado y varianza dada nuestra anterior, es decir, la pérdida esperada a posteriori.$L(\theta,\hat\theta(x))=(\theta- \hat\theta(x))^2,$

Esto me parece sensato hasta ahora (aunque podría estar bastante equivocado); pero, en cualquier caso, las cosas tienen mucho menos sentido para otros objetivos. Por ejemplo, supongamos que en vez de minimizar la suma de igual-ponderada sesgo al cuadrado y la varianza, quiero minimizar una desigual-ponderada suma - que es, quiero que el θ ( x ) que reducen al mínimo:$\hat\theta(x)$

$$(\mathbb{E}[\hat\theta(x)]-\theta)^2+k\mathbb{E}[(\hat\theta(x)-\mathbb{E}[\hat\theta(x)])^2],$$

donde es alguna constante real positiva (que no sea 1).$k$

Normalmente me refiero a una suma como esta como una "función objetivo", aunque puede ser que esté usando ese término incorrectamente. Mi pregunta no es acerca de cómo encontrar una solución - la búsqueda de la θ ( x ) que minimizan la función objetivo es numéricamente factible - más bien, mi pregunta es doble:$\hat\theta(x)$

1. ¿Puede esa función objetiva encajar en el paradigma de la teoría de la decisión? Si no, ¿hay otro marco en el que encaje? Si es así, ¿cómo es eso? Parece que la función de pérdida asociada sería una función de , $\theta$ , y E [ θ ( x ) ] , que - debido a la expectativa - es (creo) no adecuada.$\hat\theta(x)$$\mathbb{E}[\hat\theta(x)]$

2. Una función tan objetivo viola el principio probabilidad porque cualquier estimación dada θ ( x j depende de todas las demás estimaciones de θ ( x i ≠ j ) (incluso los hipotéticos). Sin embargo, hay ocasiones en que es deseable intercambiar un aumento en la varianza de error por una reducción en el sesgo. Dado ese objetivo, ¿hay alguna forma de conceptualizar el problema de manera que se ajuste al principio de probabilidad?$\hat\theta(x_{j})$$\hat\theta(x_{i\neq j})$

Supongo que no he entendido algunos conceptos fundamentales sobre la teoría / estimación / optimización de decisiones. Gracias de antemano por cualquier respuesta y por favor asuma que no sé nada ya que no tengo capacitación en esta área o en matemáticas en general. Además, cualquier referencia sugerida (para el lector ingenuo) es apreciada.

¡Esta es una pregunta bastante interesante y novedosa! En un nivel formal, usando la función de riesgo frequentist medios utilizando (por ejemplo) la función de pérdida definida como L ( θ , θ [ θ (

$$(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k\mathbb{E}_\theta[(\hat\theta(X)-\mathbb{E}[\hat\theta(X)])^2],$$ ya que no hay motivo para prohibir las expectativas como E θ [ θ ( X ) ] para aparecer en una función de pérdida. Que dependen de toda la distribución de $$L(\theta,\hat{\theta})=(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k(\hat\theta-\mathbb{E}_\theta[\hat\theta(X)])^2$$ $\mathbb{E}_\theta[\hat\theta(X)]$es una función que puede parecer extraño, pero toda la distribución se establece en función de$\hat{\theta}(X)$ y la pérdida resultante es por lo tanto una función de θ , θ y la distribución de θ ( X ) .$\theta$$\theta$$\hat{\theta}$$\hat{\theta}(X)$

$L(\theta,\delta)$$\theta$$\delta$$\Theta$$\delta$$x$$X$$X$$\theta$, no pudo ser considerado. El hecho de que pueda violar el principio de probabilidad no es una preocupación directa para la teoría de la decisión y no impide la derivación formal de un estimador de Bayes.