El estimador de Bayes es inmune al sesgo de selección

¿Los estimadores de Bayes son inmunes al sesgo de selección?

La mayoría de los artículos que discuten la estimación en alta dimensión, por ejemplo, datos de secuencia del genoma completo, a menudo plantean el problema del sesgo de selección. El sesgo de selección surge del hecho de que, aunque tenemos miles de predictores potenciales, solo se seleccionarán unos pocos y se harán inferencias sobre los pocos seleccionados. Por lo tanto, el proceso consta de dos pasos: (1) seleccionar un subconjunto de predictores (2) realizar inferencia en los conjuntos seleccionados, por ejemplo, estimar las razones de probabilidades. Dawid en su trabajo de paradoja de 1994 se centró en estimadores imparciales y estimadores de Bayes. Simplifica el problema al seleccionar el efecto más grande, que podría ser un efecto de tratamiento. Luego dice, los estimadores imparciales se ven afectados por el sesgo de selección. Utilizó el ejemplo: suponga luego cada

Z_{i} \sim N (δ_{i}, 1), i = 1, \dots, N

$Z_i\sim N(\delta_i,1),\quad i=1,\ldots,N$

Z_{i}

$Z_i$ es imparcial para . Sea , el estimador está sesgado ( positivamente) para

. Esta afirmación se puede probar fácilmente con la desigualdad de Jensen. Por lo tanto, si supiéramos

, el índice de la

más grande , solo usaremos

como su estimador, que es imparcial. Pero debido a que no sabemos esto, usamos

lugar, lo que se vuelve sesgado (positivamente).

δ_{i}

$\delta_i$

Z = (Z_{1}, Z_{2}, \dots, Z_{N})^{T}

$\mathbf{Z}=(Z_1,Z_2,\ldots,Z_N)^T$

γ_{1} (Z) = max {Z_{1}, Z_{2}, \dots, Z_{N}}

$\gamma_1(\mathbf{Z})=\max\{Z_1,Z_2,\ldots,Z_N\}$

max {δ_{1}, δ_{2}, \dots, δ_{N}}

$\max\{\delta_1,\delta_2,\ldots,\delta_N\}$

i_{max}

$i_{\max}$

δ_{i}

$\delta_i$

Z_{i_{max}}

$Z_{i_{\max}}$

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$

Pero la preocupante afirmación de Dawid, Efron y otros autores es que los estimadores de Bayes son inmunes al sesgo de selección. Si ahora pondré antes en , digamos , Entonces el estimador de Bayes de viene dado por donde , con el gaussiano estándar. $\delta_i$ $\delta_i\sim g(.)$ $\delta_i$

E {δ_{i} ∣ Z_{i}} = z_{i} + \frac{d}{d z_{i}} m (z_{i})

$\text{E}\{\delta_i\mid Z_i\}=z_i+\frac{d}{dz_i}m(z_i)$

m (z_{i}) = \int φ (z_{i} - δ_{i}) g (δ_{i}) d δ_{i}

$m(z_i)=\int \varphi(z_i-\delta_i)g(\delta_i)d\delta_i$

φ (.)

$\varphi(.)$

Si definimos el nuevo estimador de como lo se selecciona para estimar con , será el mismo si la selección se basó en . Esto se debe a que es monótono en . También sabemos que encoge hacia cero con el término, $\delta_{i_{\max}}$

γ_{2} (Z) = max {E {δ_{1} ∣ Z_{1}}, E {δ_{2} ∣ Z_{2}}, \dots, E {δ_{N} ∣ Z_{N}}},

$\gamma_2(\mathbf{Z})=\max\{\text{E}\{\delta_1\mid Z_1\},\text{E}\{\delta_2\mid Z_2\},\ldots,\text{E}\{\delta_N\mid Z_N\}\},$

i

$i$

δ_{i_{max}}

$\delta_{i_{\max}}$

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$

i

$i$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

Z_{i}

$Z_i$

E {δ_{i} ∣ Z_{i}}

$\text{E}\{\delta_i\mid Z_i\}$

Z_{i}

$Z_i$

\frac{d}{d z_{i}} m (z_{i})

$\frac{d}{dz_i}m(z_i)$ lo que reduce algunos de los sesgos positivos en . Pero, ¿cómo podemos concluir que los estimadores de Bayes son inmunes al sesgo de selección? Realmente no lo entiendo.

Z_{i}

$Z_i$

bayesian feature-selection bias unbiased-estimator conjugate-prior Chamberlain Foncha
fuente

Dado que está refiriendo un reclamo en una literatura, ¿puede dar una situación completa y una referencia de página, para que podamos leer el contexto completo de este reclamo?

Ben - Restablece a Monica el

¿Definir un estimador como el máximo de estimadores de Bayes sigue siendo un estimador de Bayes?

Xi'an

Ejemplo 1 en el documento.

Chamberlain Foncha

Respuestas:

Como se describió anteriormente, el problema radica en la inferencia de dibujo en el índice y el valor, (i⁰, μ⁰), de la media más grande de una muestra de rvs normales. Lo que encuentro sorprendente en la presentación de Dawid es que el análisis bayesiano no suena tanto bayesiano. Si se da la muestra completa, un enfoque bayesiano debería producir una distribución posterior en (i⁰, μ⁰), en lugar de seguir los pasos de estimación, desde estimar i⁰ hasta estimar la media asociada. Y si es necesario, los estimadores deben provenir de la definición de una función de pérdida particular. Cuando, en cambio, se le da el punto más grande de la muestra, y solo ese punto, su distribución cambia, por lo que estoy bastante desconcertado por la afirmación de que no se necesita ningún ajuste.

El modelado anterior también es bastante sorprendente, ya que los antecedentes de los medios deben ser conjuntos en lugar de ser un producto de normales independientes, ya que estos medios se comparan y, por lo tanto, son comparables. Por ejemplo, un prior jerárquico parece más apropiado, con una ubicación y escala que se estimarán a partir de los datos completos. Crear una conexión entre las medias ... Una objeción relevante para el uso de previos impropios independientes es que la media máxima μ⁰ no tiene una medida bien definida. Sin embargo, no creo que una crítica de algunos anteriores versus otros sea un ataque relevante contra esta "paradoja".

Xi'an
fuente

Me parece que toda la protección necesaria debe codificarse antes que conecta todos los medios desconocidos. Si lo anterior hace grandes diferencias entre medias muy improbables, eso se reflejará en lo posterior haciéndolo perfecto.

Frank Harrell

@ Xi'an, ¿puede dar un ejemplo de cómo colocará un prior en ?

(i, μ)

$(i,\mu)$

Chamberlain Foncha

@ Frank Harrel, considere por ejemplo y . El estimador imparcial de es . El estimador de Bayes de es . Si es el más grande, lo es , porque el estimador de Bayes es monótono en . No importa cuán informativo sea lo anterior, esto no cambiará. Sin embargo, reduce los Bayes positivos en . Pero si se eligió el incorrecto, el estimador de Bayes no puede corregir esto.

δ_{i} \sim N (a, 1)

$\delta_i \sim N(a,1)$

Z_{i} \sim N (δ_{i}, 1)

$Z_i\sim N(\delta_i,1)$

δ_{i}

$\delta_i$

Z_{i}

$Z_i$

δ_{i}

$\delta_i$

E (δ_{i} | Z_{i})

$E(\delta_i|Z_i)$

Z_{i^{0}}

$Z_{i^0}$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i^{0}}

$Z_{i^0}$

i^{0}

$i^0$

Chamberlain Foncha

@ChamberlainFoncha: El estimador de Bayes es solo cuando los son independientes a priori. Un conjunto previo en y los hace realmente dependientes.

E [δ_{i} | Z_{i}]

$\mathbb{E}[\delta_i|Z_i]$

δ_{i}

$\delta_i$

i

$i$

μ_{i}

$\mu_i$

Xi'an

Y cualquier prior es aceptable desde el punto de vista bayesiano, por ejemplo, una distribución uniforme en el índice y un prior jerárquico en el 's.

μ_{i}

$\mu_i$

Xi'an

Incluso si es un poco contra-intuitivo, la afirmación es correcta. Suponga que para este experimento, entonces el posterior para es realmente . Este hecho contraintuitivo es un poco similar a que Bayes sea inmune a la detención temprana (secreta) (que también es muy contraintuitivo). $i^*=5$ $\mu_5$ $N(x_5,\sigma^2)$

El razonamiento bayesiano conduciría a conclusiones falsas si para cada uno de estos experimentos (imagínese repetirlo varias veces), solo se mantendrían los resultados para la mejor variedad. Habría selección de datos y los métodos bayesianos claramente no son inmunes a la selección (secreta) de datos. En realidad, ningún método estadístico es inmune a la selección de datos.

Si se hiciera tal selección, un razonamiento bayesiano completo que tenga en cuenta esta selección corregiría fácilmente la ilusión.

Sin embargo, la frase "El estimador de Bayes es inmune al sesgo de selección" es un poco peligroso. Es fácil imaginar situaciones en las que "selección" significa otra cosa, como, por ejemplo, la selección de variables explicativas o la selección de datos. Bayes no es claramente inmune a esto.

Benoit Sanchez
fuente