¿Hay una representación gráfica de la compensación de sesgo-varianza en la regresión lineal?

Estoy sufriendo un apagón. Se me presentó la siguiente imagen para mostrar el equilibrio de sesgo-varianza en el contexto de la regresión lineal:

Modelo polinómico para datos, caso simple y complejo

Puedo ver que ninguno de los dos modelos encaja bien: el "simple" no aprecia la complejidad de la relación XY y el "complejo" simplemente se sobreajusta, básicamente aprende los datos de entrenamiento de memoria. Sin embargo, no veo completamente el sesgo y la varianza en estas dos imágenes. ¿Alguien podría mostrarme esto?

PD: ¿La respuesta a la explicación intuitiva de la compensación de sesgo-varianza? Realmente no me ayudó, me alegraría si alguien pudiera proporcionar un enfoque diferente basado en la imagen de arriba.

regression variance bias blubb
fuente

Respuestas:

La compensación de la variación de sesgo se basa en el desglose del error cuadrático medio:

M S E (\hat{y}) = E [y - \hat{y}]^{2} = E [y - E [\hat{y}]]^{2} + E [\hat{y} - E [\hat{y}]]^{2}

$MSE(\hat{y})=E[y-\hat{y}]^2=E[y-E[\hat{y}]]^2+E[\hat{y}-E[\hat{y}]]^2$

Una forma de ver el intercambio de sesgo-varianza es qué propiedades del conjunto de datos se usan en el ajuste del modelo. Para el modelo simple, si suponemos que se usó la regresión OLS para ajustar la línea recta, entonces solo se usan 4 números para ajustar la línea:

La covarianza muestral entre x e y
La varianza muestral de x
La media muestral de x
La media muestral de y

Por lo tanto, cualquier gráfico que conduzca a los mismos 4 números anteriores conducirá exactamente a la misma línea ajustada (10 puntos, 100 puntos, 100000000 puntos). Entonces, en cierto sentido, es insensible a la muestra particular observada. Esto significa que estará "sesgado" porque ignora efectivamente parte de los datos. Si esa parte ignorada de los datos resulta ser importante, entonces las predicciones serán consistentemente erróneas. Verá esto si compara la línea ajustada utilizando todos los datos con las líneas ajustadas obtenidas al eliminar un punto de datos. Tienden a ser bastante estables.

Ahora el segundo modelo utiliza cada fragmento de datos que puede obtener, y ajusta los datos lo más cerca posible. Por lo tanto, la posición exacta de cada punto de datos es importante, por lo que no puede cambiar los datos de entrenamiento sin cambiar el modelo ajustado como puede hacerlo para OLS. Por lo tanto, el modelo es muy sensible al conjunto de entrenamiento particular que tiene. El modelo ajustado será muy diferente si realiza el mismo gráfico de punto de datos de colocar uno.

probabilidadislogica
fuente

El sesgo y la varianza de la estimación de parámetro de modelo

o el

\hat{θ}

$\hat\theta$

? Algunas personas me dicen que los términossesgoyvarianzasolo se pueden usar para describir el parámetro del modelo

, no los datos

, ¿es correcto?

\hat{y}

$\hat y$

θ

$\theta$

x, y

$x,y$

aguacate

No creo que esto es cierto, creo que se está hablando de predicción (

) frente a la estimación (

). Ambos tienen las nociones de sesgo y varianza, por ejemplo, tiene el "AZUL" para un parámetro de regresión y "BLUP" para la predicción de un punto de datos futuro.

\hat{y}

$\hat {y}$

\hat{θ}

$\hat {\theta}$

probabilidadislogica

Para la estimación del parámetro

, su sesgo es

\hat{θ}

$\hat\theta$

b i a s (\hat{θ}) = θ - E [\hat{θ}]

$bias(\hat\theta)=\theta-E[\hat\theta]$ , pero

es desconocido para nosotros, ¿verdad? Además, dado el conjunto de datos, no tenemos idea de cómo debería ser el modelo verdadero, por ejemplo, el modelo verdadero detrás de los datos es

, pero elegimos un modelo de regresión lineal

θ

$\theta$

f (x) = a + b x + c x^{2}

$f(x)=a+bx+cx^2$

para ajustar los datos, así que aquí viene la paradoja: los parámetros verdaderos son

, que son el objetivo que debemos tratar de estimar, pero terminamos con las estimaciones de

, luego calcular o analizar el

h (x) = d + e x

$h(x)=d+ex$

(a, b, c)

$(a,b,c)$

(d, e)

$(d,e)$

b i a s (d)

$bias(d)$

b i a s (e)

$bias(e)$

aguacate

@loganecolss: esto no es una paradoja, ya que la noción de sesgo solo existe "localmente", es decir, con respecto a un modelo estadístico dado. La "paradoja" existe para una persona que: 1) conoce el "modelo verdadero", y 2) decide no usarlo. Esa persona es una idiota en mi libro. Si no conoce el "verdadero modelo" entonces no es un problema - a menos que haya encontrado un buen modelo y decidió no usarlo ...

probabilityislogic

f (x, z_{1}, z_{2}, \dots, z_{K})

$f (x, z_1, z_2,\dots, z_{K})$

z_{i}

$z_i$

K

$K$

probabilidad

Para resumir con lo que creo que sé de una manera no matemática:

sesgo: su predicción será incorrecta cuando use el modelo simple y eso sucederá en cualquier conjunto de datos en el que use el modelo. Se espera que su predicción sea incorrecta
varianza: si utiliza el modelo complejo, obtendrá predicciones muy diferentes según el conjunto de datos que esté utilizando

Esta página tiene una explicación bastante buena con diagramas similares a lo que publicaste. (Sin embargo, omití la parte superior, solo leí la parte con diagramas) http://www.aiaccess.net/English/Glossaries/GlosMod/e_gm_bias_variance.htm (¡el mouseover muestra una muestra diferente en caso de que no lo haya notado!)

Rey
fuente

Esa es una página interesante y buenas ilustraciones, pero las encuentro más confusas que útiles porque (a) el "sesgo" y la "varianza" discutidos en el contexto de la regresión no parecen ser el sesgo y la varianza tal como se define al comienzo de ese página y (b) no está nada claro que las afirmaciones que se hacen (sobre cómo cambian el sesgo y la varianza con el número de parámetros) sean correctas.

whuber