¿Explicación intuitiva de la compensación de sesgo-varianza?

Respuestas:

24

Imagine algunos datos 2D, digamos altura y peso para los estudiantes de una escuela secundaria, graficados en un par de ejes.

Ahora suponga que coloca una línea recta a través de él. Esta línea, que por supuesto representa un conjunto de valores pronosticados, tiene una varianza estadística cero. Pero el sesgo es (probablemente) alto, es decir, no se ajusta muy bien a los datos.

Luego, suponga que modela los datos con una spline polinómica de alto grado. No está satisfecho con el ajuste, por lo que aumenta el grado de polinomio hasta que el ajuste mejore (y lo hará, con precisión arbitraria, de hecho). Ahora tiene una situación con sesgo que tiende a cero, pero la varianza es muy alta.

Tenga en cuenta que la compensación de sesgo-varianza no describe una relación proporcional, es decir, si traza el sesgo frente a la varianza, no necesariamente verá una línea recta a través del origen con pendiente -1. En el ejemplo de la estría polinómica anterior, la reducción del grado casi seguramente aumenta la varianza mucho menos de lo que disminuye el sesgo.

El equilibrio de sesgo-varianza también está incrustado en la función de error de suma de cuadrados. A continuación, he reescrito (pero no alterado) la forma habitual de esta ecuación para enfatizar esto:

texto alternativo

En el lado derecho, hay tres términos: el primero de ellos es solo el error irreducible (la varianza en los datos en sí); esto está más allá de nuestro control, así que ignóralo. El segundo término es el cuadrado del sesgo ; y el tercero es la varianza . Es fácil ver que a medida que uno sube, el otro baja: ambos no pueden variar juntos en la misma dirección. Dicho de otra manera, puede pensar en la regresión de mínimos cuadrados como (implícitamente) encontrar la combinación óptima de sesgo y varianza entre los modelos candidatos.

Doug
fuente
8
yxffσ2f(x)x
whuber
la ecuación está bien (las pequeñas letras griegas en el numerador no son 'x' sino 'kappa'). Pruebe esto: comience con una fórmula para SSE con la que se sienta cómodo y solo unos pocos pasos lo llevarán al anterior.
doug
¿Qué es 'kappa' en este contexto?
Soy un novato ¿Puedes ayudarme intuitivamente a ver por qué en la primera parte de tu respuesta dices que ajustar una spline polinómica hace que la varianza aumente?
Rohit Banga
3
Un ejemplo más simple: y = a + b x + e (rror). Si ajusto una constante a esto, sesgo = b x y varianza = var (e) + la varianza de mi estimación de a alrededor del valor verdadero. Si agrego un término b * x al modelo, el sesgo es cero en todas partes, pero ahora la varianza incluye los efectos del error de mi estimación de b, así como de a y la varianza de e, por lo que será mayor que en el primero caso. Por lo tanto, existe una compensación entre la disminución del sesgo, obtenida al agregar términos al modelo que debería estar allí, y una mayor varianza, obtenida al tener que estimar esos términos y, posiblemente, al agregar los irrelevantes.
jbowman
25

Digamos que está considerando un seguro de salud catastrófico, y hay un 1% de probabilidad de enfermarse que costaría 1 millón de dólares. El costo esperado de enfermarse es, por lo tanto, de 10.000 dólares. La compañía de seguros, que quiere obtener ganancias, le cobrará 15,000 por la póliza.

La compra de la póliza le da un costo esperado de 15,000, que tiene una variación de 0 pero puede considerarse parcial ya que es 5,000 más que el costo real esperado de enfermarse.

No comprar la póliza da un costo esperado de 10,000, que es imparcial ya que es igual al verdadero costo esperado de enfermarse, pero tiene una variación muy alta. La compensación aquí es entre un enfoque que es consistentemente incorrecto pero nunca por mucho y un enfoque que es correcto en promedio pero es más variable.

CDX
fuente
15

Recomiendo echar un vistazo al curso Caltech ML por Yaser Abu-Mostafa, Lecture 8 (Bias-Variance Tradeoff) . Aquí están los contornos:

Digamos que está tratando de aprender la función seno:

texto alternativo

Nuestro conjunto de entrenamiento consta de solo 2 puntos de datos.

h0(x)=bh1(x)=ax+b

h0(x)=b

ingrese la descripción de la imagen aquí

h1(x)=ax+b

ingrese la descripción de la imagen aquí

h0h1h0h1h0h1h0h1

ingrese la descripción de la imagen aquí


Si observa la evolución de la función de costos con respecto al tamaño del conjunto de capacitación (cifras de Coursera - Machine Learning por Andrew Ng ):

Alto sesgo:

ingrese la descripción de la imagen aquí

Alta varianza:

ingrese la descripción de la imagen aquí

Franck Dernoncourt
fuente
h1Di(a^i,b^i)x0(a^i,b^i)y^0y^0(a^,b^)xy^
su función seno es XP invertida
Diego
1
Esto es confuso porque parece que te refieres a tramas que no están allí (tal vez el "texto alternativo").
gung - Restablece a Monica
@gung solucionado, gracias por señalarlo. ImageShack cerró cuentas gratuitas y borró imágenes . Y Stack Exchange no tomó las medidas adecuadas. Relacionado: Prohibir imágenes de ImageShack porque están reutilizando URL antiguas para publicidad (por favor apoye la prohibición); ¿Cuál es la forma más fácil de descargar todas mis preguntas y respuestas en todos los sitios de Stack Exchange? (Me alegro de tener una copia de seguridad; presione StackExchange para proporcionar mejores herramientas para hacer una copia de seguridad del contenido)
Franck Dernoncourt
Gracias por compartir el enlace de los videos, explica bien lo que estaba buscando, ahora puedo entender tu respuesta
Espoir Murhabazi
13

Normalmente pienso en estas dos imágenes:

Primero, significado de sesgo y varianza:

Comprender el sesgo y la varianza

Imagine que el centro de la región del ojo de buey rojo es el verdadero valor medio de nuestra variable aleatoria objetivo que estamos tratando de predecir, y la región roja indica la propagación de la variación de esta variable. Cada vez que tomamos una muestra de observaciones y predecimos el valor de esta variable, trazamos un punto azul. Predijimos correctamente si el punto azul cae dentro de la región roja. En otras palabras, el sesgo es la medida de qué tan lejos están los puntos azules predichos de la región roja verdadera, intuitivamente esto es un error. La variación es cuán dispersas son nuestras predicciones.

Ahora la compensación aquí es:

La compensación entre sesgo y varianza

Cuando intentamos disminuir uno de este parámetro (ya sea el sesgo o la varianza), el otro parámetro aumenta. Pero hay un punto dulce en algún lugar entre el sesgo no tan y la varianza no tan menos que produce el menor error de predicción a largo plazo.

Estas imágenes están tomadas de http://scott.fortmann-roe.com/docs/BiasVariance.html . Consulte las explicaciones con regresión lineal y vecinos K más cercanos para obtener más detalles.

Thamme Gowda
fuente
la primera figura se parece más a la precisión frente a la precisión?
KingBoomie
0

Aquí hay una explicación muy simple. Imagine que tiene un diagrama de dispersión de puntos {x_i, y_i} que se muestrearon de alguna distribución. Quieres adaptarle algún modelo. Puede elegir una curva lineal o una curva polinómica de orden superior u otra cosa. Lo que elija se aplicará para predecir nuevos valores y para un conjunto de {x_i} puntos. Llamemos a estos el conjunto de validación. Supongamos que también conoce sus verdaderos valores {y_i} y los estamos utilizando solo para probar el modelo.

Los valores pronosticados serán diferentes de los valores reales. Podemos medir las propiedades de sus diferencias. Consideremos un solo punto de validación. Llámalo x_v y elige un modelo. Hagamos un conjunto de predicciones para ese punto de validación usando, por ejemplo, 100 muestras aleatorias diferentes para entrenar el modelo. Entonces vamos a obtener 100 y valores. La diferencia entre la media de esos valores y el valor verdadero se llama sesgo. La varianza de la distribución es la varianza.

Dependiendo del modelo que usemos, podemos intercambiar entre estos dos. Consideremos los dos extremos. El modelo de varianza más baja es aquel en el que ignora por completo los datos. Digamos que simplemente predecimos 42 para cada x. Ese modelo tiene una variación cero en diferentes muestras de entrenamiento en cada punto. Sin embargo, está claramente sesgado. El sesgo es simplemente 42-y_v.

En el otro extremo, podemos elegir un modelo que se adapte lo más posible. Por ejemplo, ajuste un polinomio de 100 grados a 100 puntos de datos. O, alternativamente, interpolar linealmente entre vecinos más cercanos. Esto tiene un sesgo bajo. ¿Por qué? Debido a que para cualquier muestra aleatoria, los puntos vecinos a x_v fluctuarán ampliamente, pero se interpolarán más alto casi tan a menudo como se interpolarán bajo. Por lo tanto, en promedio entre las muestras, se cancelarán y, por lo tanto, el sesgo será muy bajo a menos que la curva verdadera tenga mucha variación de alta frecuencia.

Sin embargo, estos modelos de sobreajuste tienen una gran variación entre las muestras aleatorias porque no están suavizando los datos. El modelo de interpolación solo usa dos puntos de datos para predecir el intermedio y, por lo tanto, crean mucho ruido.

Tenga en cuenta que el sesgo se mide en un solo punto. No importa si es positivo o negativo. Todavía es un sesgo en cualquier x dado. Los sesgos promediados sobre todos los valores de x probablemente serán pequeños, pero eso no lo hace imparcial.

Un ejemplo mas. Supongamos que en algún momento está tratando de predecir la temperatura en un conjunto de ubicaciones en los EE. UU. Supongamos que tiene 10,000 puntos de entrenamiento. Nuevamente, puede obtener un modelo de baja varianza haciendo algo simple simplemente devolviendo el promedio. Pero esto tendrá un sesgo bajo en el estado de Florida y un sesgo alto en el estado de Alaska. Sería mejor si usaras el promedio de cada estado. Pero incluso entonces, estarás predispuesto en invierno y en verano. Así que ahora incluyes el mes en tu modelo. Pero aún así estarás predispuesto en el Valle de la Muerte y en el Monte Shasta. Así que ahora vas al nivel de granularidad del código postal. Pero eventualmente si sigue haciendo esto para reducir el sesgo, se quedará sin puntos de datos. Tal vez para un código postal y mes determinados, solo tiene un punto de datos. Claramente, esto va a crear muchas variaciones. Entonces, ver que tener un modelo más complicado reduce el sesgo a expensas de la varianza.

Entonces ves que hay una compensación. Los modelos que son más suaves tienen una varianza más baja entre las muestras de entrenamiento, pero tampoco capturan la forma real de la curva. Los modelos que son menos suaves pueden capturar mejor la curva pero a expensas de ser más ruidosos. En algún lugar en el medio hay un modelo Ricitos de Oro que hace una compensación aceptable entre los dos.

Dave31415
fuente
0

Imagínese si la tarea de creación de modelos pudiera repetirse para diferentes conjuntos de datos de entrenamiento, es decir, entrenamos un nuevo modelo para diferentes conjuntos de datos cada vez (que se muestra en la figura a continuación). Si arreglamos un punto de datos de prueba y evaluamos la predicción del modelo en este punto, las predicciones variarán debido a la aleatoriedad en el proceso de generación del modelo. De la siguiente figura para esta situación, P_1, P_2, ..., P_n son predicciones diferentes y al azar también. ingrese la descripción de la imagen aquí

Deje que la media de las predicciones sea -

ingrese la descripción de la imagen aquí

El error de sesgo se debe a la diferencia entre la media de estas predicciones y el valor correcto. ingrese la descripción de la imagen aquí

Error de varianza no es más que la varianza en estas predicciones, es decir, cuán variadas son estas predicciones. ingrese la descripción de la imagen aquí

Esta es la intuición detrás del error de sesgo y varianza.

Para una explicación detallada, visite la intuición correcta detrás de la compensación de la variación de sesgo

pradeep bansal
fuente