¿Qué se entiende por la varianza de * funciones * en * Introducción al aprendizaje estadístico *?

En la pág. 34 de Introducción al aprendizaje estadístico :$\newcommand{\Var}{{\rm Var}}$

Aunque la prueba matemática está más allá del alcance de este libro, es posible mostrar que la prueba esperada MSE, para un valor dado $x_0$ , siempre se puede descomponer en la suma de tres cantidades fundamentales: la varianza de $\hat{f}(x_0)$ , el sesgo al cuadrado de $\hat{f}(x_0)$ y la varianza de los términos de error $\varepsilon$ . Es decir,

$$E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$$

[...] La variación se refiere a la cantidad en la que $\hat{f}$ cambiaría si lo estimáramos utilizando un conjunto de datos de entrenamiento diferente.

Pregunta: Dado que $\Var\big(\hat{f}(x_0)\big)$ parece denotar la varianza de las funciones , ¿qué significa esto formalmente?

Es decir, estoy familiarizado con el concepto de la varianza de una variable aleatoria $X$ , pero ¿qué pasa con la varianza de un conjunto de funciones? ¿Se puede considerar esto simplemente como la varianza de otra variable aleatoria cuyos valores toman la forma de funciones?

Su correspondencia con @whuber es correcta.

Un algoritmo de aprendizaje puede verse como una función de nivel superior, asignando conjuntos de entrenamiento a funciones.$\mathcal{A}$

donde es el espacio de posibles conjuntos de entrenamiento. Esto puede ser un poco complicado conceptualmente, pero básicamente cada conjunto de entrenamiento individual resulta, después de usar el algoritmo de entrenamiento modelo, en una función específica que puede usarse para hacer predicciones dado un punto de datos .$\mathcal{T}$$f$$x$

Si vemos el espacio de los conjuntos de entrenamiento como un espacio de probabilidad, de modo que haya una distribución de los posibles conjuntos de datos de entrenamiento, entonces el algoritmo de entrenamiento modelo se convierte en una variable aleatoria valorada en funciones, y podemos pensar en conceptos estadísticos. En particular, si arreglamos un punto de datos específico , obtenemos la variable aleatoria con valor numérico$x_0$

Es decir, primero entrene el algoritmo en y luego evalúe el modelo resultante en . Esta es simplemente una variable aleatoria vieja, pero ingeniosamente construida en un espacio de probabilidad, por lo que podemos hablar sobre su varianza. Esta es la variación en su fórmula de ISL.$T$$x_0$

Una interpretación visual usando kfolds repetidos

Para dar una interpretación visual / intuitiva a la respuesta de @Matthew Drury, considere el siguiente ejemplo de juguete.

• Los datos se generan a partir de una curva senoidal ruidosa: "True noise"$f(x) \ +$
• Los datos se dividen entre muestras de entrenamiento y pruebas (75% - 25%)
• Se ajusta un modelo lineal (polinomial) a los datos de entrenamiento:$\hat f(x)$
• El proceso se repite muchas veces usando los mismos datos (es decir, dividiendo el entrenamiento - probando al azar usando Sklearm repetido kfold)
• Esto genera muchos modelos diferentes, a partir de los cuales calculamos la media y la varianza en cada punto , así como en todos los puntos.$x=x_i$

Vea a continuación los gráficos resultantes para un modelo polinomial de grado 2 y grado 6. A primera vista, parece que el polinomio más alto (en rojo) tiene una mayor varianza.

Argumentando que el gráfico rojo tiene una mayor varianza - experimentalmente

Deje que y correspondan a los gráficos verde y rojo respectivamente y sea ​​una instancia de los gráficos, en verde claro y rojo claro. Deje que sea el número de puntos a lo largo de la eje y es el número de gráficos (es decir, el número de simulaciones). Aquí tenemos y$\hat f_g$$\hat f_r$$\hat f^{(i)}$$n$$x$$m$$n = 400$$m = 200$

Veo tres escenarios principales

1. La varianza de los valores pronosticados en un punto específico es mayor, es decir,$x = x_0$$Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
2. La varianza en es mayor para todos los puntos en el rango $(1)$ $\{ x_1,...,x_{400} \}$$(0,1)$
3. La varianza es mayor en promedio (es decir, puede ser menor para algunos puntos)

En el caso de este ejemplo de juguete, los tres escenarios son válidos en el rango que justifica el argumento de que el ajuste polinómico de orden superior (en rojo) tiene una varianza mayor que el polinomio de orden inferior (en verde).$(0,1)$

Una conclusión abierta

Lo que debería ser discutido cuando los tres escenarios anteriores no todo espera. Por ejemplo, ¿qué pasa si la varianza de las predicciones rojas es mayor en promedio, pero no para todos los puntos?

Detalles de las etiquetas

Considere el punto$x_0 = 0.5$

• La barra de error es el rango entre mínimo y máximo de$\hat f(x_0)$
• La varianza se calcula en$x_0$
• Verdadero es la línea azul punteada$f(x)$