¿Cómo se comparan los diferentes métodos de validación cruzada en términos de varianza y sesgo del modelo? Mi pregunta está en parte motivada por este hilo: número óptimo de pliegues en la validación cruzada de - pliegues : ¿es el CV de dejar uno solo siempre la mejor opción? KKK K. La respuesta...
Dejando a un lado las consideraciones de poder de cálculo, ¿hay alguna razón para creer que aumentar el número de pliegues en la validación cruzada conduce a una mejor selección / validación del modelo (es decir, cuanto mayor sea el número de pliegues, mejor)? Llevando el argumento al extremo, ¿la...
Estoy leyendo el capítulo de equilibrio de sesgo-varianza de Los elementos del aprendizaje estadístico y tengo dudas en la fórmula de la página 29. Deje que los datos surjan de un modelo tal que donde es aleatorio número con valor esperado y varianza . Supongamos que el valor esperado de error del...
Estoy tratando de entender el equilibrio entre sesgo y varianza, la relación entre el sesgo del estimador y el sesgo del modelo, y la relación entre la varianza del estimador y la varianza del modelo. Llegué a estas conclusiones: Tendemos a sobreajustar los datos cuando descuidamos el sesgo...
Estoy leyendo sobre la mejor selección de subconjuntos en el libro Elementos de aprendizaje estadístico. Si tengo 3 predictores x1,x2,x3x1,x2,x3x_1,x_2,x_3 , creo 23=823=82^3=8 subconjuntos: Subconjunto sin predictores subconjunto con predictor x1x1x_1 subconjunto con predictorx2x2x_2 subconjunto...
En 'Los elementos del aprendizaje estadístico', la expresión para la descomposición de la variación de sesgo del modelo lineal se da como donde es la función objetivo real, es la varianza del error aleatorio en el modelo y es el estimador lineal de .f ( x 0 ) σ 2 ε y = f ( x ) +...
Me gustaría clasificar los puntos de datos como que necesitan un modelo más complejo o que no necesitan un modelo más complejo. Mi pensamiento actual es ajustar todos los datos a un modelo lineal simple y observar el tamaño de los residuos para hacer esta clasificación. Luego leí un poco sobre las...