¿Por qué se justifica la eliminación hacia atrás cuando se realiza una regresión múltiple?

9

¿No resulta en un ajuste excesivo? ¿Serían mis resultados más confiables si agregara un procedimiento de cuchillo de arranque o arranque como parte del análisis?

multiple-regression bootstrap reliability overfitting jackknife sim
fuente
8
¿Quién dice que está justificado? Por supuesto, debería conducir a un sobreajuste.
gung - Restablece a Monica
2
En realidad, se sugiere en muchos libros (¿todavía?), Por ejemplo, amazon.com/Statistics-Explained-Introductory-Guide-Scientists/… . He estado pensando en el mismo problema yo mismo. Creo que tengo al menos 3-4 libros de estadísticas que no discuten el problema del sobreajuste en absoluto, cuando introduzco la regresión múltiple.
mmh
55
Honestamente, si un libro introductorio de estadística no discute el sobreajuste y las pruebas excesivas, leería un libro diferente.
Matthew Drury
3
La eliminación hacia atrás (y la selección hacia adelante) todavía tiende a ajustarse en exceso si se utiliza la validación cruzada de dejar uno fuera (por ejemplo, PRENSA) como criterio de selección de características.
Dikran Marsupial
55
@mmh no es bastante introductorio, pero recomiendo leer el capítulo 4 de las Estrategias de modelado de regresión de Frank Harrell (bueno, no solo vale la pena leer el capítulo 4, sino que esa parte es especialmente relevante para esta discusión).
Glen_b -Reinstale a Monica

Respuestas:

2

Creo que construir un modelo y probarlo son cosas diferentes. La eliminación hacia atrás es parte de la construcción de modelos. Jack Knife y Bootstrap son más utilizados para probarlo.

Ciertamente, puede tener estimaciones más confiables con bootstrap y Jack Knife que la simple eliminación hacia atrás. Pero si realmente desea probar el sobreajuste, la prueba final es una muestra dividida, entrenar en algunos, probar en otros. Leave-one-out es demasiado inestable / poco confiable para este propósito: http://www.russpoldrack.org/2012/12/the-perils-of-leave-one-out.html

Creo que al menos el 10% de los sujetos deben estar fuera para obtener estimaciones más estables de la solidez del modelo. Y si tiene 20 asignaturas, 2 asignaturas siguen siendo muy pocas. Pero entonces la pregunta es si tiene una muestra lo suficientemente grande como para construir un modelo que pueda aplicarse al resto de la población.

Espero que haya respondido tu pregunta al menos en parte.

Dorian P
fuente
Entonces, ¿se podría usar la validación cruzada con (o )? k<nk<<n
mmh
Una Introducción al aprendizaje estadístico analiza diferentes enfoques para el remuestreo (conjuntos de validación, validación cruzada con diferentes números de grupos, bootstrapping) en el Capítulo 5 y la selección de modelos en el Capítulo 6.
EdM