Existen numerosos hilos en CrossValidated sobre el tema de selección de modelos y validación cruzada. Aquí hay algunos: Validación cruzada interna y externa y selección de modelo @ DikranMarsupial de la parte superior respuesta a la selección de funciones y la validación cruzada Sin embargo,...
¿Por qué un procedimiento de validación cruzada supera el problema de sobreajustar un
Tengo curiosidad acerca de procedimientos repetibles que se pueden utilizar para descubrir la forma funcional de la función y = f(A, B, C) + error_termdonde mi única entrada es un conjunto de observaciones ( y, A, By C). Tenga en cuenta que la forma funcional de fes desconocida. Considere el...
Entiendo cuál es la distribución predictiva posterior , y he estado leyendo sobre las comprobaciones predictivas posteriores , aunque todavía no tengo claro qué hace. ¿Qué es exactamente el control predictivo posterior? ¿Por qué algunos autores dicen que ejecutar verificaciones predictivas...
Normalmente uso BIC porque entiendo que valora más la parsimonia que AIC. Sin embargo, he decidido utilizar un enfoque más completo ahora y me gustaría utilizar AIC también. Sé que Raftery (1995) presentó buenas pautas para las diferencias BIC: 0-2 es débil, 2-4 es evidencia positiva de que un...
Recientemente me encontré con un artículo que propone usar un clasificador k-NN en un conjunto de datos específico. Los autores utilizaron todas las muestras de datos disponibles para realizar la validación cruzada de k veces para diferentes valores de k e informar los resultados de la validación...
Solo un pensamiento: Los modelos parsimoniosos siempre han sido la opción predeterminada en la selección de modelos, pero ¿en qué medida este enfoque está desactualizado? Tengo curiosidad acerca de cuánto nuestra tendencia hacia la parsimonia es una reliquia de una época de abaci y reglas de...
¿Es posible calcular los valores de AIC o BIC para los modelos de regresión de lazo y otros modelos regularizados donde los parámetros solo ingresan parcialmente la ecuación? ¿Cómo se determinan los grados de libertad? Estoy usando R para ajustar los modelos de regresión de lazo con la...
Para el LASSO (y otros procedimientos de selección de modelos) es crucial reescalar los predictores. La recomendación general que sigo es simplemente usar una normalización de media 0 desviación estándar 1 para variables continuas. Pero, ¿qué hay que ver con los maniquíes? Por ejemplo, algunos...
¿Cómo se elige un modelo entre los diferentes modelos elegidos por diferentes métodos (por ejemplo, selección hacia atrás o hacia adelante)? Además, ¿qué es un modelo
Cuando se construye un modelo CART (específicamente un árbol de clasificación) usando rpart (en R), a menudo es interesante saber cuál es la importancia de las diversas variables introducidas en el modelo. Por lo tanto, mi pregunta es: ¿Qué medidas comunes existen para clasificar / medir la...
Estoy usando el AIC (Criterio de información de Akaike) para comparar modelos no lineales en R. ¿Es válido comparar los AIC de diferentes tipos de modelos? Específicamente, estoy comparando un modelo ajustado por glm versus un modelo con un término de efecto aleatorio ajustado por glmer (lme4). Si...
Reflexiono sobre la discusión en torno a esta pregunta y, en particular, sobre el comentario de Frank Harrell de que la estimación de la varianza en un modelo reducido (es decir, uno a partir del cual se probaron y rechazaron varias variables explicativas) debería usar los grados de libertad...
¿Cuáles son exactamente los requisitos previos que deben cumplirse para que funcione la comparación del modelo AIC? Acabo de responder esta pregunta cuando hice una comparación como esta: > uu0 = lm(log(usili) ~ rok) > uu1 = lm(usili ~ rok) > AIC(uu0) [1] 3192.14 > AIC(uu1) [1]...
Me preguntaba cómo los bayesianos en la comunidad CrossValidated ven el problema de la incertidumbre del modelo y cómo prefieren tratarlo. Trataré de formular mi pregunta en dos partes: ¿Qué tan importante (en su experiencia / opinión) es lidiar con la incertidumbre del modelo? No he encontrado...
Actualmente estoy en un proyecto donde básicamente necesito, como todos lo hacemos, comprender cómo se relaciona la salida con la entrada . La particularidad aquí es que los datos son proporcionados de una en una, por lo que quiero actualizar mi análisis cada vez que recibo un nuevo . Creo que esto...
Tengo un problema para aprovechar los beneficios de etiquetar un factor modelo como aleatorio por varias razones. Para mí, parece que en casi todos los casos la solución óptima es tratar todos los factores como fijos. Primero, la distinción entre fijo y aleatorio es bastante arbitraria. La...
En el famoso artículo de 1938 (" La distribución de la muestra grande de la razón de probabilidad para probar hipótesis compuestas ", Annals of Mathematical Statistics, 9: 60-62), Samuel Wilks derivó la distribución asintótica de 2×LLR2×LLR2 \times LLR (relación de probabilidad logarítmica ) para...
Estoy trabajando en un proyecto donde quiero extraer información sobre el contenido de una serie de ensayos abiertos. En este proyecto en particular, 148 personas escribieron ensayos sobre una organización estudiantil hipotética como parte de un experimento más amplio. Aunque en mi campo...
Estoy interesado en la selección de modelos en una configuración de series de tiempo. Para concreción, supongamos que quiero seleccionar un modelo ARMA de un grupo de modelos ARMA con diferentes órdenes de retraso. La intención final es pronosticar . La selección del modelo puede hacerse...