La selección del modelo es un problema para juzgar qué modelo de algún conjunto funciona mejor. Los métodos populares incluyen R 2 R2 , Criterios AIC y BIC, conjuntos de pruebas y validación cruzada. Hasta cierto punto, la selección de características es un subproblema de la selección del modelo.
¿Existe un método estándar y aceptado para seleccionar el número de capas y el número de nodos en cada capa, en una red neuronal de avance? Estoy interesado en formas automatizadas de construir redes
El AIC y el BIC son métodos para evaluar el ajuste del modelo penalizado por el número de parámetros estimados. Según tengo entendido, BIC penaliza más a los modelos por parámetros libres que AIC. Más allá de una preferencia basada en la rigurosidad de los criterios, ¿hay alguna otra razón para...
Imagine un escenario estándar de aprendizaje automático: Te enfrentas a un gran conjunto de datos multivariado y tienes una comprensión bastante borrosa. Lo que debe hacer es hacer predicciones sobre alguna variable basada en lo que tiene. Como de costumbre, limpia los datos, mira estadísticas...
Me gustaría implementar un algoritmo para la selección automática de modelos. Estoy pensando en hacer una regresión gradual, pero cualquier cosa servirá (aunque debe basarse en regresiones lineales). Mi problema es que no puedo encontrar una metodología o una implementación de código abierto...
Me pregunto cómo elegir un modelo predictivo después de hacer la validación cruzada K-fold. Esto puede expresarse de manera incómoda, así que permítanme explicarlo con más detalle: cada vez que ejecuto la validación cruzada K-fold, uso K subconjuntos de los datos de entrenamiento y termino con K...
¿Es siempre una buena idea entrenar con el conjunto de datos completo después de la validación cruzada ? Dicho de otra manera, ¿está bien entrenar con todas las muestras en mi conjunto de datos y no poder verificar si este ajuste en particular se sobreajusta ? Algunos antecedentes sobre el...
La frase p- hacking (también: "dragado de datos" , "espionaje" o "pesca") se refiere a varios tipos de negligencia estadística en la que los resultados se vuelven estadísticamente significativos de manera artificial. Hay muchas formas de obtener un resultado "más significativo", que incluyen pero...
¿Cómo se puede usar la validación cruzada anidada para la selección del modelo ? Por lo que leí en línea, el CV anidado funciona de la siguiente manera: Existe el bucle CV interno, donde podemos realizar una búsqueda de cuadrícula (por ejemplo, ejecutar K-fold para cada modelo disponible, por...
Cuando se resuelven problemas de negocios utilizando datos, es común que al menos una suposición clave de que las estadísticas clásicas no sean válidas. La mayoría de las veces, nadie se molesta en verificar esas suposiciones, por lo que nunca se sabe. Por ejemplo, que muchas de las métricas web...
Tengo un conjunto de datos con alrededor de 30 variables independientes y me gustaría construir un modelo lineal generalizado (GLM) para explorar la relación entre ellos y la variable dependiente. Soy consciente de que el método que me enseñaron para esta situación, la regresión gradual, ahora se...
Esta pregunta se hizo en CV hace algunos años, parece que vale la pena volver a publicar a la luz de 1) orden de magnitud mejor tecnología informática (por ejemplo, computación paralela, HPC, etc.) y 2) técnicas más nuevas, por ejemplo [3]. Primero, un poco de contexto. Supongamos que el objetivo...
Cuando intenta ajustar modelos a un gran conjunto de datos, el consejo común es dividir los datos en tres partes: el conjunto de datos de capacitación, validación y prueba. Esto se debe a que los modelos generalmente tienen tres "niveles" de parámetros: el primer "parámetro" es la clase de modelo...
Antecedentes Estoy haciendo investigación clínica en medicina y he tomado varios cursos de estadística. Nunca publiqué un artículo usando regresión lineal / logística y me gustaría hacer la selección de variables correctamente. La interpretabilidad es importante, por lo que no es necesario...
En P. 34 de su PRNN Brian Ripley comenta que "el AIC fue nombrado por Akaike (1974) como 'Un criterio de información', aunque parece que comúnmente se cree que el A significa Akaike". De hecho, al presentar la estadística AIC, Akaike (1974, p.719) explica que "IC stands for information criterion...
En este documento titulado "ELEGIR ENTRE MODELOS LINEALES GENERALIZADOS APLICADOS A DATOS MÉDICOS" los autores escriben: En un modelo lineal generalizado, la media se transforma, mediante la función de enlace, en lugar de transformar la respuesta misma. Los dos métodos de transformación pueden...
¿Existen estudios empíricos que justifiquen el uso de la única regla de error estándar a favor de la parsimonia? Obviamente, depende del proceso de generación de datos de los datos, pero cualquier cosa que analice un gran conjunto de conjuntos de datos sería una lectura muy interesante. La...
He calculado AIC y AICc para comparar dos modelos lineales mixtos generales; Los AIC son positivos con el modelo 1 que tiene un AIC más bajo que el modelo 2. Sin embargo, los valores para AICc son negativos (el modelo 1 sigue siendo <modelo 2). ¿Es válido usar y comparar valores negativos de...
Cuando se utiliza la validación cruzada para hacer la selección del modelo (como, por ejemplo, el ajuste de hiperparámetros) y para evaluar el rendimiento del mejor modelo, se debe usar la validación cruzada anidada . El ciclo externo es evaluar el rendimiento del modelo, y el ciclo interno es...
Actualmente estoy trabajando para construir un modelo usando una regresión lineal múltiple. Después de jugar con mi modelo, no estoy seguro de cómo determinar mejor qué variables mantener y cuáles eliminar. Mi modelo comenzó con 10 predictores para el DV. Al usar los 10 predictores, cuatro se...
Existen numerosos hilos en CrossValidated sobre el tema de selección de modelos y validación cruzada. Aquí hay algunos: Validación cruzada interna y externa y selección de modelo @ DikranMarsupial de la parte superior respuesta a la selección de funciones y la validación cruzada Sin embargo,...